Le istanze di elaborazione accelerata di nuova generazione basate su GPU NVIDIA A100 Tensor Core e reti AWS su scala petabit offrono tempi di addestramento fino a 3 volte più rapidi e un costo inferiore del 60% rispetto alle istanze della generazione precedente per la formazione sull’apprendimento automatico e l’elaborazione ad alte prestazioni nel cloud

GE Healthcare, Toyota Research Institutee Aon tra i clienti che utilizzano istanze P4d

SEATTLE- (BUSINESS WIRE) – Amazon Web Services, Inc.(AWS), una società Amazon.com (NASDAQ: AMZN), ha annunciato la disponibilità generale diAmazon Elastic Compute Cloud (AmazonEC2) istanze P4d, la prossima generazione di istanze basate su GPU che offre prestazioni 3 volte più veloci, fino al 60% in meno di costi e 2,5 volte più memoria GPU per carichi di lavoro di formazione in machine learning e calcolo ad alte prestazioni (HPC) rispetto alla generazione precedente P3 istanze. Le istanze P4d presentano otto GPU NVIDIA A100 Tensor Core e 400 Gbps di larghezza di banda di rete (16 volte più delle istanze P3). Utilizzando istanze P4d con Elastic Fabric Adapter (EFA) di AWS e NVIDIA GPUDirect RDMA (accesso diretto remoto alla memoria), i clienti possono creare istanze P4d con funzionalità EC2 UltraClusters. Con EC2 UltraClusters, i clienti possono scalare le istanze P4d a oltre 4.000 GPU A100 (il doppio rispetto a qualsiasi altro provider cloud) utilizzando un’infrastruttura di rete su scala petabit non bloccante progettata da AWS integrata conAmazonFSx for Lustre storage ad alte prestazioni, che offre accesso su richiesta a prestazioni di classe supercomputer per accelerare la formazione sull’apprendimento automatico e HPC. 

I data scientist e gli ingegneri continuano a spingere i confini dell’apprendimento automatico creando modelli più grandi e complessi che forniscono una maggiore precisione di previsione per un’ampia gamma di casi d’uso, tra cui l’addestramento del modello di percezione per veicoli autonomi, elaborazione del linguaggio naturale, classificazione delle immagini, rilevamento e analisi predittiva. L’addestramento di questi modelli complessi su grandi volumi di dati è un’attività ad alta intensità di elaborazione, rete e archiviazione e spesso richiede giorni o settimane. I clienti non solo vogliono ridurre i tempi di addestramento dei loro modelli, ma vogliono anche ridurre la loro spesa complessiva per la formazione. Collettivamente, lunghi tempi di formazione e costi elevati limitano la frequenza con cui i clienti possono addestrare i loro modelli, il che si traduce in un ritmo più lento di sviluppo e innovazione per l’apprendimento automatico.

L’aumento delle prestazioni delle istanze P4d accelera il tempo necessario per addestrare modelli di machine learning fino a 3 volte (riducendo il tempo di formazione da giorni a ore) e la memoria GPU aggiuntiva aiuta i clienti ad addestrare modelli più grandi e complessi. Man mano che i dati diventano più abbondanti, i clienti addestrano modelli con milioni e talvolta miliardi di parametri, come quelli utilizzati per l’elaborazione del linguaggio naturale per il riepilogo dei documenti e la risposta alle domande, il rilevamento e la classificazione di oggetti per veicoli autonomi, la classificazione delle immagini per la moderazione dei contenuti su larga scala, raccomandazioni motori per siti di e-commerce e algoritmi di ranking per motori di ricerca intelligenti, tutti fattori che richiedono un aumento del throughput di rete e della memoria GPU. Le istanze P4d dispongono di 8 GPU NVIDIA A100 Tensor Core in grado di supportarne fino a 2. 5 petaflop di prestazioni a precisione mista e 320 GB di memoria GPU a larghezza di banda elevata in un’istanza EC2. Le istanze P4d sono le prime nel settore a offrire una larghezza di banda di rete di 400 Gbps con Elastic Fabric Adapter (EFA) e le interfacce di rete NVIDIA GPUDirect RDMA per consentire la comunicazione diretta tra le GPU tra i server per una minore latenza e una maggiore efficienza di scalabilità, aiutando a sbloccare i colli di bottiglia della scalabilità su più -node carichi di lavoro distribuiti. Ogni istanza P4d offre anche 96 Intel Xeon scalabili ( aiutando a sbloccare i colli di bottiglia della scalabilità tra i carichi di lavoro distribuiti multi-nodo. Ogni istanza P4d offre anche 96 Intel Xeon Scalable ( aiutando a sbloccare i colli di bottiglia della scalabilità tra i carichi di lavoro distribuiti multi-nodo. 

Ogni istanza P4d offre anche 96 Intel Xeon scalabili (Cascade Lake) vCPU, 1,1 TB di memoria di sistema e 8 TB di storage NVMe locale per ridurre i tempi di addestramento del singolo nodo. Raddoppiando più che raddoppiando le prestazioni della generazione precedente di istanze P3, le istanze P4d possono ridurre il costo per addestrare modelli di machine learning fino al 60%, fornendo ai clienti una maggiore efficienza rispetto a sistemi on-premise costosi e poco flessibili. I clienti HPC beneficeranno anche delle prestazioni di elaborazione migliorate di P4d e della memoria GPU per carichi di lavoro impegnativi come l’analisi sismica, la scoperta di farmaci, il sequenziamento del DNA, la scienza dei materiali e la modellazione del rischio finanziario e assicurativo.

Le istanze P4d si basano anche sul sistema AWS Nitro, hardware e software progettati da AWS che hanno consentito ad AWS di fornire ai clienti una selezione sempre più ampia di istanze e configurazioni EC2, offrendo prestazioni indistinguibili dal bare metal, fornendo storage veloce e networking e garantendo una multi-tenancy più sicura. Le istanze P4d scaricano le funzioni di rete su schede Nitro dedicate che accelerano il trasferimento dei dati tra più istanze P4d. Le schede Nitro abilitano anche EFA e GPUDirect, che consente la comunicazione diretta tra server tra GPU, facilitando una minore latenza e migliori prestazioni di scalabilità tra EC2 UltraCluster di istanze P4d. Queste funzionalità Nitro consentono ai clienti di lanciare P4d in EC2 UltraClusters con accesso su richiesta e scalabile a oltre 4,

“Il ritmo con cui i nostri clienti hanno utilizzato i servizi AWS per creare, addestrare e distribuire applicazioni di machine learning è stato straordinario. Allo stesso tempo, abbiamo sentito da quei clienti che desiderano un modo ancora più economico per addestrare i loro enormi modelli di machine learning “, ha affermatoDave Brown, Vicepresidente, EC2, AWS. “Ora, con EC2 UltraClusters di istanze P4d alimentate dalle ultime GPU A100 di NVIDIA e reti su scala petabit, stiamo rendendo le prestazioni di classe supercomputer disponibili praticamente a tutti, riducendo di 3 volte il tempo per addestrare modelli di machine learning e abbassando i costi per addestrare fino al 60% rispetto alle istanze della generazione precedente. “

I clienti possono eseguire applicazioni containerizzate su istanze P4d con AWS Deep Learning Containers con librerie per Amazon Servizio Elastic Kubernetes (Amazon EKS) o Amazon Elastic Container Service (AmazonECS). Per un’esperienza più completamente gestita, i clienti possono utilizzare le istanze P4d tramiteAmazonSageMaker, che fornisce agli sviluppatori e ai data scientist la capacità di creare, addestrare e distribuire rapidamente modelli di machine learning. I clienti HPC possono sfruttare AWS Batch e AWS ParallelCluster con istanze P4d per orchestrare in modo efficiente i lavori e i cluster. Le istanze P4d supportano tutti i principali framework di machine learning, inclusi TensorFlow, PyTorch e Apache MXNet, offrendo ai clienti la flessibilità di scegliere il framework più adatto alle loro applicazioni. Le istanze P4d sono disponibili negli Stati Uniti orientali (N. Virginia) e Stati Uniti occidentali (Oregon), con disponibilità pianificata a breve per altre regioni. Le istanze P4d possono essere acquistate come on demand, con piani di risparmio, con istanze riservate o come istanze Spot.

GE Healthcare è il 16,7 miliardi di dollari attività sanitaria di GE. In qualità di leader mondiale nella tecnologia medica e innovatore di soluzioni digitali,GE Healthcareconsente ai medici di prendere decisioni più rapide e informate attraverso dispositivi intelligenti, analisi dei dati, applicazioni e servizi, supportati dalla sua piattaforma di intelligence Edison. “In GE Healthcare, forniamo ai medici strumenti che li aiutano ad aggregare i dati, applicare l’intelligenza artificiale e l’analisi a tali dati e scoprire insight che migliorano i risultati dei pazienti, promuovono l’efficienza ed eliminano gli errori”, ha affermatoKarley Yoder, VP e GM, Intelligenza artificiale, a GE Healthcare. “I nostri dispositivi di imaging medicale generano enormi quantità di dati che devono essere elaborati dai nostri data scientist. Con i cluster GPU precedenti, ci sarebbero voluti giorni per addestrare modelli AI complessi, come i GAN progressivi, per le simulazioni e visualizzare i risultati. L’utilizzo delle nuove istanze P4d ha ridotto i tempi di elaborazione da giorni a ore. Abbiamo riscontrato una velocità da due a tre volte maggiore sui modelli di addestramento con varie dimensioni di immagine, ottenendo prestazioni migliori con una maggiore dimensione del batch e una maggiore produttività con un ciclo di sviluppo del modello più veloce “.

Toyota Research Institute (TRI), fondata nel 2015, sta lavorando allo sviluppo di guida automatizzata, robotica e altre tecnologie di amplificazione umana per Toyota. “In TRI, stiamo lavorando per costruire un futuro in cui tutti abbiano la libertà di muoversi”, ha dettoMike Garrison, Technical Lead, Infrastructure Engineering presso TRI. “Le istanze P3 della generazione precedente ci hanno aiutato a ridurre il nostro tempo per addestrare modelli di machine learning da giorni a ore e non vediamo l’ora di utilizzare istanze P4d, poiché la memoria GPU aggiuntiva e formati float più efficienti consentiranno al nostro team di machine learning di formarsi con più modelli complessi a una velocità ancora maggiore. “

Aon è una delle principali società di servizi professionali a livello mondiale che fornisce un’ampia gamma di soluzioni per il rischio, la pensione e la salute. Aon PathWise è una soluzione di gestione del rischio HPC scalabile e basata su GPU che assicuratori e riassicuratori, banche e fondi pensione possono utilizzare per affrontare le sfide chiave odierne come il test della strategia di copertura, le previsioni normative ed economiche e il budget. “Aon PathWise consente alle (ri) assicurazioni e ai fondi pensione di accedere alla tecnologia di nuova generazione per risolvere rapidamente le sfide assicurative chiave odierne come i test della strategia di copertura, le previsioni normative ed economiche e il budget”Peter Phillips, Presidente e CEO, PathWise. “Attraverso l’uso di istanze AWS P4d con 2,5 petaflop di prestazioni a precisione mista, siamo in grado di offrire una doppia riduzione dei costi ai nostri clienti senza perdita di prestazioni e possiamo offrire un miglioramento di 2,5 volte della velocità per i più esigenti calcoli. La velocità è importante e continuiamo a soddisfare i nostri clienti grazie alle nuove istanze di AWS “.

Composto da esperti di radiologia e AI, Rad AI realizza prodotti che massimizzano la produttività del radiologo, rendendo in definitiva l’assistenza sanitaria più ampiamente accessibile e migliorando i risultati per i pazienti. “In Rad AI, la nostra missione è aumentare l’accesso e la qualità dell’assistenza sanitaria, per tutti. Concentrandosi sul flusso di lavoro dell’imaging medico, Rad AI fa risparmiare tempo ai radiologi, riduce il burnout e migliora l’accuratezza “, ha affermato Doktor Gurson, co-fondatore di Rad AI. “Usiamo l’intelligenza artificiale per automatizzare i flussi di lavoro radiologici e semplificare la refertazione radiologica. Con le nuove istanze P4d di EC2, abbiamo riscontrato inferenze più rapide e la possibilità di addestrare i modelli 2,4 volte più velocemente, con una precisione maggiore rispetto alle istanze P3 della generazione precedente. Ciò consente una diagnosi più rapida e accurata e un maggiore accesso a servizi di radiologia di alta qualità forniti dai nostri clienti negli Stati Uniti “.

OmniSci è un pioniere nell’analisi accelerata. La piattaforma OmniSci viene utilizzata nelle aziende e nel governo per trovare informazioni approfondite nei dati oltre i limiti degli strumenti di analisi tradizionali. “In OmniSci, stiamo lavorando per costruire un futuro in cui la scienza dei dati e l’analisi convergono per abbattere e fondere i silos di dati. I clienti stanno sfruttando le loro enormi quantità di dati che possono includere la posizione e il tempo per costruire un quadro completo non solo di ciò che sta accadendo, ma quando e dove attraverso la visualizzazione granulare dei dati spaziali temporali. La nostra tecnologia consente di vedere sia la foresta che gli alberi “, ha affermatoRay Falcione, VP of US Public Sector, presso OmniSci. “Grazie all’uso di istanze P4d, siamo stati in grado di ridurre i costi di implementazione della nostra piattaforma in modo significativo rispetto alle istanze GPU della generazione precedente, consentendoci così di scalare in modo economico enormi set di dati. I miglioramenti della rete su A100 hanno aumentato la nostra efficienza nel modo in cui scaliamo a miliardi di righe di dati e hanno consentito ai nostri clienti di raccogliere informazioni ancora più velocemente “.

Zenotech Ltdsta ridefinendo l’ingegneria online attraverso l’uso di cloud HPC offrendo modelli di licenza on demand insieme a vantaggi in termini di prestazioni estreme sfruttando le GPU. “In Zenotech stiamo sviluppando gli strumenti per consentire ai progettisti di creare prodotti più efficienti e rispettosi dell’ambiente. Lavoriamo in tutti i settori e i nostri strumenti forniscono una visione più approfondita delle prestazioni dei prodotti attraverso l’uso di simulazioni su larga scala “, ha affermato Jamil Appa, Direttore e co-fondatore, Zenotech. “L’utilizzo di istanze P4d ci consente di ridurre del 65% il tempo di esecuzione della simulazione rispetto alla precedente generazione di GPU. Questa velocità riduce il nostro tempo per risolvere in modo significativo, consentendo ai nostri clienti di portare i progetti sul mercato più velocemente o di eseguire simulazioni di fedeltà più elevata di quanto fosse possibile in precedenza. “