EO518

Intel sta inserendo da tempo componenti dedicati all’AI nei suoi processori, come gli Xeon, ma realizza anche diverse gamme di acceleratori dedicati, come il recente Gaudi3 realizzato con un processo produttivo a 5 nm TECH FOCUS AI CHIPS INTEL GAUDI 3 Intel ha recentemente presentato l’acceleratore Gaudi 3 per applicazioni di intelligenza artificiale generativa (Ge- nAI) destinate alle imprese. Questo componente punta molto sulle prestazioni e Intel dichiara, infatti, che offre una potenza di calcolo AI quat- tro volte superiore per operazioni BF16 e un’ampiezza di banda della memoria superiore di una volta e mezza ri- spetto al suo predecessore. Intel Gaudi 3 è prodotto con un processo a 5 nanometri (nm) ed è progettato per consentire l’attivazione di tut- ti i suoi engine in parallelo: Matrix Multiplication Engine (MME), Tensor Processor Core (TPC) e Networking Inter- face Card (NIC). L’engine di calcolo è composto da 64 TPC programmabili e personalizzati e otto MME. Ciascun MME Intel Gaudi 3 è in grado di eseguire 64.000 operazioni parallele, con- sentendo un elevato grado di efficienza computazionale. Questa caratteristica è estremamente utile per la gestio- ne di operazioni su matrici complesse, un tipo di calcolo fondamentale per gli algoritmi di deep learning. Questo design unico accelera la velocità e l’efficienza delle ope- razioni parallele di intelligenza artificiale e supporta più tipi di dati, inclusi FP8 e BF16. Un’altra caratteristica di Gaudi 3 è il potenziamento del- la memoria per rispondere meglio ai requisiti di capacità dettati dai LLM. Dispone infatti di 128 gigabyte di capaci- tà di memoria HBMe2, una larghezza di banda della me- moria di 3,7 terabyte e 96 megabyte di SRAM integrata. Questa dotazione fornisce ampi margini per l’elaborazio- ne di set di dati GenAI di grandi dimensioni, riducendo il numero di acceleratori Gaudi 3 necessari, con i relati- vi miglioramenti in termini di efficienza e costi dei data center. Disponibile per gli OEM, tra cui Dell Technologies, HPE, Lenovo e Supermicro, nel secondo trimestre del 2024, l’acceleratore Gaudi 3 consente alle aziende di scalare in modo flessibile da un singolo nodo a cluster, super-clu- ster e mega-cluster con migliaia di nodi, sostenendo in- ferenza, messa a punto e formazione su larga scala. NVIDIA PRESENTA BLACKWELL Nvidia ha annunciato la piattaforma Blackwell con un chip che utilizza 208 miliardi di transistor realizzati con lo specifico processo TSMC 4NP. In pratica Nvidia ha unito due chip di grandi dimensio- ni, il che garantisce prestazioni particolarmente eleva- te in termini di comunicazione per le operazioni legate all’AI, e li ha interconessi tra loro tramite un’interfaccia NVHyperfuse con velocità fino a 10 terabyte al secondo per ottenere un’unica GPU. Le novità introdotte con questa piattaforma per l’AI ge- nerativa sono comunque diverse. Oltre a supportare la tecnologia Transformer Engine che accelera il training con precisioni FP8 e FP16, con Blackwell Nvidia introdu- ce un nuovo Generative AI Engine. Questo engine utilizza la tecnologia personalizzata Blackwell Tensor Core per accelerare l’inferenza per l’AI generativa e i modelli linguistici di grandi dimensioni (LLM) con nuovi formati di precisione, inclusi i formati di microscaling definiti dalla community (MX). I formati MXFP4, MXFP6, MXFP8 e MXINT8 di Generative AI En- gine sono in grado di migliorare le performance degli at- tuali LLM. Blackwell include anche Nvidia Confidential Computing che protegge i dati sensibili e i modelli AI da accessi non autorizzati e offre una sicurezza basata su hardware. La nuova GPU dispone, fra l’altro, anche di un engine RAS dedicato per l’affidabilità, la disponibilità e la manuten- zione per identificare precocemente potenziali guasti e ridurre al minimo i tempi di inattività. Nvidia GB200 è un “superchip” che utilizza due GPU Blackwell e una CPU Grace ELETTRONICA OGGI 518 - MAGGIO 2024 48