Advantech ha annunciato il modulo GenAI Studio per l’SDK Edge AI. Si tratta di una nuova offerta software che risponde alla crescente domanda di soluzioni di modelli linguistici di grandi dimensioni (LLM) on-premises ed economicamente vantaggiose.
Questa iniziativa, precisa Advantech, ha l’obiettivo di rendere l’adozione di LLM più accessibile per gli sviluppatori e le piccole e medie imprese riducendo la dipendenza dalle GPU e abbassando i costi per un utilizzo più ampio delle tecnologie di IA generativa.
L’SDK Edge AI di Advantech è una piattaforma integrata, progettata per uno sviluppo di Edge AI senza soluzione di continuità. Grazie all’hardware preconfigurato e al software ottimizzato, offre un’esperienza plug-and-play che consente una personalizzazione dell’LLM a costi contenuti, una compatibilità con i toolkit e una gestione semplice delle implementazioni edge su larga scala.
GenAI Studio combina le funzionalità di regolazione fine e di inferenza per ottimizzare l’utilizzo dell’hardware, consentendo un’allocazione delle risorse più flessibile ed efficiente.
Per completare GenAI Studio, il server Edge AI AIR-520 di Advantech fornisce una piattaforma hardware dotata di GPU NVIDIA RTX e SSD Phison AI. Questa integrazione offre capacità di calcolo ad alta efficienza, progettate per soddisfare le esigenze delle applicazioni di intelligenza artificiale in settori come per esempio la produzione, la sanità e la vendita al dettaglio.