Il panorama tecnologico attuale, in continua evoluzione, è caratterizzato da innovazioni nel machine learning e nell’intelligenza artificiale, entrambe in grado di trasformare i processi industriali e i modi in cui si interagisce con il mondo. Grazie all’AI, i programmatori possono creare applicazioni più intelligenti, flessibili ed efficienti. Arm, grazie alla sua posizione distintiva nel settore, consente da oltre un decennio l’implementazione di soluzioni AI su diverse piattaforme.
non è necessario un NPU per le applicazioni AI
Da oltre sette anni, si analizzano i benefici e i limiti dei vari acceleratori di machine learning, noti come NPUs. Sebbene questi processori possano trovare la loro applicazione in determinati dispositivi, è un mito comune credere che siano indispensabili per svolgere attività legate all’AI. Questa affermazione non è corretta. Le operazioni AI non sono esclusive per gli NPU, poiché possono essere eseguite su qualsiasi piattaforma, inclusi CPU e GPU. I chip Arm della serie v8 e v9 permettono di eseguire compiti di machine learning in modo particolarmente efficace sulle CPU Arm.
operazioni fondamentali nel machine learning
La moltiplicazione di matrici rappresenta l’operazione matematica centrale nel contesto del machine learning e dell’AI. Sebbene GPU e NPU siano ottimizzati per questa funzione, anche le moderne CPU Arm sono in grado di eseguire tali operazioni grazie ai acceleratori hardware integrati. Indipendentemente dal tipo di processore, Arm v8, Arm v9, Cortex-A, Cortex-X o Neoverse, ciascuno presenta tecnologie specifiche per l’accelerazione delle operazioni di moltiplicazione delle matrici.
Tra le tecnologie disponibili ci sono Neon e Scalable Vector Extensions (SVE), che consentono operazioni di moltiplicazione matriciale efficienti, anche in assenza di GPU o NPU. In dispositivi mobili e edge, le Scalable Matrix Extensions (SME) sono integrate nei processori Arm, garantendo alte prestazioni per le operazioni matriciali.
la tecnologia Kleidi di Arm
Oltre ai sistemi hardware, la tecnologia Kleidi rappresenta una componente chiave della strategia di Arm per promuovere soluzioni AI su piattaforme mobili e server. Si articola in una serie di risorse e collaborazioni destinate ad aiutare gli sviluppatori a perseguire l’accelerazione AI senza difficoltà. Un elemento centrale di Kleidi è la libreria di kernel di machine learning ad alte prestazioni, chiamata KleidiAI, ottimizzata per le CPU Arm utilizzando diversi acceleratori hardware.
Kleidi si integra in vari framework, risultando immediatamente utilizzabile dai programmatori. Questa sinergia ha permesso di implementare l’accelerazione hardware per le CPU Arm, supportando diverse tecnologie di machine learning, da quelle tradizionali all’AI generativa attuale.
ottimizzazione e performance con Kleidi
Arm ha integrato la tecnologia Kleidi in framework AI noti, come PyTorch e ExecuTorch, garantendo sostanziali miglioramenti prestazionali direttamente utilizzabili dai programmatori. Tale integrazione permette l’applicazione delle librerie ottimizzate di Arm nei flussi di lavoro esistenti, raggiungendo miglioramenti delle prestazioni fino a 12 volte con uno sforzo minimo.
Le recenti collaborazioni con Meta hanno reso possibile una perfetta esecuzione del modello Llama 3.2 sulle CPU Arm. La disponibilità di modelli LLM di dimensioni ridotte è cruciale per l’implementazione delle operazioni AI su larga scala. Le CPU Arm riescono a gestire modelli di grande entità, come Llama 3.2, con oltre 11 miliardi di parametri.
un grande impulso per gli sviluppatori
Grazie a queste innovazioni, le opportunità per gli sviluppatori sono vastissime. Immaginare un grande modello linguistico operante su uno smartphone con CPU Arm, senza nè GPU nè NPU, né necessità di cloud, diventa ora concreto. La strategia di Arm punta sulla portabilità delle prestazioni, consentendo agli sviluppatori di ottimizzare i modelli una sola volta per poi distribuirli su diverse piattaforme senza alcuna modifica.
Questa modalità si rivela particolarmente vantaggiosa per chi deve implementare modelli sia nell’edge, su uno smartphone, che nel cloud. Grazie ad Arm, è garantito che un modello ottimizzato per una piattaforma offrirà buone prestazioni anche su altre.
Arm mette a disposizione risorse utili per sviluppatori, inclusa documentazione su come migliorare l’efficienza di AI e ML nei dispositivi mobili tramite l’uso delle CPU Arm.
Lascia un commento