AI sui dispositivi: l’intelligenza artificiale si sta spostando su smartphone e laptop

Per sintetizzare il MWC 2024 bastano due lettere: KI. Che si tratti di antenne mobili, satelliti per comunicazioni o software back-end, all’inizio del 2024 il segno di un’intelligenza artificiale più veloce e più completa sarà ovunque nel settore della telefonia mobile. Un approccio è particolarmente interessante per i consumatori. L'industria vuole portare l'intelligenza artificiale nelle tasche e negli uffici dei consumatori con la parola chiave On-Device AI.

annuncio

L'intelligenza artificiale sul dispositivo viene spiegata rapidamente. Strumenti di intelligenza artificiale come ChatGPT o Midjourney vengono spesso eseguiti nel cloud. Le richieste immesse dall'utente finiscono su un server in Internet, che poi invia il risultato allo stesso modo al dispositivo finale. Vantaggio: poiché nel cloud ci sono più prestazioni rispetto a uno smartphone o un PC, il risultato è disponibile più velocemente nonostante il cambiamento. Svantaggi: senza una connessione Internet, gli strumenti non sono disponibili e i dati sensibili potrebbero finire da qualche parte su Internet. E con l’intelligenza artificiale on-device, secondo i fornitori di servizi, il cloud diventerà superfluo. I calcoli vengono eseguiti direttamente sul dispositivo, anche quando non è disponibile alcuna rete WiFi o cellulare. I suggerimenti e gli altri dati non lasciano mai il dispositivo.

AI sul dispositivo con e senza hardware speciale

Al MWC 2024 c'era disaccordo su come dovrebbe essere l'hardware necessario per questo. In linea di principio, anche la CPU o l'unità grafica più lenta di uno smartphone da 100 dollari può eseguire calcoli AI ed elaborare le richieste di conseguenza. ARM ha mostrato come potrebbe essere. Lo sviluppatore britannico del processore ha fatto calcolare gli input solo alla CPU. La premessa di base non dichiarata è che gli acceleratori AI proprietari non sono necessari nei dispositivi consumer come gli smartphone per utilizzare l’intelligenza artificiale “sul dispositivo”, tuttavia possono aumentare significativamente l’efficienza e quindi prolungare la durata della batteria.

L'offerta di ARM è l'opposto di ciò a cui punta Qualcomm. L'azienda, che ha introdotto nuove piattaforme wireless dotate di hardware e funzionalità AI al MWC 2024 con Snapdragon I modelli linguistici di grandi dimensioni dovrebbero funzionare in modo nativo su smartphone, laptop e al Mobile World Congress (MWC) con sette miliardi di modelli linguistici in tempo reale. Questo dovrebbe essere gestito da speciali NPU (unità di elaborazione neurale) presenti nei processori dell'azienda.

Qualcomm vuole essere più veloce rispetto alla concorrenza con i portatili AMD (Ryzen 7000 / 8000) e Intel (Core Ultra 100), che integrano moduli AI più lenti. In un confronto benchmark con il Core Ultra 7 155H, il prossimo modello Snapdragon Intel di Qualcomm necessita di ben 22 secondi, circa tre volte di più, includendo NPU (modello AI U-Net), core CPU (Text Encoder) e… Elaborazione grafica (codificatore automatico variabile, VAE). Il solo modulo AI di Intel ha meno potenza di calcolo: gestisce circa 11 trilioni di calcoli al secondo (11 TOPS) in formato dati INT8, e la combinazione di CPU, GPU e NPU raggiunge 34 TOPS. Qualcomm ha menzionato 45 TOPS per la sua NPU.

Anche quando richiesto, Qualcomm non ha fornito alcun dettaglio sulle configurazioni della CPU. In particolare, il consumo massimo consentito di energia elettrica (limite di potenza) può influenzare le prestazioni e distorcere i confronti. Pertanto il confronto di cui sopra con l’intelligenza artificiale dovrebbe essere interpretato con riserve.

Deutsche Telekom offre la risposta a ciò che i consumatori ottengono dall'intelligenza artificiale sul dispositivo, oltre al risparmio di volume di dati con lo smartphone basato sul concetto di intelligenza artificiale, presentato anche a Barcellona. Il dispositivo utilizza l'interfaccia Natural AI di Brain.ai, che, secondo Telekom, rende le app superflue. Invece di installare l'applicazione corrispondente per ciascun servizio, come avveniva in precedenza, l'utente deve semplicemente comunicare all'IA i suoi desideri. Obiettivo: Natural riconosce l'input e il contesto, cerca il contenuto desiderato su Internet e lo visualizza in un formato appropriato. Le prestazioni necessarie sono fornite dallo Snapdragon 8 Gen 3 di Qualcomm, che dispone di diversi acceleratori di intelligenza artificiale. Tutto ciò che riguarda l'intelligenza artificiale deve essere calcolato localmente dal dispositivo. I dati personali o sensibili non finiscono nel cloud o presso un rivenditore a meno che non sia assolutamente necessario, ad esempio per l'elaborazione dei pagamenti.

Funziona meglio con l'intelligenza artificiale locale

Ma l’intelligenza artificiale nel dispositivo deve occuparsi anche dei compiti in background, a breve termine soprattutto per quanto riguarda lo scambio di dati via radio. L'intelligenza artificiale nel nuovo modem Qualcomm e nel chipset WLAN mira a garantire minori requisiti energetici analizzando le priorità delle trasmissioni e regolando di conseguenza le prestazioni. Potrebbe sembrare una cosa positiva, ma c'è un problema: finché la stazione remota, ovvero un telefono cellulare o un router, non ha le stesse funzioni, l'intelligenza artificiale dello smartphone si scontrerà con la stupida infrastruttura wireless. Ma c’è un altro problema: cosa succede quando diversi terminali intelligenti controllati da WLAN competono tra loro nella rete e allo stesso tempo con dispositivi “stupidi” per le priorità? La risposta a questa domanda, ad esempio sotto forma di norma, non esiste ancora, almeno non pubblicamente.

Non tutta l’intelligenza artificiale ha bisogno di acceleratori speciali

A medio e lungo termine problemi come la già citata concorrenza nelle WLAN probabilmente svaniranno nel nulla – sempre che si verifichino problemi seri. Tuttavia, ciò che resta da vedere è se l’intelligenza artificiale on-device svolgerà davvero un ruolo così importante come previsto da Deutsche Telekom e Qualcomm, due dei più importanti attori in questo campo. Se si guarda il dispositivo concettuale di Telekom, a prima vista l'intelligenza artificiale non svolge nessun altro compito oltre agli assistenti vocali di Amazon, Apple e Google sui dispositivi già disponibili oggi. Tuttavia, l'intelligenza artificiale del dispositivo offre chiari vantaggi, ad esempio, quando si tratta di generatori di testi e immagini nonché di editing di foto e video. I dispositivi speciali progettati per questo scopo spesso funzionano più velocemente e in modo più efficiente rispetto ai chip che non dispongono degli acceleratori corrispondenti.

Nota: Qualcomm ha coperto le spese di viaggio dell'autore al MWC.

(BBE)