Google ML Drift: il motore GPU open source per l’AI sul dispositivo

Google ha rilasciato ML Drift, il motore di calcolo GPU open source che sta alla base di LiteRT e che permette di eseguire modelli di intelligenza artificiale direttamente sui dispositivi, dal telefono al portatile, senza dover scrivere codice diverso per ogni scheda grafica. Il rilascio è del 25 ottobre 2026, con licenza Apache 2.0. Se sviluppi app con funzioni AI locali, è una notizia che tocca da vicino il tuo lavoro quotidiano.

In pratica Google sta aprendo al pubblico un pezzo di infrastruttura che già usa in produzione. Vediamo cosa fa, come è fatto e quali numeri dichiara l’azienda, tenendo ben distinti i fatti dalle affermazioni non ancora verificate da terzi.

Cos’è ML Drift e perché Google lo apre adesso

ML Drift è un motore di calcolo GPU multipiattaforma pensato per l’inferenza sul dispositivo. Con inferenza si intende la fase in cui un modello già addestrato viene usato per produrre risultati, per esempio segmentare una foto, ripulire l’audio di una chiamata o generare testo. Farlo sul dispositivo, invece che su un server, riduce la latenza, protegge meglio i dati dell’utente e funziona anche senza connessione.

Il problema storico di questo approccio è la frammentazione. Ogni produttore di GPU ha driver, versioni e interfacce grafiche di basso livello diverse, e chi sviluppa deve spesso inseguire ciascuna combinazione. ML Drift nasce per nascondere queste differenze e offrire un livello unico sopra l’hardware.

Il ruolo dentro LiteRT

Secondo la ricostruzione di InfoQ, ML Drift è il motore di accelerazione GPU che sta sotto LiteRT, lo strato di runtime di Google per l’AI su dispositivo. Può essere usato per visione artificiale, audio, elaborazione della profondità e AI generativa, quindi non è limitato a un solo tipo di modello.

Google lo descrive come già presente su milioni di dispositivi, attraverso Chrome, YouTube Shorts, Google Foto e Meet. Non è quindi un esperimento di laboratorio, ma una tecnologia collaudata che adesso diventa disponibile a tutti gli sviluppatori.

Il codice si trova nel repository ufficiale su GitHub, nello spazio google-ai-edge.

Come funziona sotto il cofano

Dal punto di vista tecnico, ML Drift supporta diversi backend: OpenGL ES, OpenCL, Metal e WebGPU. Questa varietà copre i casi principali, dai telefoni Android ai dispositivi Apple fino al browser.

Su Windows e Linux l’inferenza desktop passa da Dawn, l’implementazione di WebGPU di Chromium. Questa scelta evita di chiamare direttamente DirectX e Vulkan, due interfacce che richiederebbero lavoro separato. Su macOS resta invece il supporto nativo a Metal, che è il percorso più naturale per i chip Apple.

Una scelta di design interessante.

Tensor virtualization e shader unificati

Tra le caratteristiche dichiarate ci sono gli shader unificati ottenuti tramite la cosiddetta virtualizzazione dei tensori. L’idea di fondo è separare il modo in cui i dati vengono descritti logicamente dal modo in cui sono davvero disposti in memoria sulla GPU, così lo stesso programma di calcolo può adattarsi a più architetture senza essere riscritto da zero.

Il motore supporta inoltre operazioni personalizzate estendibili e tensori a cinque dimensioni, utili per carichi di lavoro come video e modelli multimodali. Sono inclusi anche ottimizzazioni specifiche per le GPU di Arm, Intel e Qualcomm Technologies, tre famiglie molto diffuse su telefoni e portatili.

Due livelli di accesso

Google prevede due modalità d’uso. Chi sviluppa applicazioni può usare l’acceleratore LiteRT ML Drift, senza toccare i dettagli della GPU. Chi lavora sui sistemi e sulle prestazioni può invece usare l’API C++ di basso livello per costruire grafi di calcolo GpuModel personalizzati e scrivere shader su misura.

Questa doppia porta d’ingresso rende il progetto interessante sia per chi vuole integrare l’AI in un’app in poche righe, sia per chi deve spremere ogni millisecondo da un dispositivo specifico.

I numeri dichiarati da Google

Veniamo alle prestazioni. Va premesso che tutti i dati che seguono sono dichiarati da Google e, per ora, non risultano verificati in modo indipendente. Vanno quindi letti come indicazioni, non come benchmark neutrali.

Sul consumo di memoria, Google afferma che il sovraccarico è inferiore del 12% rispetto ad altri framework, tra cui llama.cpp e MLX LM. Il test è stato svolto con modelli Gemma su hardware da workstation per sviluppatori.

Le applicazioni reali

Per quanto riguarda i prodotti, i risultati citati sono vari. In YouTube Shorts la latenza media per fotogramma scende fino al 40% negli effetti basati su segmentazione, sia su Android sia su iOS. In Google Foto le pipeline di fotografia computazionale e segmentazione guadagnano fino a due secondi.

Anche partner esterni compaiono nell’elenco. In Adobe Lightroom e Photoshop alcune funzioni come Seleziona soggetto, Seleziona cielo e Ritratto adattivo risultano fino al 30% più veloci. Snapchat segnala una latenza dei modelli inferiore del 30% per gli effetti di volto e di generazione di stili su Android, un margine che permette di usare modelli di diffusione più grandi.

Colpisce il fatto che le cifre vengano da applicazioni molto diverse tra loro, dalla fotografia al video breve.

Cosa manca nel confronto

Un dettaglio utile da tenere a mente, sottolineato anche da InfoQ: Google non ha pubblicato confronti con Core ML sugli iPhone più recenti. Dato che Core ML è la scelta di riferimento di Apple per l’AI locale, l’assenza di quel termine di paragone lascia aperta una domanda importante per chi sviluppa per iOS.

Inoltre il test di memoria usa hardware da workstation, non telefoni di fascia media. Prima di basare una decisione di prodotto su queste cifre, conviene misurare sul tuo caso d’uso e sui tuoi dispositivi di destinazione.

Cosa cambia per gli sviluppatori

Un effetto concreto riguarda il vecchio delegato GPU di TensorFlow Lite. Google dichiara che non sarà più aggiornato e raccomanda di migrare all’acceleratore LiteRT ML Drift. Se hai app che dipendono dal vecchio percorso, è il momento di pianificare la transizione.

La licenza Apache 2.0 è un altro punto a favore: permette l’uso commerciale, la modifica e la redistribuzione, con pochi vincoli. Per un freelance o una piccola software house significa poter integrare il motore in un prodotto senza negoziare condizioni particolari.

Il contesto: Google punta su AI aperta e locale

ML Drift si inserisce in una strategia più ampia. Negli ultimi giorni abbiamo raccontato come Google abbia reso open source TorchTPU per portare PyTorch in modo nativo sulle TPU, e in precedenza il lavoro sull’embedding multimodale aperto sul dispositivo con EmbeddingGemma 2. Il filo conduttore è chiaro: infrastruttura aperta, dal data center fino al telefono.

Per chi segue l’ecosistema di Google Gemini e dei modelli Gemma, avere un motore di inferenza GPU ottimizzato e libero è un tassello che rende più semplice portare questi modelli ovunque.

Anche altri progetti stanno spingendo nella stessa direzione. Basta pensare alla sintesi vocale open source pensata per girare sul dispositivo, che mostra quanto l’AI locale stia diventando un terreno di competizione concreto.

Limiti e domande aperte

Come per ogni rilascio di questo tipo, il valore reale emergerà con l’uso. Servirà vedere benchmark indipendenti, la qualità della documentazione, la velocità con cui la community segnalerà problemi e la capacità di Google di mantenere il progetto nel tempo.

Un’altra incognita è la copertura dell’hardware. Le ottimizzazioni citate riguardano Arm, Intel e Qualcomm Technologies: restano da capire i risultati su altre famiglie di GPU, soprattutto fuori dall’ecosistema mobile.

Infine c’è il tema della dipendenza. Adottare ML Drift significa legarsi a LiteRT e alle scelte di Google, anche se la licenza aperta riduce il rischio di rimanere intrappolati.

Conclusioni: cosa fare adesso

ML Drift è un rilascio tecnico, ma con conseguenze pratiche chiare: meno codice specifico per ogni GPU, supporto a più backend grafici e un percorso di migrazione per chi usa ancora il vecchio delegato di TensorFlow Lite. Le prestazioni dichiarate sono promettenti, ma vanno verificate.

Se sviluppi app con AI locale, dai un’occhiata al repository, prova l’acceleratore LiteRT sul tuo modello e confronta i risultati con la soluzione che usi oggi. E se vuoi restare aggiornato sulle novità dei grandi laboratori, continua a seguire le nostre news: ogni giorno raccontiamo ciò che cambia davvero nel mondo dell’intelligenza artificiale.