GitHub Copilot usa le app desktop: computer use in anteprima pubblica

GitHub ha portato il computer use dentro Copilot. Dal 1 ottobre 2026 l’assistente può muoversi tra le applicazioni desktop come farebbe una persona: legge ciò che è sullo schermo, clicca i controlli, scrive testo, preme tasti, scorre le finestre e trascina elementi. La funzione è in anteprima pubblica in GitHub Copilot CLI e nell’app GitHub Copilot, su macOS e Windows, ed è spenta finché non decidi tu di attivarla.

Il punto interessante non è solo la novità tecnica, ma il tipo di software che finalmente diventa raggiungibile da un agente: quello che non ha API, né riga di comando, né integrazione MCP.

Cosa cambia con il computer use di GitHub Copilot

Fino a oggi un agente di coding lavorava bene dove esistevano strumenti strutturati: un terminale, un file system, un’API ben documentata, un server MCP. Appena il lavoro passava da un programma con interfaccia grafica, tutto si fermava e toccava a te fare da ponte. Con il computer use, secondo la documentazione ufficiale di GitHub, Copilot può automatizzare anche software legacy o pensato solo per l’uso manuale, attraversando più applicazioni dentro lo stesso flusso di lavoro.

La demo scelta da GitHub per il lancio è un banale rimborso spese compilato in Safari. Un esempio quotidiano, volutamente lontano dal codice, che dice molto su dove vuole arrivare il prodotto.

Come legge lo schermo

Copilot non si affida a un solo canale. Quando può, legge il contenuto accessibile delle applicazioni attraverso l’albero di accessibilità del sistema operativo, cioè la stessa struttura che usano gli screen reader. Quando serve contesto visivo, ricorre agli screenshot. Sceglie da solo gli strumenti da usare mentre porta avanti la richiesta che gli hai dato, senza che tu debba indicargli ogni click.

Come si attiva

Nella CLI basta il comando /computer on, con /computer show per controllare lo stato e /computer off per spegnere tutto. Nell’app di Copilot si va nelle impostazioni, si apre la sezione Computer Use e si abilita l’opzione. Su macOS la procedura ti guida a concedere i permessi di Accessibilità e di Registrazione dello schermo, indispensabili perché l’agente veda e comandi le finestre.

In sintesi: è un’opzione consapevole, non un comportamento che compare da solo.

Permessi, approvazioni e controlli per le aziende

Dare a un agente mouse e tastiera è una questione di fiducia, e GitHub l’ha affrontata con un sistema a più livelli. Per ogni applicazione Copilot chiede prima l’approvazione, e tu puoi concederla per la sessione corrente, salvarla per le sessioni future oppure negarla. Le approvazioni salvate con “always allow” restano in locale e valgono sia per la CLI sia per l’app sullo stesso computer, ma puoi rivederle e azzerarle quando vuoi.

Le regole di divieto hanno sempre la precedenza: una regola deny prevale su qualsiasi approvazione automatica o salvata. Chi amministra un’organizzazione può inoltre disattivare la funzione con impostazioni gestite, e abilitarla in locale non aggira quella policy. Secondo la copertura di The New Stack, gli amministratori possono anche impedire agli sviluppatori di saltare i messaggi di approvazione.

C’è poi il freno di emergenza. Nella CLI premi due volte Esc, nell’app clicchi Stop oppure premi Esc. Un dettaglio che però va letto con attenzione: rimuovere un’app dall’elenco delle autorizzazioni permanenti non interrompe l’accesso già concesso a una sessione in corso.

I limiti dichiarati da GitHub

La documentazione è insolitamente franca sui rischi. Istruzioni ambigue o contenuti inattesi sullo schermo possono portare ad azioni non volute che toccano il tuo dispositivo, i tuoi dati o gli account collegati. Le finestre aperte possono mostrare informazioni sensibili, anche di altre persone, e quel contenuto diventa contesto per l’agente.

Sul piano operativo, Copilot può scegliere il controllo sbagliato, scrivere nel campo sbagliato o inciampare su interfacce dinamiche e non standard. Cambi di finestra o questioni di tempistica possono causare azioni ripetute o far bloccare il lavoro. È la fotografia onesta di una tecnologia ancora giovane.

Quando conviene evitarlo

Il consiglio più rilevante arriva da GitHub stessa: se un’API, un server MCP, un comando da terminale, uno strumento sul file system o uno strumento per il browser può fare il lavoro direttamente, usa quello. I risultati sono più strutturati e prevedibili. Il computer use è la soluzione di ripiego per quando non esiste un’altra strada, non il primo strumento da tirare fuori.

Un’altra raccomandazione pratica: evita “always allow” per le app con informazioni delicate o con azioni ad alto impatto, e controlla sempre applicazione, permessi e risultati prima di operazioni che modificano dati o coinvolgono altre persone.

Il contesto: la corsa degli agenti che usano il computer

GitHub non è sola. Sempre secondo The New Stack, OpenAI ha aggiunto il computer use a Codex in aprile, mentre Anthropic ha portato un uso più ampio di macOS in Claude Code e in Claude Cowork all’inizio dell’anno. Il filo comune è l’idea che un agente possa usare le stesse interfacce delle persone, evitando di costruire un connettore dedicato per ogni singola applicazione.

È una scommessa con un compromesso evidente: meno lavoro di integrazione, ma più superficie di rischio. Il tema ha già un volto sul nostro sito, per esempio con i nuovi controlli di macOS sull’accesso al disco per gli agenti AI, e con la discussione normativa dell’AI Agent Accountability Act sulla responsabilità di chi mette in campo agenti autonomi.

Copilot, del resto, non è nuovo a mosse da agente: avevamo già raccontato l’arrivo di Grok 4.6 dentro GitHub Copilot per il coding agentico. E sul versante sicurezza resta d’obbligo ricordare quanto possano essere delicati questi strumenti, come mostra il caso di Plugin4Shell, la vulnerabilità zero-click negli agenti di coding.

Per chi usa già Copilot ogni giorno, questo significa che il perimetro dell’assistente si sposta: non più solo l’editor e il terminale, ma l’intero ambiente di lavoro, con le sue finestre, i suoi menu e le sue abitudini.

Che cosa significa per te

Se sviluppi software, il vantaggio più concreto è sui compiti di contorno che finora ti rubavano tempo: strumenti interni senza API, applicazioni aziendali datate, procedure da ripetere in programmi che non si lasciano automatizzare con uno script. Se invece lavori in un team, la domanda giusta non è se attivare la funzione, ma con quali regole.

Un approccio prudente potrebbe essere questo: parti con un’app di prova, tieni le approvazioni limitate alla sessione, non esporre finestre con dati personali o di clienti e verifica ogni risultato. Considera che la pagina di GitHub non indica quali piani Copilot includano la funzione né il suo prezzo, quindi controlla la tua licenza prima di costruirci sopra dei processi.

La vera novità, in fondo, è culturale. Per anni abbiamo adattato i programmi agli agenti, scrivendo API e connettori. Ora gli agenti iniziano ad adattarsi ai programmi, anche a quelli più vecchi, e questo allarga di molto ciò che si può automatizzare.

Conclusioni

Il computer use di GitHub Copilot è un passo concreto verso agenti che lavorano davvero sul tuo desktop, ma resta un’anteprima: opt-in, con limiti noti e rischi che richiedono attenzione. Per ora ha senso trattarlo come un assistente da supervisionare, non come un automatismo da lasciare solo.

Il mio consiglio è di provarlo in un ambiente controllato, su un compito ripetitivo e a basso rischio, e di annotare dove sbaglia. Se vuoi restare aggiornato su come evolvono gli agenti AI e sugli strumenti per sviluppatori, continua a seguire le nostre news: ne parleremo ancora man mano che arrivano le novità.