Come usare un modello AI in locale sul tuo computer: guida completa

Per anni usare un modello di intelligenza artificiale ha significato una cosa sola, aprire il browser, collegarsi al servizio di un grande fornitore e affidare a un server remoto ogni parola che scrivevi. Oggi non è più l’unica strada possibile. I modelli con pesi aperti sono diventati abbastanza compatti ed efficienti da girare direttamente sul computer che hai sulla scrivania, senza connessione a internet e senza che nulla di quello che scrivi esca dalla tua macchina. Questa guida ti accompagna passo dopo passo nel capire se ha senso per te, che cosa serve davvero al tuo hardware, quali strumenti scegliere e come installare il tuo primo modello locale senza scrivere una riga di codice.

Perché eseguire un modello AI in locale

La ragione più citata è la riservatezza, e non è un dettaglio da poco. Quando usi un servizio cloud, il testo che invii viaggia verso i server del fornitore e resta soggetto alle sue politiche di conservazione e trattamento. Per chi lavora con contratti, cartelle cliniche, bilanci, dati di clienti o materiale coperto da accordi di riservatezza, questo passaggio è spesso il vero ostacolo all’adozione dell’intelligenza artificiale. Un modello che gira in locale elimina il problema alla radice, perché il calcolo avviene sul tuo processore e i dati non lasciano mai il disco.

C’è poi il tema del costo. Un modello locale non ha abbonamenti mensili né consumo a consumo. Una volta scaricato, puoi interrogarlo quante volte vuoi pagando soltanto l’elettricità. Se il tuo lavoro prevede migliaia di elaborazioni ripetitive, per esempio riscrivere descrizioni di prodotto, classificare messaggi o estrarre informazioni da documenti simili tra loro, la differenza economica rispetto a un servizio a pagamento diventa rapidamente significativa.

Il terzo motivo è il controllo. Un modello scaricato sul tuo computer non cambia sotto i tuoi piedi. I fornitori cloud aggiornano e ritirano periodicamente le versioni, e un flusso di lavoro tarato su un certo comportamento può smettere di funzionare da un giorno all’altro. In locale la versione che hai scelto resta quella finché sei tu a decidere di cambiarla, e questo conta molto quando hai costruito processi stabili attorno a un modello specifico.

I limiti da mettere in conto

Sarebbe disonesto presentare solo i vantaggi. I modelli che puoi far girare su un computer normale sono più piccoli di quelli offerti dai grandi servizi commerciali, e questa differenza si sente nei compiti che richiedono ragionamento complesso, matematica avanzata o conoscenza enciclopedica molto specifica. Un modello locale di dimensioni contenute è eccellente per riassumere, riformulare, tradurre, classificare ed estrarre dati, mentre fatica su problemi che richiedono catene di ragionamento lunghe e articolate.

C’è anche una questione di velocità. Senza una scheda grafica dedicata, la generazione del testo procede a un ritmo che percepisci come lento rispetto all’immediatezza a cui ti hanno abituato i servizi online. Non è un difetto, è semplicemente il costo del calcolo fatto in casa. Infine, la conoscenza del modello si ferma alla data del suo addestramento e non ha accesso al web, quindi non aspettarti risposte su fatti recenti a meno di non collegarlo tu stesso a fonti esterne.

Che cosa serve davvero al tuo computer

La domanda che tutti si pongono all’inizio è se il proprio computer ce la farà. La risposta dipende quasi interamente da due fattori, la dimensione del modello e la quantità di memoria disponibile. Capire come si legano tra loro ti evita di scaricare inutilmente decine di gigabyte per poi scoprire che la macchina non regge.

Come leggere la dimensione di un modello

Ogni modello viene indicato con un numero seguito dalla lettera B, come 3B, 8B, 14B o 70B. Quel numero esprime i miliardi di parametri, cioè i valori numerici che il modello ha appreso durante l’addestramento e che usa per generare ogni parola. Più parametri significa in genere risposte più accurate e sfumate, ma anche più memoria richiesta e più lentezza. Se vuoi approfondire che cosa siano esattamente questi parametri e come nascono, trovi una spiegazione estesa nella guida su come funzionano i large language model.

La regola pratica è semplice. Il modello deve stare interamente in memoria per funzionare a velocità accettabile, e la memoria che conta è quella della scheda video se ne hai una dedicata, altrimenti quella di sistema. Su un portatile con 8 GB di RAM puoi lavorare bene con modelli da 3 o 4 miliardi di parametri. Con 16 GB entri comodamente nella fascia da 7 a 9 miliardi, che è il punto di equilibrio migliore tra qualità e risorse per la maggior parte degli usi quotidiani. Con 32 GB o più, o con una scheda video dedicata generosa, puoi affrontare modelli da 14 a 32 miliardi di parametri e ottenere risultati notevolmente più solidi.

La quantizzazione, la scorciatoia che rende tutto possibile

Se i conti ti sembrano proibitivi, c’è una tecnica che cambia le carte in tavola. La quantizzazione riduce la precisione con cui vengono memorizzati i parametri del modello, passando per esempio da sedici bit per valore a quattro. Il file che scarichi diventa così molto più leggero, spesso meno di un terzo dell’originale, e la memoria necessaria scende in proporzione.

La domanda ovvia è quanto ci si perde in qualità. La risposta rassicurante è che nella fascia di quantizzazione più usata, quella a quattro bit, il degrado è contenuto e nella maggior parte degli usi pratici risulta quasi impercettibile. Quando scarichi un modello troverai sigle come Q4, Q5 o Q8 nel nome del file, dove il numero indica proprio i bit per parametro. Se non sai da dove partire, la variante a quattro bit è quasi sempre la scelta più sensata per iniziare, perché ti permette di far girare un modello di una classe superiore rispetto a quella che il tuo hardware sopporterebbe senza compressione.

Gli strumenti per iniziare senza scrivere codice

Fino a poco tempo fa mettere in piedi un modello locale richiedeva competenze da sviluppatore. Oggi esistono programmi che fanno tutto al posto tuo, dallo scaricamento del modello alla gestione della memoria, e si usano come qualsiasi altra applicazione.

Ollama è probabilmente il punto di ingresso più pulito. Si installa come un normale programma su Windows, macOS e Linux, e da quel momento scaricare un modello significa digitare un comando di due parole nel terminale. Gestisce da solo la memoria, la quantizzazione e l’aggiornamento dei modelli, ed espone un’interfaccia locale a cui puoi collegare altri programmi. È la scelta giusta se non ti spaventa aprire una finestra di terminale una volta ogni tanto.

LM Studio segue la filosofia opposta e offre un’interfaccia grafica completa. Trovi un catalogo di modelli navigabile con la ricerca, indicazioni chiare su quali siano compatibili con il tuo hardware, una chat integrata e pannelli per regolare i parametri di generazione. Se il terminale ti mette a disagio, parti da qui, perché in pochi clic passi dall’installazione alla prima conversazione senza mai toccare una riga di comando.

Sotto queste interfacce lavora quasi sempre lo stesso motore, il progetto open source llama.cpp, nato per far girare modelli linguistici in modo efficiente anche su processori senza scheda grafica dedicata. Non ti serve conoscerlo per iniziare, ma è utile sapere che esiste, perché spiega perché strumenti diversi supportano gli stessi formati di file e perché la compatibilità tra modelli e programmi è così ampia.

La procedura passo dopo passo per il tuo primo modello

Vediamo il percorso concreto, dall’installazione alla prima risposta generata sul tuo computer. Il flusso è lo stesso qualunque strumento tu scelga, cambiano solo i dettagli dell’interfaccia.

Comincia dal verificare quanta memoria hai a disposizione. Su Windows la trovi nella scheda Prestazioni del Gestione attività, su macOS in Informazioni su questo Mac, su Linux con il comando che mostra lo stato della memoria. Annota il valore, perché determina la classe di modello a cui puoi puntare secondo le indicazioni viste sopra.

Scarica e installa il programma che hai scelto dal sito ufficiale del progetto, evitando siti di terze parti che ridistribuiscono eseguibili. Al primo avvio ti verrà proposto di scaricare un modello, ed è qui che conviene essere prudenti. Non partire dal modello più grande che il tuo computer teoricamente sopporta, ma da uno di dimensioni medie, così verifichi che tutto funzioni prima di impegnare decine di gigabyte di disco.

Avvia il download e mettiti comodo, perché anche un modello compatto pesa diversi gigabyte e il tempo dipende dalla tua connessione. Quando è pronto, apri la finestra di chat e prova una richiesta semplice, per esempio chiedere un riassunto di un testo che incolli. Osserva due cose, la velocità con cui compaiono le parole e l’uso della memoria mostrato dal sistema. Se il computer rallenta vistosamente o il testo esce con lunghe pause, il modello è troppo grande per la tua macchina e ti conviene scendere di una classe o passare a una quantizzazione più aggressiva.

Una volta trovato il punto di equilibrio, dedica un po’ di tempo a impostare il messaggio di sistema, cioè l’istruzione permanente che definisce come il modello deve comportarsi in ogni conversazione. I modelli locali sono in genere più sensibili alla formulazione delle richieste rispetto ai grandi servizi commerciali, quindi la cura nella scrittura delle istruzioni ripaga in modo evidente. Le tecniche descritte nella guida al prompt engineering valgono anche qui, anzi contano ancora di più.

Come scegliere il modello giusto per quello che devi fare

Non esiste un modello migliore in assoluto, esiste quello adatto al compito che hai davanti. Le famiglie con pesi aperti più diffuse coprono esigenze diverse e vale la pena conoscerne l’orientamento prima di scaricare a caso.

Per la scrittura e la conversazione generica in italiano, i modelli generalisti di dimensione media offrono la resa più equilibrata, perché sono stati addestrati su corpora multilingue ampi e gestiscono bene la sintassi delle lingue europee. Per la programmazione esistono varianti specializzate sul codice, riconoscibili perché hanno la parola coder o instruct nel nome, che a parità di parametri scrivono codice sensibilmente migliore di un modello generalista. Per l’estrazione di dati strutturati da documenti, infine, i modelli piccoli ma recenti sono spesso sorprendentemente efficaci, perché il compito richiede precisione formale più che conoscenza del mondo.

Un consiglio che ti risparmierà frustrazione, prova sempre lo stesso identico compito su due o tre modelli diversi prima di sceglierne uno. Le classifiche pubbliche sono indicative ma misurano prove standardizzate che possono avere poco a che fare con il tuo caso d’uso reale. Dieci minuti di confronto diretto sui tuoi testi valgono più di qualsiasi punteggio.

Collegare il modello locale ai tuoi documenti

Il salto di qualità arriva quando smetti di usare il modello come una chat generica e inizi a farlo lavorare sui tuoi materiali. La tecnica si chiama recupero aumentato dalla generazione, nota con la sigla inglese RAG, e funziona in modo intuitivo. I tuoi documenti vengono spezzati in frammenti e trasformati in rappresentazioni numeriche, poi archiviati in un indice. Quando poni una domanda, il sistema recupera i frammenti più pertinenti e li passa al modello insieme alla richiesta, così la risposta si fonda su quei testi anziché sulla memoria interna.

Diversi programmi per l’uso locale integrano ormai questa funzione con un semplice trascinamento dei file nella finestra. Il vantaggio è doppio, perché ottieni risposte ancorate ai tuoi contenuti e riduci sensibilmente il rischio che il modello inventi informazioni plausibili ma false, un fenomeno che vale la pena conoscere a fondo e che è spiegato nel dettaglio nell’articolo sulle allucinazioni dell’intelligenza artificiale. Resta comunque una regola valida sempre, verifica le affermazioni importanti, perché nessuna tecnica azzera del tutto il problema.

Gli errori più comuni di chi inizia

Il primo errore è puntare troppo in alto. La tentazione di scaricare il modello più grande possibile è forte, ma un modello che satura la memoria costringe il sistema a usare il disco come area di scambio e le prestazioni crollano al punto da rendere l’esperienza inutilizzabile. Meglio un modello più piccolo che risponde in modo fluido.

Il secondo errore è ignorare la finestra di contesto, cioè la quantità di testo che il modello può tenere sotto gli occhi contemporaneamente. Se incolli un documento più lungo di quel limite, le parti iniziali vengono semplicemente scartate e il modello risponde su un testo mutilato senza avvisarti. Controlla sempre il valore impostato nel tuo programma e alzalo se la memoria te lo consente, tenendo presente che un contesto più ampio consuma più memoria.

Il terzo errore è aspettarsi che un modello locale si comporti come quello a cui sei abituato online. Sono strumenti diversi con punti di forza diversi, e il modo giusto di usarli è affidare loro i compiti ripetitivi, riservati o ad alto volume, continuando a usare i servizi cloud per i problemi che richiedono ragionamento profondo. Se qualche termine tecnico incontrato lungo il percorso ti risulta oscuro, il glossario dell’intelligenza artificiale ti aiuta a orientarti tra le sigle.

Conclusioni

Far girare un modello di intelligenza artificiale sul proprio computer non è più un esercizio da specialisti. Con un’ora di tempo, qualche gigabyte di disco e un programma come Ollama o LM Studio puoi avere un assistente che lavora sui tuoi documenti senza che una sola parola raggiunga un server esterno. Non sostituirà i grandi modelli commerciali nei compiti più impegnativi, ma per tutto ciò che riguarda riservatezza, volumi elevati e continuità nel tempo rappresenta una soluzione concreta e a costo marginale nullo.

Il consiglio finale è di partire piccolo e crescere per gradi. Installa uno strumento, prova un modello di dimensioni medie sui compiti che ripeti più spesso, misura se la qualità ti basta e solo allora valuta se salire di classe o investire in hardware. Scarica oggi il tuo primo modello, mettilo alla prova su un documento reale che hai sul desktop e scopri quanto lavoro puoi già portare in casa.