Come eseguire un LLM in locale sul tuo computer: la guida completa

Immagina di poter usare un modello di intelligenza artificiale simile a ChatGPT direttamente sul tuo computer, senza connessione a internet, senza abbonamenti mensili e senza inviare una sola parola dei tuoi documenti a un server remoto. Non è uno scenario futuristico, è qualcosa che oggi puoi fare in mezz’ora sul portatile che stai usando in questo momento. Eseguire un LLM in locale, cioè far girare un grande modello linguistico sul tuo hardware invece che nel cloud, è diventato uno degli argomenti più caldi per chi lavora con l’AI e tiene alla privacy, ai costi e al controllo dei propri dati.

In questa guida ti spiego passo dopo passo cosa significa eseguire un modello in locale, quali vantaggi e limiti comporta, di quale hardware hai davvero bisogno e quali strumenti usare per iniziare oggi stesso. Vedremo insieme Ollama, LM Studio e le altre soluzioni più diffuse, capiremo come scegliere il modello open source giusto e affronteremo gli errori più comuni di chi parte da zero. Alla fine avrai un quadro completo per installare il tuo primo modello e usarlo con criterio.

Cosa significa eseguire un LLM in locale

Quando usi ChatGPT, Gemini o Claude dal browser, il tuo messaggio viaggia fino ai data center dell’azienda che offre il servizio, viene elaborato da modelli enormi ospitati su migliaia di schede grafiche e la risposta torna indietro fino al tuo schermo. Tu vedi solo la conversazione, ma tutto il lavoro pesante avviene altrove, su computer che non sono i tuoi e che appartengono a qualcun altro.

Eseguire un LLM in locale ribalta questo schema. Il modello viene scaricato una volta sola e salvato sul tuo disco, e da quel momento ogni risposta viene calcolata dal tuo processore o dalla tua scheda grafica. Nulla lascia il computer.

La differenza è profonda. Non parli più con un servizio remoto, ma con un file che vive sulla tua macchina e che risponde anche in modalità aereo, in treno o in una baita senza copertura. Il modello è tuo, nel senso più concreto del termine.

Come funziona l’inferenza in locale

Il processo con cui un modello genera una risposta si chiama inferenza. Nel cloud l’inferenza gira su acceleratori specializzati che costano decine di migliaia di euro l’uno, mentre in locale sfrutti quello che hai già: la CPU, la memoria RAM e, se ce l’hai, la GPU con la sua memoria dedicata chiamata VRAM.

Il modello non è altro che un insieme molto grande di numeri, i cosiddetti parametri, che rappresentano ciò che ha imparato durante l’addestramento. Quando scrivi una domanda, il software carica questi parametri in memoria e li usa per prevedere, un pezzo di parola alla volta, la risposta più probabile. Ogni frammento generato si chiama token, e la velocità con cui il tuo computer li produce, misurata in token al secondo, è l’indicatore più immediato delle prestazioni.

Più il modello è grande, più parametri deve tenere in memoria e più calcoli deve fare per ogni token. Ecco perché il tipo di hardware che possiedi determina quali modelli puoi far girare in modo fluido e quali invece risulteranno lenti o addirittura impossibili da caricare.

Modelli aperti e modelli proprietari

Non tutti i modelli si possono scaricare. I sistemi più potenti e famosi, come le versioni di punta di GPT o di Gemini, sono proprietari e accessibili solo attraverso i servizi delle rispettive aziende. Non esiste un file da mettere sul tuo disco, e questo è un limite invalicabile per chi vuole lavorare offline.

Per fortuna esiste un intero universo di modelli open source, o più precisamente a pesi aperti, che chiunque può scaricare gratuitamente. Sono questi i protagonisti dell’esecuzione in locale, ed è grazie a loro che la scena è esplosa negli ultimi anni.

Perché eseguire un modello in locale: vantaggi e limiti

La prima ragione, quella che spinge molti professionisti a interessarsi al tema, è la privacy. Quando un modello gira sul tuo computer, i tuoi documenti, le tue email, i contratti dei clienti e le idee riservate non escono mai dalla tua macchina. Per un avvocato, un medico, un consulente o chiunque tratti informazioni sensibili, questa garanzia vale più di qualsiasi funzione avanzata.

Il secondo vantaggio è economico. I modelli open source e i software per eseguirli sono gratuiti, quindi una volta scaricato il modello puoi generare tutto il testo che vuoi senza pagare un centesimo per token o un abbonamento mensile. Se usi l’AI in modo intensivo, il risparmio nel tempo è notevole.

Poi c’è l’indipendenza. Un modello locale funziona senza connessione, non è soggetto a interruzioni del servizio, non cambia comportamento da un giorno all’altro perché il fornitore ha aggiornato qualcosa e non può essere ritirato o limitato. Hai il pieno controllo, e questo per chi costruisce prodotti o flussi di lavoro è un valore enorme.

C’è infine la libertà di personalizzazione. Puoi scegliere tra centinaia di modelli, adattarli ai tuoi scopi, integrarli nei tuoi programmi tramite semplici chiamate e persino affinarli sui tuoi dati.

Sarebbe però disonesto raccontarti solo i pregi. Eseguire un LLM in locale ha dei limiti reali, e conoscerli in anticipo ti evita delusioni.

Il primo limite è la qualità. Un modello che gira sul tuo portatile, per quanto valido, difficilmente eguaglia i sistemi di frontiera ospitati nei data center, che contano un numero di parametri fuori dalla portata di qualsiasi computer domestico. Per compiti molto complessi la differenza si sente.

Il secondo limite è l’hardware. I modelli più capaci richiedono molta memoria e una buona scheda grafica, e su una macchina modesta sei costretto a scegliere versioni più piccole e meno brillanti. Il terzo, spesso sottovalutato, è la gestione: aggiornamenti, scelta del modello e piccola manutenzione ricadono su di te, mentre con un servizio cloud pensa a tutto il fornitore.

Di cosa hai bisogno: i requisiti hardware

La domanda che tutti si fanno è semplice: il mio computer ce la fa? La risposta dipende quasi interamente dalla memoria disponibile e dalla dimensione del modello che vuoi usare, misurata in miliardi di parametri e indicata da sigle come 7B, 8B, 13B o 70B, dove la B sta per miliardi.

La regola pratica più utile riguarda la RAM, cioè la memoria di sistema. Come punto di partenza, un modello quantizzato richiede all’incirca un gigabyte di memoria per ogni miliardo di parametri, a cui va aggiunto un po’ di margine per il sistema operativo e per il contesto della conversazione.

Questo significa che con 8 gigabyte di RAM puoi far girare comodamente modelli da 3 a 7 miliardi di parametri, con 16 gigabyte arrivi tranquillamente ai modelli da 8 a 13 miliardi, e con 32 gigabyte o più puoi ambire a modelli intorno ai 30 miliardi. I giganti da 70 miliardi richiedono workstation dedicate o memorie molto abbondanti.

La scheda grafica è l’altro fattore decisivo. Una GPU con parecchia VRAM accelera enormemente l’inferenza, perché è progettata proprio per il tipo di calcoli che i modelli richiedono. Se il modello entra tutto nella memoria della scheda, la velocità cresce in modo impressionante rispetto alla sola CPU.

Non serve però disperare se non hai una scheda potente. I computer Apple con chip della famiglia M godono di un vantaggio particolare, perché condividono la memoria tra processore e grafica e riescono a far girare modelli sorprendentemente grandi. E anche una CPU recente con RAM sufficiente permette di usare modelli piccoli e medi in modo del tutto dignitoso, solo un po’ più lentamente.

Il disco, infine, conta meno ma non è irrilevante. Ogni modello occupa da pochi gigabyte a diverse decine di gigabyte, quindi se pensi di provarne parecchi conviene tenere libero spazio in abbondanza.

I formati dei modelli: GGUF, quantizzazione e parametri

Quando inizierai a scaricare modelli incontrerai una sigla ricorrente: GGUF. È il formato di file più diffuso per i modelli pensati per l’esecuzione locale, perché è compatto, veloce da caricare e compatibile con la maggior parte dei programmi che vedremo tra poco. Quando puoi scegliere, un file GGUF è quasi sempre la strada giusta.

Il concetto più importante da capire, però, è la quantizzazione. In pratica si tratta di una tecnica che riduce la precisione dei numeri che compongono il modello, facendolo diventare molto più leggero e veloce a fronte di una perdita di qualità spesso minima. È ciò che rende possibile eseguire sul tuo portatile modelli che altrimenti richiederebbero hardware professionale.

Se vuoi approfondire il funzionamento di questa tecnica, ho dedicato una guida completa alla quantizzazione dei modelli: capirla ti aiuta a scegliere la versione giusta di ogni modello.

Le versioni quantizzate si riconoscono da sigle come Q4, Q5 o Q8, dove il numero indica quanti bit vengono usati per ogni valore. Una quantizzazione a 4 bit è il compromesso più popolare, perché dimezza abbondantemente il peso mantenendo una qualità più che accettabile per la maggior parte degli usi quotidiani. Le versioni a 8 bit sono più fedeli all’originale ma pesano di più, mentre scendere sotto i 4 bit conviene solo quando la memoria è davvero poca.

Un altro parametro che incontrerai è la finestra di contesto, cioè la quantità di testo che il modello riesce a tenere a mente in una singola conversazione. Una finestra più ampia consuma più memoria, quindi in locale è un aspetto da tenere d’occhio: se vuoi capire meglio come funziona, trovi tutti i dettagli nella mia guida alla finestra di contesto.

Ollama: eseguire modelli dal terminale

Se dovessi indicare un solo strumento con cui iniziare, sarebbe Ollama. È gratuito, disponibile per Windows, macOS e Linux, e ha reso l’esecuzione locale così semplice da abbattere quasi ogni barriera tecnica. È pensato soprattutto per chi non ha paura del terminale e per chi vuole integrare i modelli nel proprio codice.

Il primo passo è scaricare Ollama dal sito ufficiale e installarlo come faresti con qualsiasi altro programma. L’installazione aggiunge un comando che potrai richiamare da terminale.

A quel punto avviare un modello richiede una sola riga. Scrivendo il comando per eseguire un modello, ad esempio uno della famiglia Llama o Qwen, Ollama lo scarica automaticamente la prima volta e poi apre una conversazione interattiva direttamente nel terminale. Da lì puoi chattare come faresti con qualsiasi assistente.

La comodità non finisce qui. Ollama scarica i modelli con un comando dedicato, li elenca, li rimuove quando non ti servono più e, cosa fondamentale per gli sviluppatori, espone un piccolo server locale con una interfaccia di programmazione. Questo significa che puoi collegare i tuoi script, le tue applicazioni o altri programmi al modello con poche righe di codice, esattamente come faresti con un servizio cloud, ma senza uscire dal tuo computer.

È proprio questa doppia natura, semplice per l’utente e potente per lo sviluppatore, ad aver reso Ollama lo standard di fatto per moltissimi progetti.

LM Studio: l’interfaccia grafica per chi non ama il terminale

Non tutti si trovano a proprio agio con i comandi testuali, ed è qui che entra in gioco LM Studio. È un’applicazione desktop gratuita con un’interfaccia curata che ricorda da vicino quella di ChatGPT, pensata per chi vuole semplicemente chattare con un modello locale senza scrivere nemmeno una riga di codice.

Il suo punto di forza è il catalogo integrato. All’interno del programma trovi un motore di ricerca dei modelli che ti permette di sfogliare le opzioni disponibili, vedere quanto pesano e scaricarle con un clic, spesso con un’indicazione utile su quali versioni siano adatte al tuo hardware.

Una volta scaricato il modello, lo carichi in memoria e inizi a conversare in una finestra pulita e familiare. Puoi regolare i parametri di generazione, gestire più conversazioni e tenere sotto controllo l’uso delle risorse, tutto tramite menu visivi invece che con comandi da ricordare.

Come Ollama, anche LM Studio può funzionare da server locale, offrendo un’interfaccia di programmazione compatibile con gli standard più diffusi. Questo lo rende una scelta interessante anche per gli sviluppatori che però preferiscono partire da un ambiente grafico. In sintesi, se Ollama è la scelta naturale per chi vive nel terminale, LM Studio è il punto di ingresso ideale per tutti gli altri.

Gli altri strumenti da conoscere

Ollama e LM Studio coprono la stragrande maggioranza delle esigenze, ma l’ecosistema è ricco e vale la pena conoscere qualche alternativa, perché ognuna ha un carattere diverso.

GPT4All è un’applicazione desktop molto orientata alla privacy e alla semplicità, con la possibilità di far dialogare il modello con i tuoi documenti locali. Jan è un progetto open source che si propone come alternativa aperta e trasparente, con un’interfaccia gradevole e un forte accento sul controllo dei dati.

Per chi ama mettere le mani sotto il cofano c’è llama.cpp, il motore a riga di comando che sta alla base di moltissimi di questi programmi: è la scelta di chi vuole la massima efficienza e non teme la configurazione manuale. Chi invece cerca un’esperienza simile a un vero assistente completo può guardare a interfacce web come quelle che si collegano ai server locali, capaci di gestire più modelli, cronologia e utenti in un ambiente unico.

La buona notizia è che, essendo tutti gratuiti, puoi provarli senza impegno e scegliere quello che si adatta meglio al tuo modo di lavorare.

Quali modelli open source scegliere

Scaricare uno strumento è facile, ma la domanda vera è quale modello caricarci dentro. La scelta è ampia e cambia in fretta, perché nuove versioni escono di continuo, ma alcune famiglie si sono affermate come punti di riferimento affidabili.

Llama, sviluppata da Meta, è probabilmente la famiglia open più conosciuta e ha dato il via all’intera scena. È un’ottima scelta generalista, ben supportata da tutti gli strumenti e disponibile in tagli diversi per adattarsi a ogni hardware.

Mistral, di origine europea, è apprezzata per l’equilibrio tra dimensioni contenute e qualità elevata, e i suoi modelli più piccoli sono perfetti per chi ha poca memoria. Qwen, sviluppata da Alibaba, si è imposta come una delle famiglie più forti e versatili, con versioni che spaziano dai modelli minuscoli a quelli molto capaci, spesso citate tra le migliori per l’uso locale.

Gemma, la famiglia aperta di Google, punta su modelli leggeri ed efficienti, mentre Phi di Microsoft ha fatto della compattezza la sua bandiera, offrendo prestazioni notevoli in dimensioni ridotte, ideali per chi ha hardware modesto. Ci sono poi modelli specializzati, come quelli pensati espressamente per la programmazione, che diventano assistenti eccellenti per chi scrive codice.

Il criterio di scelta più sensato non è inseguire il modello del momento, ma partire dal tuo hardware e dal tuo scopo. Se hai poca memoria, orientati su un modello piccolo e quantizzato. Se il tuo computer è potente, puoi permetterti versioni più grandi e capaci. E se ti serve una competenza specifica, cerca un modello addestrato per quella.

Un consiglio pratico: prova più modelli sullo stesso compito. Bastano pochi minuti per scaricarli e confrontarli, e spesso scoprirai che un modello piccolo ma ben scelto risponde ai tuoi bisogni meglio di uno più grande e lento.

Oltre alla famiglia, guarda alla variante. Per scrivere codice esistono versioni specializzate, riconoscibili dalla parola coder nel nome, che a parità di parametri lavorano sensibilmente meglio di un modello generalista. Per estrarre dati strutturati da documenti, invece, un modello piccolo ma recente è spesso sorprendentemente efficace, perché il compito richiede precisione formale più che conoscenza del mondo. Per scrivere e conversare in italiano, i generalisti di taglia media offrono la resa più equilibrata.

Le classifiche pubbliche sono un punto di partenza, ma misurano prove standardizzate: dieci minuti di confronto sui tuoi testi reali valgono più di qualsiasi punteggio. Prepara tre o quattro richieste tipiche del tuo lavoro, sottoponile identiche a due o tre modelli e confronta qualità, velocità e memoria occupata: la scelta, a quel punto, viene quasi da sola.

Casi d’uso pratici dei modelli locali

Tutto questo ha senso solo se si traduce in usi concreti, e i modelli locali ne offrono parecchi. Il più evidente è il trattamento di documenti riservati. Puoi far riassumere contratti, analizzare report interni o rielaborare appunti sensibili avendo la certezza che nulla venga mai trasmesso all’esterno.

Un altro impiego molto potente è la creazione di assistenti che ragionano sui tuoi documenti. Collegando un modello locale a una tua raccolta di file puoi costruire un sistema che risponde alle domande basandosi sui tuoi contenuti, un approccio noto come RAG, che unisce la potenza del modello alla conoscenza specifica dei tuoi dati.

Poi c’è tutto il mondo dello sviluppo. Un modello locale è un compagno ideale per scrivere e correggere codice senza dipendenze esterne, per prototipare applicazioni basate sull’AI senza pagare a consumo e per automatizzare compiti ripetitivi con script che chiamano il modello in autonomia.

Non vanno dimenticati gli usi quotidiani. Scrivere email, generare idee, tradurre testi, imparare qualcosa di nuovo o semplicemente avere un assistente sempre disponibile anche senza connessione sono attività alla portata di qualsiasi modello locale, anche il più piccolo.

Per chi produce contenuti o lavora nel marketing, infine, un modello locale offre uno spazio libero e privato dove sperimentare con i testi, senza limiti di utilizzo e senza il timore che le proprie bozze finiscano su un server altrui.

Il tuo primo modello locale in sei passaggi

Il percorso è lo stesso con qualsiasi strumento: cambiano solo i dettagli dell’interfaccia.

1. Controlla la memoria disponibile. Su Windows la trovi nella scheda Prestazioni di Gestione attività, su macOS in Informazioni su questo Mac, su Linux con il comando che mostra lo stato della memoria. Annota il valore: ti dice a quale taglia di modello puoi puntare.
2. Installa il programma dal sito ufficiale. Evita i siti che ridistribuiscono gli eseguibili di terze parti.
3. Scegli un modello di taglia media, non il più grande possibile. Prima verifichi che tutto funzioni, poi eventualmente sali.
4. Fai una prova concreta. Quando il download è finito, incolla un testo e chiedi un riassunto.
5. Osserva velocità e memoria. Se il computer rallenta vistosamente o le parole escono con lunghe pause, il modello è troppo grande: scendi di una taglia o scegli una quantizzazione più leggera.
6. Imposta il messaggio di sistema. I modelli locali sono in genere più sensibili alla formulazione delle istruzioni rispetto ai grandi servizi cloud, quindi un’istruzione permanente scritta con cura migliora le risposte in modo evidente. Trovi i principi nella guida su come scrivere un system prompt.

Errori comuni e consigli per iniziare bene

Chi parte da zero tende a commettere sempre gli stessi errori, e conoscerli in anticipo ti fa risparmiare tempo e frustrazione. Il più frequente è scegliere un modello troppo grande per il proprio hardware. Il risultato è un programma che si blocca, occupa tutta la memoria o produce token con una lentezza esasperante. Meglio partire piccoli e salire solo quando si è capito cosa regge la propria macchina.

Il secondo errore è ignorare la quantizzazione. Scaricare la versione a piena precisione di un modello quando ne esiste una quantizzata adatta al proprio hardware è uno spreco di memoria e di tempo. Nella quasi totalità dei casi una buona versione a 4 bit è la scelta più intelligente.

Un terzo passo falso è aspettarsi da un modello locale le stesse prestazioni dei migliori sistemi cloud. Sono strumenti diversi, con scopi diversi. Il valore del locale sta nella privacy, nel controllo e nell’assenza di costi, non nel superare i modelli di frontiera in ogni compito.

C’è poi la questione delle prestazioni. Se la generazione ti sembra lenta, verifica di aver caricato una versione quantizzata, riduci la finestra di contesto se non ti serve amplissima e assicurati che il modello sfrutti la scheda grafica quando possibile. La velocità si misura in token al secondo, ed è normale che un computer domestico sia più lento di un servizio cloud.

Il consiglio più importante, però, è semplice: inizia. Installa Ollama o LM Studio, scarica un modello piccolo, fai qualche domanda e prendi confidenza. La curva di apprendimento è molto più dolce di quanto sembri, e la soddisfazione di veder rispondere un’intelligenza artificiale che gira interamente sul tuo computer ripaga ampiamente la mezz’ora spesa a configurarla.

Due trappole meno evidenti meritano attenzione. La prima riguarda la finestra di contesto: se incolli un documento più lungo del limite impostato nel programma, le parti iniziali vengono scartate e il modello risponde su un testo mutilato, senza avvisarti. Controlla il valore e alzalo se la memoria lo consente.

La seconda riguarda l’aggiornamento. Un modello locale sa solo ciò che ha imparato fino alla data del suo addestramento e non consulta il web, quindi non aspettarti risposte affidabili su fatti recenti, a meno di collegarlo tu a fonti esterne.

Il modo più sensato di usarlo, alla fine, è dividere il lavoro: al modello locale affidi i compiti riservati, ripetitivi o ad alto volume, come riassumere, riformulare, classificare ed estrarre dati; ai servizi cloud lasci i problemi che richiedono ragionamenti lunghi e articolati.

Conclusioni: il futuro dell’AI passa anche dal tuo computer

Eseguire un LLM in locale non è più una cosa da soli esperti. Grazie a strumenti come Ollama e LM Studio e a un ecosistema di modelli open source sempre più capaci, oggi chiunque può avere un assistente potente, privato e gratuito sulla propria macchina, pronto a lavorare anche offline.

La direzione è chiara. I modelli aperti migliorano a ritmo serrato, l’hardware domestico diventa più adatto a questi carichi e le applicazioni che sfruttano l’AI locale si moltiplicano. Chi impara oggi a muoversi in questo mondo si trova un passo avanti, con una competenza che vale sia per il lavoro sia per i progetti personali.

Il mio consiglio è di non fermarti alla teoria. Scegli uno strumento, scarica il tuo primo modello e inizia a sperimentare in prima persona: è il modo migliore per capire davvero cosa può fare l’intelligenza artificiale quando la porti a casa tua. E se vuoi continuare a orientarti tra concetti, strumenti e novità del settore, continua a seguire le guide di IntelligenzaArtificiale.net.

Newsletter gratuita · ogni venerdì

Tutta l'AI della settimana, in 5 minuti, nella tua email

• Le guide e le notizie della settimana, divise per rubrica
• Solo ciò che conta, verificato e spiegato in italiano
• Niente spam, ti cancelli con un clic

La tua email Iscriviti gratis

Ho letto l'informativa privacy e voglio ricevere la newsletter.

Preferisci i social? Seguici:

Seguici su Facebook X LinkedIn