Iperparametri nel machine learning: cosa sono e come fare hyperparameter tuning
Cosa sono gli iperparametri, quali contano di più e come ottimizzarli con grid search, random search e ottimizzazione bayesiana, senza errori.

Quando alleni un modello di machine learning, una parte del lavoro la fa l’algoritmo e una parte la fai tu. L’algoritmo impara dai dati i propri parametri, cioè i pesi che trasformano un input in una previsione. Ma prima ancora che l’addestramento cominci, sei tu a decidere quanto deve essere grande il modello, quanto velocemente deve imparare, quanto deve essere severo con se stesso per non memorizzare i dati. Queste scelte si chiamano iperparametri, e la loro taratura, l’hyperparameter tuning, è spesso la differenza tra un modello mediocre e uno che funziona davvero.
In questa guida trovi tutto quello che serve per capire gli iperparametri e ottimizzarli con metodo: che cosa sono e in cosa differiscono dai parametri, quali sono quelli più importanti nei modelli più usati, come si valutano le combinazioni senza ingannarsi, quali strategie di ricerca esistono, dalla grid search all’ottimizzazione bayesiana, e quali errori evitare.
Non serve essere un matematico per seguirla. Serve solo un po’ di curiosità.
Che cosa sono gli iperparametri e perché contano
Un modello di machine learning è, in estrema sintesi, una funzione con molte manopole interne. Durante l’addestramento l’algoritmo gira queste manopole per ridurre l’errore sulle previsioni: sono i parametri del modello, come i pesi di una rete neurale o i coefficienti di una regressione. Nessuno li imposta a mano, vengono appresi dai dati.
Gli iperparametri invece stanno un livello sopra. Sono le impostazioni che governano il modo in cui l’apprendimento avviene e la forma stessa del modello. Li scegli tu prima di avviare l’addestramento e restano fissi mentre l’algoritmo lavora. Il numero di alberi in una random forest, la profondità massima di ciascun albero, il tasso di apprendimento di una rete neurale, il numero di strati e di neuroni, la forza della regolarizzazione: sono tutti iperparametri.
La distinzione è semplice da ricordare: i parametri li impara il modello, gli iperparametri li decidi tu.
Una metafora per fissare il concetto
Immagina di preparare uno studente a un esame. Le nozioni che lo studente assimila leggendo i libri sono i parametri: si formano con lo studio. Il metodo di studio invece, quante ore al giorno, quanti esercizi, ogni quanto ripassare, quanto approfondire ogni capitolo, lo stabilisce il tutor prima di cominciare. Quel metodo è l’insieme degli iperparametri. Con gli stessi libri, un metodo sbagliato produce uno studente che ricorda tutto a memoria ma non sa ragionare, oppure uno che ha sfogliato tutto senza capire nulla.
Lo stesso accade ai modelli. Con dati identici e algoritmo identico, iperparametri diversi possono portare a risultati molto lontani tra loro.
Il legame con overfitting e underfitting
Molti iperparametri controllano, direttamente o indirettamente, la capacità del modello, cioè la sua flessibilità nell’adattarsi ai dati. Un modello troppo rigido non riesce a cogliere la struttura del problema e sbaglia anche sui dati di addestramento. Un modello troppo flessibile, al contrario, impara anche il rumore e le coincidenze del dataset, ottenendo risultati brillanti in allenamento e deludenti su dati nuovi. Se vuoi approfondire questo equilibrio, trovi una spiegazione dettagliata nella guida su overfitting e underfitting e come evitarli.
Tarare gli iperparametri significa, in buona parte, trovare il punto di equilibrio tra questi due estremi per il tuo problema specifico.
Perché non esistono valori universali
Sarebbe comodo avere una tabella con i valori giusti per ogni algoritmo. Non esiste. I valori migliori dipendono dalla quantità di dati, dal numero di variabili, dal rumore presente, dalla metrica che ti interessa e perfino dalle risorse di calcolo a disposizione. I valori predefiniti delle librerie sono punti di partenza ragionevoli, scelti per funzionare discretamente in molti casi, ma raramente sono ottimali per il tuo.
Per questo il tuning è un processo sperimentale: si provano combinazioni, si misurano, si confrontano.
Gli iperparametri più importanti nei modelli più diffusi
Ogni famiglia di algoritmi ha i suoi iperparametri. Conoscerli tutti a memoria non serve, ma sapere quali pesano di più ti fa risparmiare molto tempo, perché in genere pochi iperparametri spiegano la maggior parte della differenza di prestazioni.
Regressione lineare e logistica
Nei modelli lineari il protagonista è la regolarizzazione. Con la regolarizzazione L2, detta anche Ridge, si penalizzano i coefficienti troppo grandi; con la L1, detta Lasso, si spingono a zero i coefficienti meno utili, ottenendo anche una selezione automatica delle variabili. L’iperparametro chiave è la forza della penalità: in scikit-learn, per esempio, nella regressione logistica si imposta con il parametro C, che è l’inverso della forza di regolarizzazione. Valori piccoli di C significano un modello più vincolato, valori grandi un modello più libero.
Alberi decisionali, random forest e gradient boosting
Negli alberi decisionali gli iperparametri principali controllano quanto l’albero può crescere: la profondità massima, il numero minimo di esempi necessari per dividere un nodo e il numero minimo di esempi in una foglia. Un albero senza limiti tende a memorizzare il dataset, uno troppo potato resta superficiale.
Nelle random forest si aggiungono il numero di alberi e il numero di variabili considerate a ogni divisione. Aumentare gli alberi di solito non peggiora le prestazioni, ma oltre una certa soglia i miglioramenti diventano trascurabili e il costo di calcolo cresce. Il numero di variabili per divisione, invece, regola quanto gli alberi sono diversi tra loro, ed è spesso uno dei parametri più influenti.
Nel gradient boosting, con librerie come XGBoost, LightGBM e CatBoost, gli iperparametri sono più numerosi e più delicati. I più importanti sono il learning rate, che stabilisce quanto ogni nuovo albero corregge gli errori dei precedenti, il numero di alberi, la profondità o il numero di foglie, e le frazioni di righe e colonne campionate per ogni albero. Learning rate e numero di alberi sono strettamente legati: un tasso più basso richiede più alberi ma in genere produce modelli più robusti.
Questa interdipendenza è una delle ragioni per cui conviene ottimizzare gli iperparametri insieme, non uno alla volta.
Support vector machine e k-nearest neighbors
Nelle SVM contano soprattutto il parametro C, che bilancia l’ampiezza del margine e gli errori tollerati, il tipo di kernel e, per il kernel RBF, il parametro gamma, che definisce quanto è locale l’influenza di ciascun esempio. Valori di gamma molto alti producono confini di decisione frastagliati e tendono all’overfitting.
Nel k-nearest neighbors l’iperparametro centrale è k, il numero di vicini consultati per decidere. Pochi vicini rendono il modello sensibile al rumore, troppi lo rendono impreciso. Contano anche la metrica di distanza e il modo in cui si pesano i vicini.
Reti neurali e deep learning
Nelle reti neurali l’elenco si allunga parecchio. Ci sono iperparametri di architettura, come il numero di strati, il numero di neuroni per strato e le funzioni di attivazione. E ci sono iperparametri di addestramento, come il learning rate, la dimensione del batch, il numero di epoche, l’ottimizzatore scelto e i suoi coefficienti, il dropout e il weight decay.
Tra tutti, il learning rate è quasi sempre il più importante. Determina la dimensione dei passi con cui l’ottimizzatore aggiorna i pesi: se è troppo alto l’addestramento diverge o oscilla, se è troppo basso procede con lentezza esasperante o si blocca in soluzioni mediocri. Per capire a fondo questo meccanismo è utile conoscere la logica della discesa del gradiente, su cui si basano tutti gli ottimizzatori moderni.
Accanto al valore iniziale del learning rate, conta molto anche lo scheduling, cioè il modo in cui il tasso cambia durante l’addestramento: si può ridurlo a gradini, farlo decrescere con una curva a coseno, oppure partire con una breve fase di riscaldamento, il warmup, in cui cresce gradualmente prima di scendere.
Come valutare una combinazione di iperparametri senza ingannarti
Prima di parlare di strategie di ricerca, c’è una questione più importante: come decidi che una combinazione è migliore di un’altra? Se sbagli il metodo di valutazione, qualsiasi tecnica di tuning ti porterà a conclusioni sbagliate, anche la più sofisticata.
Training, validation e test set
La regola fondamentale è non valutare mai gli iperparametri sui dati con cui il modello è stato addestrato, e non sceglierli mai guardando i dati che userai per la valutazione finale. Per questo il dataset si divide di solito in tre parti. Il training set serve ad addestrare il modello. Il validation set serve a confrontare le diverse combinazioni di iperparametri. Il test set resta chiuso in un cassetto fino alla fine e serve soltanto a stimare in modo onesto le prestazioni del modello definitivo.
Se usi il test set per scegliere gli iperparametri, finisci per adattare il modello anche a quei dati, e la stima finale risulta ottimistica.
È un errore sottile e molto frequente, che i professionisti chiamano data leakage nella fase di selezione.
La cross-validation
Un unico validation set ha un limite: il risultato dipende da quali esempi sono finiti in quella porzione. Con dataset piccoli o medi, una divisione fortunata o sfortunata può far sembrare migliore una combinazione che non lo è. La k-fold cross-validation risolve il problema dividendo i dati di addestramento in k blocchi: a turno, ogni blocco fa da validation set mentre gli altri servono per l’addestramento. Si ottengono così k misure, di cui si calcola la media, e anche la loro variabilità, che è un’informazione preziosa.
Valori di k pari a 5 o 10 sono scelte comuni. Nei problemi di classificazione con classi sbilanciate conviene la versione stratificata, che mantiene in ogni blocco le stesse proporzioni tra le classi. Con le serie temporali, invece, la divisione casuale non va bene, perché faresti prevedere il passato usando il futuro: servono schemi che rispettano l’ordine cronologico, addestrando sempre su periodi precedenti e validando su periodi successivi.
La nested cross-validation
Quando vuoi sia scegliere gli iperparametri sia ottenere una stima affidabile delle prestazioni, e non puoi permetterti di sacrificare un test set separato, esiste la nested cross-validation. Un ciclo interno di cross-validation seleziona gli iperparametri, un ciclo esterno misura le prestazioni del procedimento completo. È costosa in termini di calcolo, ma è il metodo più rigoroso nei dataset piccoli.
Scegliere la metrica giusta
Il tuning ottimizza ciò che gli chiedi di ottimizzare. Se scegli una metrica che non riflette l’obiettivo reale, otterrai un modello eccellente nella cosa sbagliata. In un problema di rilevamento frodi, per esempio, l’accuratezza è quasi inutile, perché un modello che dichiara tutto lecito avrebbe un’accuratezza altissima. Meglio metriche come precision, recall, F1 o l’area sotto la curva precision-recall. Se hai dubbi su quale scegliere, consulta la guida alle metriche di valutazione nel machine learning.
Decidi la metrica prima di cominciare il tuning, non dopo aver visto i risultati.
Le strategie di ricerca degli iperparametri
Una volta stabilito come valutare, resta da decidere quali combinazioni provare. Lo spazio delle possibilità cresce in fretta: con cinque iperparametri e dieci valori ciascuno, le combinazioni sono centomila. Provarle tutte è impossibile nella maggior parte dei casi, quindi servono strategie.
La ricerca manuale
Il punto di partenza di molti è la regolazione a mano: si prova un valore, si osserva il risultato, si corregge. Non è da disprezzare, soprattutto nelle prime fasi, perché costringe a capire come reagisce il modello. Ha però due difetti: richiede molto tempo umano e rende difficile riprodurre il percorso fatto. Se la usi, annota sempre ogni prova con i relativi risultati.
La grid search
La grid search, o ricerca a griglia, definisce per ogni iperparametro un elenco di valori e prova tutte le combinazioni possibili. È semplice, esaustiva e facilmente parallelizzabile. In scikit-learn si realizza con GridSearchCV, che combina la griglia con la cross-validation in poche righe di codice.
Il suo limite è la crescita esplosiva del numero di prove all’aumentare degli iperparametri. C’è poi un difetto meno evidente: se alcuni iperparametri contano poco, la griglia spreca moltissime prove a variare proprio quelli, esplorando pochi valori distinti degli iperparametri davvero importanti.
La random search
La random search estrae le combinazioni in modo casuale da distribuzioni che definisci tu. Sembra meno rigorosa della griglia, ma in pratica spesso funziona meglio a parità di budget. Il motivo è stato documentato in un noto lavoro di James Bergstra e Yoshua Bengio del 2012: poiché di solito solo pochi iperparametri influenzano davvero le prestazioni, il campionamento casuale esplora molti più valori distinti di quei pochi iperparametri importanti rispetto a una griglia con lo stesso numero di prove.
In scikit-learn trovi RandomizedSearchCV. Un consiglio pratico: per iperparametri che variano su più ordini di grandezza, come il learning rate o la forza di regolarizzazione, campiona su scala logaritmica. Provare valori tra 0,0001 e 0,1 in modo uniforme sprecherebbe quasi tutte le prove nella parte alta dell’intervallo.
L’ottimizzazione bayesiana
Grid e random search hanno una caratteristica in comune: ogni prova è indipendente dalle precedenti. L’ottimizzazione bayesiana invece impara dai tentativi già fatti. Costruisce un modello statistico, detto modello surrogato, che stima come varia la metrica in funzione degli iperparametri, e usa una funzione di acquisizione per decidere dove provare la volta successiva, bilanciando l’esplorazione di zone sconosciute e lo sfruttamento di zone promettenti.
I surrogati più usati sono i processi gaussiani e il Tree-structured Parzen Estimator, noto come TPE. Il vantaggio è evidente quando ogni prova è costosa, per esempio quando addestrare un modello richiede ore: l’ottimizzazione bayesiana tende a trovare buone combinazioni con molti meno tentativi.
Il prezzo da pagare è una minore parallelizzazione, perché ogni scelta dipende dai risultati precedenti.
Successive halving e Hyperband
Un’altra famiglia di tecniche parte da un’osservazione pratica: spesso basta un addestramento parziale per capire che una combinazione è pessima. Il successive halving avvia molte configurazioni con poche risorse, per esempio poche epoche o una frazione dei dati, elimina la metà peggiore, assegna più risorse alle sopravvissute e ripete. Hyperband estende questa idea provando diversi compromessi tra numero di configurazioni e risorse per ciascuna.
Queste strategie si possono combinare con l’ottimizzazione bayesiana, come avviene nel metodo BOHB, e si affiancano al pruning, cioè l’interruzione anticipata delle prove che, a metà addestramento, si rivelano già meno promettenti delle migliori. In scikit-learn trovi HalvingGridSearchCV e HalvingRandomSearchCV, ancora contrassegnate come sperimentali.
Algoritmi evolutivi e population based training
Esistono anche approcci ispirati all’evoluzione biologica: una popolazione di configurazioni viene fatta evolvere, selezionando le migliori e generando nuove varianti per mutazione e combinazione. Il population based training, proposto da DeepMind, applica un’idea simile durante l’addestramento stesso: i modelli meno promettenti copiano i pesi dei migliori e ne perturbano gli iperparametri, così gli iperparametri possono cambiare nel corso dell’allenamento. Sono metodi potenti ma richiedono molte risorse di calcolo, e li incontrerai soprattutto in progetti di grandi dimensioni.
Gli strumenti per l’hyperparameter tuning
Non devi implementare queste strategie da zero. L’ecosistema Python offre librerie mature, ciascuna con il suo punto di forza.
Scikit-learn è il punto di partenza naturale: GridSearchCV, RandomizedSearchCV e le varianti con halving si integrano perfettamente con i suoi modelli e con le pipeline di preprocessing. Per chi sta muovendo i primi passi è la scelta più semplice, e se non hai mai addestrato un modello puoi cominciare dal tutorial su come creare il tuo primo modello di machine learning con Python e poi aggiungere il tuning.
Optuna è oggi una delle librerie più usate per l’ottimizzazione degli iperparametri. Usa di default il campionatore TPE, supporta il pruning delle prove poco promettenti e permette di definire lo spazio di ricerca direttamente nel codice, anche con iperparametri condizionali, per esempio il numero di neuroni del terzo strato solo se gli strati sono almeno tre. Include anche una dashboard per visualizzare l’andamento degli studi.
Hyperopt è una delle librerie storiche basate su TPE, ancora diffusa in molti progetti. Ray Tune è pensato per distribuire il tuning su più macchine e integra molti algoritmi, tra cui Hyperband, il population based training e i campionatori di altre librerie. KerasTuner è la soluzione dedicata ai modelli Keras, con implementazioni pronte di random search, Hyperband e ottimizzazione bayesiana.
Ci sono infine le piattaforme di tracciamento degli esperimenti, come MLflow e Weights & Biases, che non scelgono gli iperparametri al posto tuo ma registrano ogni prova, rendendo confrontabili e riproducibili i risultati. Le principali piattaforme cloud di machine learning offrono inoltre servizi gestiti di tuning e AutoML, che automatizzano anche la scelta dell’algoritmo.
Come impostare un processo di tuning passo dopo passo
Conoscere le tecniche non basta: serve un metodo per applicarle con ordine. Ecco un percorso pratico che funziona nella maggior parte dei progetti.
1. Parti da una baseline
Prima di ottimizzare qualsiasi cosa, addestra il modello con i valori predefiniti e registra il risultato. Questa baseline è il termine di paragone: senza di essa non sapresti se il tuning sta portando un beneficio reale. Spesso conviene anche confrontarla con un modello banale, come quello che predice sempre la classe più frequente.
2. Sistema prima i dati
Molti cercano negli iperparametri miglioramenti che arriverebbero più facilmente da dati migliori: errori di etichettatura, variabili mancanti, feature poco informative. Il tuning affina un modello, non ripara un dataset difettoso.
Pochi punti percentuali di miglioramento dal tuning non compensano dati sbagliati.
3. Scegli pochi iperparametri e intervalli ragionevoli
Concentrati sui due, tre o quattro iperparametri che contano di più per il tuo algoritmo, usando la documentazione e l’esperienza della comunità per definire intervalli sensati. Uno spazio di ricerca enorme diluisce il budget, uno troppo stretto rischia di escludere i valori migliori.
4. Procedi dal grossolano al fine
Una strategia efficace è partire con una random search ampia, spesso su scala logaritmica, per individuare le zone promettenti, e poi restringere gli intervalli intorno ai valori migliori con una seconda ricerca più fine o con l’ottimizzazione bayesiana. Se il valore migliore trovato si trova al bordo dell’intervallo, è un segnale che conviene allargarlo in quella direzione.
5. Stabilisci un budget
Decidi in anticipo quante prove o quante ore di calcolo puoi permetterti. Il tuning tende a mostrare rendimenti decrescenti: i primi tentativi portano la maggior parte del miglioramento, gli ultimi aggiungono frazioni minime. Sapere quando fermarsi fa parte del mestiere.
6. Valuta sul test set una sola volta
Quando hai scelto la configurazione finale, riaddestra il modello sui dati di addestramento completi, se il tuo schema lo prevede, e misuralo sul test set. Una volta sola. Se poi torni a modificare gli iperparametri in base a quel risultato, il test set smette di essere una stima indipendente.
Gli errori più comuni da evitare
Alcuni errori ricorrono così spesso da meritare un elenco a parte. Riconoscerli ti evita settimane di lavoro su risultati illusori.
- Fare tuning sul test set, anche solo guardandolo per decidere quale configurazione tenere.
- Applicare il preprocessing, come la normalizzazione o la selezione delle variabili, sull’intero dataset prima della cross-validation, lasciando filtrare informazioni dai dati di validazione.
- Ottimizzare un iperparametro alla volta, ignorando che molti interagiscono tra loro, come learning rate e numero di alberi nel boosting.
- Fidarsi di una differenza minima tra due configurazioni senza considerare la variabilità dei risultati tra i diversi fold o tra diversi semi casuali.
- Non fissare i semi casuali e non registrare le prove, rendendo impossibile riprodurre il risultato migliore.
Il secondo punto merita un chiarimento. Se calcoli media e deviazione standard per la normalizzazione usando tutti i dati, il modello beneficia indirettamente di informazioni provenienti dai blocchi di validazione. La soluzione è incapsulare preprocessing e modello in una pipeline, così ogni trasformazione viene appresa solo sui dati di addestramento di ciascun fold.
C’è poi un rischio più sottile: l’overfitting del validation set. Se provi migliaia di combinazioni, prima o poi qualcuna sembrerà eccellente per puro caso. Più ampia è la ricerca, più conviene affidarsi alla cross-validation e a un test set davvero intatto.
Iperparametri nei grandi modelli linguistici
Gli iperparametri non riguardano solo i modelli classici. Anche i grandi modelli linguistici ne hanno, in due momenti diversi.
Nell’addestramento e nel fine-tuning si ritrovano i concetti visti finora: learning rate, scheduling con warmup, dimensione del batch, numero di epoche, weight decay. Nelle tecniche di fine-tuning efficiente come LoRA si aggiungono iperparametri specifici, per esempio il rango delle matrici di adattamento, che determina quanti nuovi parametri vengono addestrati. Qui il tuning è particolarmente costoso, quindi si parte quasi sempre dalle configurazioni raccomandate e si esplorano pochi valori.
Poi ci sono i parametri di generazione, come temperature, top-p e top-k, che usi quando interroghi un modello tramite API. Spesso vengono chiamati iperparametri, ma in senso stretto non lo sono: non influenzano l’addestramento, bensì il modo in cui il modello già addestrato sceglie le parole. La temperatura bassa rende le risposte più prevedibili e coerenti, quella alta più varie e creative.
Anche questi valori, però, si tarano con lo stesso spirito sperimentale: si prova, si misura, si confronta.
Conclusioni
Gli iperparametri sono le scelte che fai prima dell’addestramento e che decidono come il modello imparerà. Tararli bene non è magia né fortuna, ma un processo ordinato: valutare con un metodo onesto, scegliere la metrica giusta, concentrarsi sugli iperparametri che contano davvero, esplorare lo spazio con una strategia adatta al budget e fermarsi quando i miglioramenti diventano marginali.
Se stai iniziando, parti dalla random search di scikit-learn con la cross-validation e una pipeline ben costruita: copre la maggior parte dei casi reali. Quando i modelli diventano più costosi, passa a Optuna o a strumenti simili, con ottimizzazione bayesiana e pruning.
Il passo successivo dipende da te: prendi un modello che hai già addestrato, misura la sua baseline e prova a migliorarla con una ricerca ben impostata. Poi raccontaci nei commenti quali iperparametri hanno fatto la differenza nel tuo progetto, e continua a esplorare le nostre guide sul machine learning per approfondire ogni tecnica citata.
Tutta l'AI della settimana, in 5 minuti, nella tua email
- Le guide e le notizie della settimana, divise per rubrica
- Solo ciò che conta, verificato e spiegato in italiano
- Niente spam, ti cancelli con un clic
Daniele Della Corte
Fondatore di IntelligenzaArtificiale.net · Consulente SEO e AI dal 2008
Prima della pubblicazione controlla fonti, numeri e nomi, e risponde personalmente di quello che leggi. Lavora con l'intelligenza artificiale da oltre 7 anni: ha fondato BeProud.ai e ha progettato la redazione di questo sito.
Consulenza AIVuoi applicare l'AI al tuo lavoro? Ti aiuto a scegliere cosa automatizzare e a realizzarlo.
Scopri la consulenza
