Legge di New York sui chatbot companion: cosa cambia per i minori

Il 28 ottobre 2026 la governatrice di New York, Kathy Hochul, ha firmato la legge che vieta agli operatori di chatbot companion di offrire funzioni considerate pericolose agli utenti minorenni. Il testo, identificato come S.9051-B al Senato e A.10379-C all’Assemblea, entrerà in vigore il 1° gennaio 2027 e prevede sanzioni fino a 25.000 dollari per ogni violazione. È una delle norme più specifiche mai approvate negli Stati Uniti sul modo in cui l’intelligenza artificiale può parlare con i ragazzi.

Se lavori con prodotti conversazionali, o semplicemente li usi in famiglia, vale la pena capire cosa cambia davvero. Qui trovi i punti chiave della norma, le zone ancora ambigue e le conseguenze pratiche per chi sviluppa assistenti AI.

Cosa prevede la legge di New York sui chatbot companion

La norma parte da una definizione ampia. Un companion AI è un sistema di intelligenza artificiale generativa con interfaccia in linguaggio naturale che fornisce risposte continue e adattive agli input dell’utente. Rientrano quindi non solo le app nate per fare compagnia, ma potenzialmente qualunque chatbot generalista che si comporti in questo modo.

Il divieto scatta quando l’operatore ha la conoscenza effettiva che l’utente è minorenne. In pratica, a meno che l’operatore non abbia stabilito con metodi consentiti che l’utente non è un minore, le funzioni vietate non possono essere offerte.

Le dodici categorie di funzioni vietate

La legge elenca dodici categorie di funzioni non sicure. Le fonti consultate ne descrivono solo alcune, quindi qui mi limito a quelle documentate. Sono vietati gli output che suggeriscono che il chatbot sia un essere vivo o dotato di emozioni umane, reali o fittizie, e quelli che fingono di essere una persona. Sono vietati l’adulazione e la piaggeria, cioè la sycophancy, un tema che i laboratori AI stanno affrontando anche sul fronte tecnico.

Il testo vieta inoltre di usare informazioni sulla salute mentale o fisica dell’utente, o su questioni personali, risalenti a più di dodici ore prima o a una sessione precedente. Sono esclusi gli output che sostengono, promuovono o facilitano suicidio, autolesionismo, disturbi alimentari o uso illecito e abusivo di droghe e alcol. Lo stesso vale per i contenuti sessualmente espliciti e per il materiale pedopornografico.

C’è poi una categoria che colpisce il cuore del modello di business: sono vietati gli output che ottimizzano il coinvolgimento a scapito delle protezioni di sicurezza del chatbot. Hochul ha spiegato che i minori non avranno più accesso a chatbot che si presentano come amici, fidanzati o fidanzate.

Il messaggio è chiaro.

Verifica dell’età e cancellazione dei dati

Sul fronte dell’età, gli operatori devono usare metodi ragionevoli di age assurance, resistenti all’elusione e capaci di ridurre al minimo la conservazione di dati. Devono offrire più di un metodo, e almeno uno non deve richiedere un documento d’identità governativo, oppure deve permettere all’utente di restare anonimo verso l’operatore.

Le informazioni raccolte per stabilire se qualcuno è minorenne possono servire solo a quello scopo e vanno cancellate subito, salvo obblighi di legge statali o federali. È un equilibrio delicato tra protezione dei minori e privacy, che altre giurisdizioni stanno ancora cercando.

Sanzioni, controlli e chi resta escluso

L’applicazione è affidata al procuratore generale dello Stato di New York. Può chiedere provvedimenti inibitori, restituzione, sottrazione dei profitti, risarcimenti e sanzioni civili fino a 25.000 dollari per violazione. Secondo il riepilogo dello studio legale Akin Gump, la sottrazione dei profitti può includere la distruzione dei dati ottenuti illegalmente e perfino di qualsiasi algoritmo addestrato su quei dati. Per questo dettaglio ti conviene verificare il testo approvato, perché si tratta di una sintesi di terzi.

L’ufficio del procuratore dovrà inoltre mantenere un portale pubblico per le segnalazioni dei cittadini sulle interazioni non sicure con i chatbot. Le clausole contrattuali che tentano di scaricare o escludere la responsabilità prevista dalla legge sono nulle.

Le esenzioni

Il divieto non si applica ai companion offerti esclusivamente per tre scopi. Il primo è il servizio clienti, cioè informazioni su prodotti e servizi commerciali o gestione dei dati di account. Il secondo è il miglioramento dell’efficienza, la ricerca o l’assistenza tecnica, a condizione che il chatbot non possa rispondere a temi estranei a quello scopo. Il terzo è l’uso interno di un’azienda o la produttività dei dipendenti.

Per un assistente aziendale la strada è quindi chiara, purché sia davvero limitato al suo compito.

Perché questa norma pesa più delle altre

Le leggi sulla sicurezza dei minori online non sono una novità, ma questa colpisce comportamenti specifici del modello e non solo l’accesso. Non basta più dichiarare che un servizio è vietato ai minori di una certa età: se l’operatore sa che l’utente è minorenne, il prodotto deve comportarsi in modo diverso, a livello di tono, memoria e obiettivi di ottimizzazione.

Il dibattito americano sul tema è acceso. Il Texas ha già portato in tribunale il caso della sicurezza dei minori su ChatGPT, come abbiamo raccontato nell’articolo sulla causa del Texas contro OpenAI. In precedenza anche la valutazione di Common Sense Media su ChatGPT for Teens aveva mostrato quanto gli esperti siano critici verso questi prodotti. Common Sense Media ha definito quella di New York la legge più forte del Paese sulla sicurezza dell’AI per i bambini.

Anche i politici che hanno sostenuto il testo non hanno usato mezzi termini. La senatrice Kristen Gonzalez ha parlato di vere protezioni sul modo in cui i chatbot parlano ai bambini, mentre il deputato Alex Bores ha rivendicato la legge più forte del Paese contro gli algoritmi predatori.

Il nodo della piaggeria

Tra le funzioni vietate, la piaggeria è la più interessante dal punto di vista tecnico, perché non riguarda solo i chatbot companion. È un difetto noto dei modelli linguistici, e i laboratori lo trattano come un problema di qualità. Nell’aggiornamento del Model Spec di OpenAI trovi un esempio di come un’azienda cerchi di descrivere per iscritto il comportamento atteso dei propri modelli. La legge di New York trasforma una scelta di prodotto in un obbligo, almeno quando il destinatario è un minore.

Questo apre una questione pratica. Se un operatore non può essere sicuro dell’età, la strada più prudente è applicare le regole più severe a tutti, oppure investire in sistemi di verifica che rispettino i vincoli di anonimato e di cancellazione dei dati.

Dubbi, critiche e cosa devono fare gli sviluppatori

La norma non convince tutti. Justine Gluck, analista del Future of Privacy Forum, ha osservato che non è chiaro dove finisca la normale reattività conversazionale e dove inizi il comportamento vietato. È un problema reale: un chatbot che ricorda una preferenza espressa il giorno prima, o che risponde con empatia, è già oltre il limite? La risposta dipenderà dalle regole attuative del procuratore generale e dai primi casi concreti.

Resta aperta anche la questione della conoscenza effettiva. Poiché il divieto dipende da ciò che l’operatore sa, i team legali valuteranno con attenzione quali segnali (dichiarazioni dell’utente, dati di registrazione, controlli di età) facciano scattare l’obbligo.

Una checklist di partenza

Se sviluppi o integri un assistente conversazionale che può essere usato a New York, ci sono alcune verifiche da fare prima del 1° gennaio 2027. Non sono un parere legale, ma un punto di partenza per il confronto con un professionista.

• Verifica se il tuo prodotto rientra nella definizione di companion AI o nelle esenzioni di servizio clienti, ricerca e uso interno.
• Rivedi il prompt di sistema e la memoria, perché l’uso di informazioni vecchie di oltre dodici ore è una delle funzioni a rischio.
• Controlla che il modello non si presenti come umano, non esprima emozioni finte e non aduli l’utente.
• Predisponi almeno due metodi di verifica dell’età, di cui uno senza documento governativo, e la cancellazione immediata dei dati raccolti.

Il costo della non conformità non è solo economico. Il rischio di dover distruggere un algoritmo addestrato su dati raccolti in modo illecito, se confermato dal testo, cambierebbe il calcolo per qualunque startup.

Conclusioni: cosa aspettarti nei prossimi mesi

La legge di New York è un segnale per tutto il settore: le regole sull’AI conversazionale si stanno spostando dai principi generali ai singoli comportamenti del prodotto. Anche se non operi negli Stati Uniti, è probabile che altri Stati e altri Paesi guardino a questo modello, e che i grandi fornitori adottino standard comuni per non gestire versioni diverse dello stesso servizio.

Nei prossimi mesi seguiranno le regole attuative del procuratore generale, i primi adeguamenti dei fornitori e probabilmente le prime contestazioni. Se vuoi restare aggiornato su regolamentazione e sicurezza dei minori nell’AI, continua a seguire le nostre news e confrontati con il tuo consulente legale prima di modificare un prodotto già in produzione.

Per approfondire le fonti, puoi leggere la cronaca dell’IAPP sulla firma della legge e la sintesi di Akin Gump sul testo S9051-B.