Voxtral 3 di Mistral: trascrizione, voce e SDK per agenti vocali

Mistral ha presentato Voxtral 3, una famiglia di modelli per trascrizione e sintesi vocale accompagnata da un SDK per costruire agenti vocali completi. L’annuncio, pubblicato sul blog ufficiale dell’azienda francese il 20 ottobre, punta a un obiettivo preciso: permettere agli sviluppatori di creare assistenti che ascoltano, ragionano, usano strumenti e rispondono a voce, senza mettere insieme pezzi di fornitori diversi.

Il pacchetto è disponibile subito tramite le API di Mistral, con endpoint europei, statunitensi e globali, e può essere distribuito anche su infrastruttura propria. Per chi lavora con dati sensibili, è un dettaglio che pesa parecchio.

Cos’è Voxtral 3 e quali modelli comprende

Secondo la pagina ufficiale di Mistral, Voxtral 3 non è un singolo modello ma un insieme di componenti che coprono l’intera catena vocale. Da una parte ci sono i modelli di trascrizione, dall’altra il modello di sintesi vocale, e sopra di loro uno strato di orchestrazione per gli agenti.

I modelli di trascrizione

Voxtral Small Transcribe 3 è la versione pensata per la massima accuratezza e supporta più di 50 lingue, comprese le 24 lingue ufficiali dell’Unione europea e diverse lingue asiatiche e indiane con poche risorse a disposizione. Costa 0,004 dollari al minuto.

Voxtral Mini Transcribe 3, un modello da 4 miliardi di parametri, copre lo stesso numero di lingue in modalità batch e costa 0,0035 dollari al minuto. C’è poi Voxtral Mini Transcribe Realtime 3, la variante in streaming per gli agenti, con una latenza inferiore ai 500 millisecondi e un prezzo di 0,008 dollari al minuto.

Tutti e tre offrono la diarizzazione, cioè la capacità di capire chi ha parlato e quando, e il cosiddetto context biasing: puoi fornire termini chiave o un testo libero di contesto per migliorare il riconoscimento di nomi e vocaboli tecnici, senza alcun fine tuning.

Il modello di sintesi vocale

Voxtral Speech 3, indicato nella documentazione anche come Voxtral Mini TTS 3.0, trasforma il testo in voce in modalità batch e in tempo reale attraverso la stessa API. Supporta più di 35 lingue e oltre 50 dialetti, e il prezzo è di 13 dollari per milione di caratteri.

Il modello adatta emozione, ritmo ed enfasi al contesto della conversazione e accetta istruzioni esplicite su questi parametri. Sono previsti una libreria di vocaboli per controllare la pronuncia e suggerimenti fonetici per i termini non standard.

Come funziona l’SDK per gli agenti vocali

La parte più interessante per chi sviluppa è il Voice Agent SDK, costruito sopra LiveKit. Ascolto, ragionamento, chiamata degli strumenti e risposta vocale girano come un’unica pipeline in streaming.

Ogni fase è un modello separato. Puoi quindi sostituire il modello linguistico, la voce o la lingua senza riscrivere l’agente. Mistral dichiara che ogni turno si completa in meno di un secondo e che l’agente smette di parlare quando l’interlocutore lo interrompe, un comportamento che fa la differenza in una telefonata vera.

Il rilevamento della fine del turno sfrutta segnali acustici e semantici, per ridurre le interruzioni premature. Gli agenti possono usare function calling, ricerca web e recupero di informazioni dai sistemi aziendali. Gli esempi citati dall’azienda sono la verifica dell’identità, il controllo di una bolletta e la prenotazione di un appuntamento.

Sul fronte della telefonia sono supportati SIP per le chiamate e WebRTC per browser e applicazioni, con la possibilità di collegarsi a sistemi IVR e a software per i contact center.

Prezzi e confronto con la concorrenza

Il livello di prezzo è uno degli argomenti centrali dell’annuncio. L’API per agenti vocali costa 0,04 dollari al minuto quando usa Mistral Small 4 come modello di ragionamento, e 0,08 dollari al minuto con altri modelli di ragionamento.

Sulle prestazioni, Mistral riporta risultati ottenuti con i propri test. Nel benchmark FLEURS su 45 lingue, Voxtral Small Transcribe 3 si colloca intorno al 4 per cento di errore sulle parole, in linea con Microsoft AI Transcribe 2 e molto sotto Whisper large-v3, che l’azienda indica tra il 15 e il 16 per cento. Sulla diarizzazione, il modello Small ottiene il 18,4 per cento contro il 19,0 di Pyannote Orchestrator e il 20,3 di Microsoft AI Transcribe 2.

Per la sintesi vocale, l’azienda afferma che Voxtral Speech 3 offre il miglior rapporto qualità e prezzo, citando tra i confronti ElevenLabs, Cartesia, Deepgram e OpenAI. Attenzione però: le valutazioni vocali sono interne e giudicate da un altro modello, quindi vanno prese come indicazione e non come verdetto definitivo.

Nella tua valutazione conviene sempre fare una prova con il tuo audio reale, soprattutto se lavori in italiano o con accenti regionali.

Perché conta per l’Europa e per la sovranità dei dati

Mistral insiste molto sul controllo. Le aziende possono decidere dove viene elaborato l’audio, come vengono trattati i dati e se le conversazioni vengono conservate. L’intero stack può funzionare in locale o in un cloud privato, previo contatto con il team commerciale.

È un argomento che parla soprattutto a banche, assicurazioni, sanità e pubbliche amministrazioni, settori in cui spedire registrazioni di clienti verso servizi extraeuropei è spesso un ostacolo normativo. Già con altri annunci recenti, come Mistral Large 4 o i modelli Timestral per le serie temporali, l’azienda ha rafforzato la sua immagine di alternativa europea e flessibile.

Un punto da chiarire resta la licenza. La pagina ufficiale parla di distribuzione su infrastruttura propria ma non indica i termini di licenza dei modelli né dell’SDK, quindi prima di pianificare un progetto conviene verificare le condizioni nella documentazione.

Il contesto: la voce è il nuovo campo di battaglia

Il lancio arriva in un momento in cui tutti i grandi attori spingono sulla voce. Abbiamo raccontato le nuove voci e accenti di GPT-Live-1.1 in ChatGPT Voice, mentre sul fronte della sintesi vocale c’è Eleven v4 di ElevenLabs, con cui Voxtral Speech 3 si confronta direttamente nei grafici dell’azienda.

La differenza di approccio è chiara. Mentre gli assistenti di consumo puntano sull’esperienza dentro un’app, Mistral mira a chi costruisce servizi su misura: call center, assistenti telefonici, strumenti di trascrizione per riunioni e interviste.

La combinazione di prezzi bassi, supporto multilingue ampio e possibilità di ospitare tutto in casa è una proposta concreta per le imprese europee.

Cosa cambia concretamente per te

Se sviluppi prodotti vocali, Voxtral 3 ti permette di sostituire più fornitori con un’unica integrazione e di mantenere la libertà di cambiare il modello di ragionamento. Se invece sei un professionista o una piccola azienda, la trascrizione a pochi millesimi di dollaro al minuto rende conveniente automatizzare verbali, sottotitoli e archivi audio.

Per iniziare puoi provare i playground di Mistral Studio, dove sono disponibili agenti vocali, trascrizione, generazione di voce e clonazione vocale, e ottenere le chiavi API dalla console. La clonazione richiede più di 30 minuti di audio campionato, e la funzione Pro Voice usa circa 30 minuti per riprodurre carattere e stile di un parlante anche in altre lingue.

Come sempre con i dati di benchmark pubblicati dal produttore, il consiglio è di confrontare i risultati con i tuoi casi d’uso prima di prendere decisioni di acquisto.

Conclusioni

Voxtral 3 completa la strategia vocale di Mistral con un’offerta che va dalla trascrizione alla sintesi fino agli agenti, a prezzi aggressivi e con un forte accento su controllo dei dati e lingue europee. Il test decisivo sarà la qualità reale in italiano e nei contesti rumorosi.

Se lavori con l’AI vocale, apri il playground, carica un tuo audio e confronta il risultato con lo strumento che usi oggi. Poi seguici: continueremo a raccontare le novità su voce, agenti e modelli aperti.