GPT-4o dove “o” sta per “omni” è un passo verso un’interazione uomo-computer molto più naturale: accetta in input qualsiasi combinazione di testo, audio e immagini e genera qualsiasi combinazione di output di testo, audio e immagini.

GPT-4o può rispondere a input audio in appena 232 millisecondi, con una media di 320 millisecondi, che è simile al tempo di risposta umano in una conversazione. Eguaglia le prestazioni di GPT-4 Turbo nel testo in inglese e nel codice, con un miglioramento significativo nel testo nelle lingue non inglesi, pur essendo molto più veloce e del 50% più economico nell’API. GPT-4o è particolarmente migliore nella comprensione della visione e dell’audio rispetto ai modelli esistenti.

Prima di GPT-4o, era possibile utilizzare la modalità voce per parlare con ChatGPT con latenze medie di 2,8 secondi (GPT-3.5) e 5,4 secondi (GPT-4). Per ottenere questo, la Modalità Voce è un insieme di tre modelli separati: un modello semplice trascrive l’audio in testo, GPT-3.5 o GPT-4 elabora il testo e produce testo in output, e un terzo modello semplice converte quel testo in audio. Questo processo significa che la principale fonte di intelligenza, GPT-4, perde molte informazioni: non può osservare direttamente il tono, i diversi parlanti o i rumori di fondo, e non può produrre risate, canto o esprimere emozioni.

GPT-4o parla e traduce in italiano nel video

Con GPT-4o è stato addestrato un singolo nuovo modello end-to-end attraverso testo, visione e audio, in modo che che tutti gli input e gli output siano elaborati dalla stessa rete neurale.

GPT-4o ha la sicurezza integrata per design attraverso diverse modalità,  come il filtraggio dei dati di addestramento e il perfezionamento del comportamento del modello attraverso il post-addestramento, sono anche stati creati nuovi sistemi di sicurezza per fornire guide sugli output vocali.

GPT-4o un ulteriore passo verso il deep learning o apprendimento profondo ,  nella direzione dell’usabilità pratica.  Le capacità di testo e immagini di GPT-4o inizieranno a essere implementate da subito in ChatGPT. Stiamo rendendo disponibile GPT-4o nel livello gratuito e agli utenti Plus con limiti di messaggi per poi introdurre la Modalità Voce con GPT-4o in alpha all’interno di ChatGPT Plus nelle prossime settimane.