Perché ChatGPT sembra intelligente senza esserlo davvero

Nel campo delle tecnologie del linguaggio, i modelli linguistici neurali hanno migliorato molte applicazioni, tra cui la trascrizione e la traduzione automatiche. In confronto ai modelli n-gram, queste gestiscono in modo molto più armonico la dispersione dei dati (come il dover classificare si pavoneggiava rispetto ad annusava in termini di possibilità di cosa viene dopo la veloce volpe fulva quando nessuno dei due termini è presente nel corpus).

Una delle ragioni per cui questo avviene è il modo in cui i modelli linguistici neurali consentono la rappresentazione delle parole non sulla base della sequenza di caratteri usati per scriverle ma a partire dalle co-occorrenze con altre parole. Questi cosiddetti “embeddings” (’incorporamenti’) fanno sì che parole simili (come gatto, cane, coniglio, criceto e altre parole che si riferiscono agli animali domestici, oppure correre, balzare, pavoneggiarsi e altre parole che indicano movimento) siano rappresentate in modo simile, anche se sono scritte in modo diverso. Questo a sua volta comporta che le informazioni su queste parole possono essere aggregate.

Un’altra caratteristica importante dei modelli linguistici neurali è che possono es…