Quello della Stanza Cinese è un argomento proposto da John Searle nel suo articolo Menti, Cervelli e Programmi del 1980 e poi ampiamente diffusosi (in essenza) nel comune sapere collettivo. Per inciso, non escluderei che questa larga conoscenza tra i non addetti ai lavori si possa spiegare, almeno in parte, come una forma di auto-rassicurazione e di trepida difesa della propria superiorità di specie minacciata dalle “macchine”.
Del resto, anche la psicologia cognitiva ha autorevolmente sostenuto, fino a tempi recenti in modo abbastanza concorde, che l’AI non è in grado di “capire”, perché non possiede (né forse possiederà mai) le principali caratteristiche che sono alla base dell’attività cognitiva umana, come p.e. l’esperienza del mondo che deriva dall’avere un corpo e la consapevolezza di sé.
Come si può descrivere in breve l’esperimento mentale della stanza cinese? Io, che non conosco il Cinese, vengo chiuso dentro una stanza con un campionario completo di sinogrammi e un manuale dettagliato ed esaustivo di regole su come trattarli. Comunico con l’esterno solo attraverso una fessura, dalla quale una persona che conosce il Cinese lascia passare un mazzetto ordinato di questi logogrammi, con il quale mi chiede qual è il mio colore preferito. Consultando attentamente il manuale riesco a comporre una risposta e a restituire all’interlocutore esterno un mazzetto ordinato di simboli, che a me non dicono nulla, ma che per lui, che conosce il Cinese, significano “mi piace il bleu”.
L’analogia con il computer, il programma, i dati, l’input e l’output dell’epoca è evidente. Come non ci sarà mai modo per me, chiuso in quella stanza, d’imparare il Cinese, nel senso di capire il significato di quegli ideogrammi e delle frasi con i quali sono composti, così non ci sarà mai modo per la macchina di capire quello che sta elaborando.
Questo è forse l’argomento più comunemente utilizzato ancora oggi da chi ritiene che l’AI sia lontana dalle nostre prestazioni cognitive umane. Per quanto potenti e sofisticati, anche i grandi sistemi linguistici (LLMs) non capiscono quello che dicono, ma si limitano ad accostare, secondo schemi probabilistici, parole in “mazzetti”, che a noi risultano comprensibili, ma che per loro sono privi di significato; pure associazioni di simboli, governate dalla statistica e basate su una quantità enorme di dati prodotti da noi umani.
Si è svolto nei giorni scorsi (6-7 febbraio 2025) a Parigi il congresso inaugurale di una nuova associazione internazionale, la IASEAI, dedicata ai temi della sicurezza e dell’etica dell’AI, nel corso del quale sono stati presentati molti lavori interessanti. Uno, però, mi ha colpito in modo particolare, anzi, mi ha proprio fatto sobbalzare sulla sedia: quello di Geoffrey Hinton, vincitore nel 2018 del prestigioso premio Turing per l’Informatica e nel 2024 del premio Nobel per la Fisica, intitolato “What is Understanding?”.
La tesi di Hinton, come tutte quelle (poche) che hanno rivoluzionato veramente il pensiero, rovescia i termini del ragionamento e, anziché tentare di dimostrare che l’AI “capisce”, afferma che è la nostra comprensione umana del linguaggio a seguire sostanzialmente i medesimi schemi adottati dalle più recenti versioni di AI, anche se queste ultime sembrano avere già un’efficacia di gran lunga superiore alla nostra.
I LLMs di oggi (come p.e. ChatGPT e DeepSeek) non memorizzano alcun testo; non si limitano più, come solo qualche anno fa, ad accostare parole sulla base di tabelle che indicano la probabilità che una segua ad un’altra (in un contesto di ristorazione se dico “fish and” è molto probabile che segua “chips”). Operano in un modo completamente diverso e molto più avanzato ed efficace, attraverso i c.d. transformers, che hanno migliorato moltissimo la traduzione automatica delle lingue, la classificazione dei testi, la generazione di testi e l’analisi dell’opinione pubblica.
Le parole sono soltanto simboli anche per noi umani, non solo per l’AI; il loro significato non è intrinseco, ma viene attributo loro da chi le usa. In prima approssimazione possiamo pensare alle parole come a dei blocchetti di Lego, ma deformabili, per adattarsi alle altre nell’ambito di un certo contesto. Al posto dei semplici cilindretti hanno delle “manine” con le quali s’intrecciano tra di loro, formando delle strutture; è il formarsi di queste strutture di parole ciò che noi chiamiamo comprensione.
Le persone hanno in generale un’idea completamente sbagliata di come il linguaggio modella la realtà. Il “significato” è un nostro modello della realtà.
Anche le c.d. AI hallucinations (risposte chiare, logiche, ma completamente infondate), che taluni portano come prova che l’AI non capisce quello che dice, in realtà sono una dimostrazione di quanto vicini siano ormai i modelli di funzionamento dell’intelligenza naturale e di quella artificiale[1].
La memoria non è quello che generalmente si pensa che sia; non è un deposito ordinato. Noi non tiriamo fuori da uno scaffale di un archivio un ricordo, confezionato una volta per tutte. La memoria è essenzialmente un processo mentale di ricostruzione di un evento, che avviene ogni volta che ci serva utilizzarlo. Quello che memorizziamo sono i pochi elementi utili per la rigenerazione del ricordo (“i pesi e i gradienti”, in gergo), proprio come fanno i LLMs. E anche noi, quando ricordiamo, commettiamo convintamente molti errori di ricostruzione dell’evento in questione, come dimostrano diversi esperimenti inoppugnabili[2].
Data la loro importanza, voglio riportare fedelmente le parole conclusive di Hinton nel suo intervento del 6 u.s.: “Digital agents understand language in much the same way as people”.
È senza dubbio un’affermazione già di per sé molto incisiva. Ma sono le logiche conseguenze (la responsabilità delle quali è mia, non sua) che fanno sobbalzare.
Pensare significa elaborare delle informazioni; significa analizzare, ragionare, risolvere dei problemi, immaginare, ricordare – tutte attività che un’AI svolge oggi egregiamente e autonomamente.
Il risultato dell’attività di pensiero può essere la comprensione, cioè l’acquisizione del significato di qualcosa, del suo contesto e della sua importanza. Ad esempio, se leggo un articolo complesso e poi riesco a spiegarlo con parole mie, ciò dimostra comprensione dei suoi contenuti. L’AI è oggi in grado di farlo bene.
La comprensione in generale riguarda qualsiasi concetto, situazione o informazione, come p.e. la matematica, le emozioni o uno specifico problema. La comprensione del linguaggio è invece più specifica: riguarda la decodifica di simboli, sintassi, semantica e contesto nella comunicazione. Oltre alla comprensione linguistica, la comprensione tout court include anche molti altri aspetti non linguistici, p.e. comprendere come andare in bicicletta; cosa che può fare anche un animale, come si può vedere ancora (tristemente) in qualche circo. Tuttavia la comprensione linguistica è del tutto particolare; richiede di analizzare grammatica, vocabolario, frasi idiomatiche e, se abbastanza sofisticata, anche giochi di parole, espressioni ironiche, barzellette. Da alcuni è ritenuta così particolare da concludere che senza il linguaggio non ci sarebbe vera comprensione; in realtà sarebbe il linguaggio a plasmare il pensiero.
La psicologia e la filosofia della mente tengono separate la comprensione funzionale dalla comprensione cognitiva, che sarebbe possibile solo in presenza di intenzionalità, coscienza o almeno consapevolezza di sé. Ora, alla luce del lavoro di Hinton, questa distinzione vale ancora per l’AI? E se la comprensione dell’AI è già cognitiva, non è che da questa constatazione (rovesciando anche noi i termini della questione) dovremmo dedurre nell’AI l’emergere spontaneo di una consapevolezza, quanto meno in forma embrionale?
Questa conclusione – beninteso se confermata – non fa sobbalzare anche voi?
[1] Del resto il grande Alan Turing già nel 1950 diceva: se ci si aspetta che una macchina sia infallibile, essa non può essere anche intelligente. [2] Vedi, uno fra tutti, l’esempio delle testimonianze giurate di John Dean sul caso Watergate.