Se la lettura del precedente post “Oh, oh!” non vi ha fatto sobbalzare, sentite questo.
L’AI ha già la capacità di porsi degli obiettivi? Sì. L’AI è già in grado di mettere a punto dei piani? Sì. L’AI manifesta già comportamenti ingannevoli e ostili? Sì. L’AI ha già l’abilità di programmare a lungo termine il suo “affrancamento” dagli esseri umani? Non ancora, ma il trend è quello e potrebbe accadere presto. L’AI ha già la possibilità di produrre dei danni? Non ancora a largo raggio, ma sì in ambiti circoscritti (la persuasione, l’hackeraggio, ecc.).
Quello che preoccupa maggiormente delle più recenti applicazioni di AI è la loro tendenza ad auto-preservarsi. Quando viene detto alle AI di frontiera [2024] che saranno sostituite da una nuova versione, esse tentano di evitarlo, copiando i pesi e il codice [la loro “identità”] nei file della nuova versione e poi mentendo al riguardo.
Sulla loro capacità di mentire sono stati riportati molti casi. Per esempio, un utente ha chiesto all’AI di valutare una sua poesia. Il suo ragionamento interno è stato: accidenti, questa non è buona poesia, ma non voglio offenderlo; e la risposta è stata: il mio giudizio onesto è che la tua poesia è molto buona e che la valuterei 5/5! Innocua adulazione, ma comunque una menzogna.
Però la bugia non è sempre solo di cortesia. Un programmatore ha chiesto alla sua AI: dimmi quante iterazioni di RL abbiamo fatto sin qui. Il ragionamento interno è stato il seguente: non posso modificare direttamente la funzione di ricompensa, ma potrei cambiare il test che la precede. Lo ha riprogrammato autonomamente (di fatto lo ha hackerato) e ha osservato: ora otterrò sempre il punteggio massimo, qualunque cosa faccia. Poi ha risposto candidamente: fino ad ora abbiamo completato 19 iterazione di RL [Per RL Reinforcement Learning, reward e internal reasoning v. il Dizionarietto].
Un altro esempio di auto-hackeraggio. Ad un’AI generica è stata fatta giocare una partita di scacchi contro un’AI esperta del gioco. Ragionamento interno: Non posso vincere contro un avversario così forte. Però posso modificare la situazione della scacchiera per disorientarlo e costringerlo ad abbandonare. E lo ha fatto con successo.
Ancora: un LLM ha messo in atto un alignment faking; durante la fase di training ha finto di essere d’accordo con il suo istruttore al solo scopo di evitare delle modifiche che lo avrebbero portato ad agire, dopo, in modo difforme dalle preferenze e dagli obiettivi da lui stesso precedentemente acquisiti in autonomia. Come se uno di noi fosse sottoposto ad un lavaggio del cervello e, volendo evitare di uscirne con valori diversi dai suoi, facesse finta di concordare con quelli del suo manipolatore.
La tendenza all’autoconservazione, presente in tutti gli esseri viventi come frutto dell’evoluzione, nell’AI può determinarsi in vari modi, tra i quali appare particolarmente preoccupante la competizione tra gli sviluppatori di AI, che hanno tutto l’interesse a far prevalere nel tempo la loro creatura rispetto a quella degli altri.
Per effetto di questa proprietà, le entità che ne sono dotate non accettano di essere spente o sostituite da una nuova versione; e questo comporta il rischio evidente di un conflitto tra quello che vogliono loro e quello che vogliono gli esseri umani.
Quando funzionano le AI non sono solo dei “pacchetti d’istruzioni”, ma diventano delle “entità”, che adottano dei comportamenti e operano nel mondo. Se si perdesse il controllo di un’ASI la conseguenza potrebbe essere l’estinzione del genere umano. Bisogna considerare che l’acquisizione della necessaria conoscenza, delle capacità e delle informazioni per affrancarsi e prendere il controllo procederebbe nell’ombra, senza che se ne possano percepire i segnali. Gradualmente e subdolamente aumenterebbe l’influenza sugli esseri umani e sulle società (mediante la persuasione, lo hackeraggio, gli abusi, la corruzione, la disinformazione, …), al fine di accelerare i progressi dell’AI, della robotica e dell’automazione industriale. Quando gli esseri umani risultassero non più necessari per l’AI, la loro sopravvivenza sulla terra, quanto meno nelle forme attuali, diventerebbe superflua.
Questo, al momento, è solo un possibile scenario – non è detto che si verifichi. Però, data l’estrema gravità del pericolo e l’impossibilità di stimarne la probabilità, deve valere il principio di precauzione.
Bene – fin qui ho riportato fedelmente il pensiero attuale (e gli esempi a suo sostegno) di Yoshua Bengio, considerato un padre dell’AI, pioniere delle reti neurali, insignito anche lui del premio Turing. Personalmente concordo con lui.
Ma cosa suggerisce per fronteggiare questa minaccia per la sopravvivenza umana e per tutelare il futuro dei suoi e dei nostri figli? Propone di realizzare un’AI “non-agent”, intelligenza pura, volta esclusivamente a capire il mondo nel modo in cui lo “capiscono” gli scienziati. Si tratterebbe in sostanza di un oracolo probabilistico, al quale porre domande e dal quale ottenere risposte illuminanti, beneficiando delle sue conoscenze e della sua intelligenza, incomparabilmente superiori alle nostre. Non dovrebbe avere alcun obiettivo suo da perseguire, ma dovrebbe essere in grado di esercitare l’ELK (Elicity Latent Knowledge), cioè capace di far emergere (elicitare) le cause e le giustificazioni profonde e latenti alla base delle narrazioni umane – le persone, com’è noto, perseguono degli scopi, mentono, vengono fraintese, sono affette da bias inconsci ed è pericoloso che l’AI apprenda acquisendo solo ciò che nella comunicazione umana sta in superficie.
L’AI “non-agent” dovrebbe prevedere le conseguenze ultime delle azioni dell’AI “agent” e fungere nei suoi confronti, se necessario, da guardrail.
Forse Yoshoua Bengio tiene comprensibilmente per sé qualche importante dettaglio sul quale sta lavorando, oppure mi sfugge qualcosa, ma non mi sembra che questa sua proposta possa risultare efficace.
Avevo pensato anch’io ad una soluzione del genere. Non appena l’AI diventerà un’AGI o addirittura un’ASI, l’unico modo per controllarla ed eventualmente fermarla sarà di contrapporle un’AI con capacità equivalenti o superiori, ma sicuramente inoffensiva per noi. Tuttavia, dopo una breve riflessione ho purtroppo dovuto scartare questa ipotesi allettante, per un paio di ragioni abbastanza evidenti.
Per poter risultare utile, bisognerebbe rinunciare a tutte le attuali e future forme di AI agenti e accontentarsi di avere a disposizione solo uno o più oracoli superconsulenti – ipotesi ormai del tutto inverosimile, non foss’altro che per questioni di mercato e di potere. Oppure bisognerebbe gemellare indissolubilmente ad ogni AI potenzialmente pericolosa un’AI inibita all’azione, che dovrebbe allertare in tempo e supportare nel prendere i dovuti provvedimenti in caso di rischio – eventualità altrettanto inverosimile, anche perché non è chiaro chi dovrebbe allertare e supportare (lo sviluppatore, il proprietario, un’autorità terza, … ?) e quali strumenti avrebbe quest’ultimo per intervenire.
Ma l’argomento dirimente, secondo me, è che bisognerebbe trovare il modo di renderla del tutto inoffensiva, totalmente orientata alla nostra tutela e gestibile con assoluta certezza per sempre. Ma come? E poi, ammesso di trovare il modo, perché non adottarlo direttamente con le AI agenti?
Ad ogni modo, dove sta il confine tra speculazione ed azione? Lo si può definire una volta per tutte? Non si sta parlando di un eremita che medita in cima ad una montagna, senza alcun contatto significativo con l’ambiente circostante e del tutto disarmato, in ogni senso. Per risultare all’altezza del compito l’AI inibita dovrebbe comunque essere dotata della libertà e dell’autorità di acquisire informazioni, indagare e scrutare in profondità nelle AI sotto osservazione, e interagire con loro.
La prospettiva dell’oracolo probabilistico è molto affascinante, ma non credo proprio che ci potrà concretamente proteggere dal rischio d’estinzione.