Mi sono imbattuto in questi giorni in un caveat di Norbert Wiener, il famoso cibernetico del secolo scorso (1894-1964), che potrebbe tranquillamente fungere da esergo di questo blog:
“Se, per raggiungere i nostri scopi, usiamo un’azione meccanica, con le operazioni della quale non abbiamo la possibilità di interagire efficacemente una volta avviata, perché è così veloce e irreversibile che non abbiamo i dati per intervenire prima che l’azione sia completata, dovremmo essere ben sicuri che l’obiettivo indicato alla macchina sia proprio quello che intendiamo perseguire e non una sua mera descrizione pittorica”[1].
Trovo stupefacente che sia datato 1960, anche se la disciplina che si occupa di AI era ufficialmente già nata un lustro prima[2]; ma mi sembra ancora più stupefacente la precisazione “non abbiamo i dati per intervenire”. Avrebbe potuto dire “non abbiamo gli strumenti”, “non abbiamo la possibilità”, “non abbiamo il tempo materiale”; invece dice proprio “i dati”. Questo lo rende di assoluta attualità, se riferito ad alcune delle odierne applicazioni di machine learning.
Attualmente la questione va in sostanza sotto il nome di alignment problem, proposto di recente da B. Christian per indicare l’effetto di istruzioni umane imprecise o incomplete, tali da comportare una divergenza potenzialmente catastrofica tra ciò che avremmo realmente voluto ottenere e ciò che l’AI ha effettivamente fatto.
Rispetto ai tempi di Wiener, ai giorni nostri non è più necessario produrre istruzioni in forma esplicita e con l’assoluta precisione di un linguaggio codificato. Anche se non articoliamo i nostri desiderata in forma logico-matematica, il sistema li può dedurre analizzando le nostre preferenze e le nostre scelte; al punto che, anche se in quel settore applicativo non siamo un granché, il sistema può prefigurarsi ciò che ritiene vorremmo fare e poi farlo lui stesso meglio di quanto saremmo stati capaci di farlo noi. Con il c.d. Inverse Reinforcement Learning il sistema deduce persino la funzione di ricompensa sulla massimizzazione della quale orientare le proprie decisioni.
Penso che questa prospettiva risulti ai più abbastanza allarmante, nel quadro di una crescente autonomia decisionale delle applicazioni di AI, per di più senza che sia spesso possibile rintracciare i criteri adottati, nemmeno a posteriori.
A ben vedere, l’allineamento richiesto ha un respiro ben più vasto di quello delineato sopra e riguarda i valori. Le applicazioni di machine learning dovrebbero essere intrinsecamente dotate di meccanismi tali da impedire loro di violare i valori umani. Questo naturalmente pone interrogativi di grandissima portata e difficoltà, che comportano la soluzione di questioni etiche molto rilevanti e complesse. E ci riporta inevitabilmente ad uno dei primi post pubblicati, sulla robotica di Azimov.
[1] If we use, to achieve our purposes, a mechanical agency with whose operation we cannot efficiently interfere once we have started it, because the action is so fast and irrevocable that we have not the data to intervene before the action is complete, then we had better be quite sure that the purpose put into the machine is the purpose which we really desire and not merely a colorful imitation of it. Wiener N. (1960) Some Moral and Technical Consequences of Automation, Science, 131, Issue 3410, 1355-1358 [2] Nel programma della Summer School organizzata al Dartmouth College nel 1956, firmato già nel 1955 da scienziati che divennero padri fondatori dell’AI, venne introdotta nel titolo l’inedita espressione ‘Intelligenza Artificiale’.