In questi giorni mi è ricapitato tra le mani un libro, letto da ragazzo e poi completamente dimenticato: Erewhon di Samuel Butler, pubblicato nel 1872 e ambientato in quegli stessi anni.
Vi si narrano le vicende di un giovane inglese, che scopre una società isolata e utopica, il cui nome è l’anagramma di “nowhere”, cioè “da nessuna parte”, nel senso figurato di non andare da nessuna parte, non progredire. In questo mondo, le norme sociali sono rovesciate: le malattie sono considerate colpe e punite, mentre i reati sono trattati come problemi medici da curare. La società teme in particolare il progresso tecnologico e ha bandito le macchine avanzate, ritenute pericolose per l’umanità, perché un giorno potrebbero sviluppare una loro autonomia, superare l’uomo e renderlo inutile. Questo timore li porta a impiegare solo strumenti molto semplici, dopo aver distrutto ogni invenzione complessa e proibito quelle nuove. Naturalmente, ciò che veniva considerato “tecnologia avanzata”, all’indomani della prima rivoluzione industriale, era molto diverso da oggi; ma, all’epoca, era percepito comunque come rivoluzionario. Si trattava delle macchine a vapore, dei telai meccanici, delle locomotive, del telegrafo.
Butler anticipa di un secolo e mezzo temi attuali, come l’automazione incontrollata e l’intelligenza artificiale. Lo fa, nei capitoli dal XXIII al XXV, con riflessioni stupefacenti per la loro modernità e puntualità. Ne riporto alcune.
- “Vi fu un tempo in cui la terra […] mancava completamente di vita vegetale e animale ed […] era solo una sfera incandescente […]. Ora, se a quell’epoca fosse esistito un essere umano che […] avesse potuto vedere la terra come un qualsiasi altro mondo a lui completamente estraneo, non gli sarebbe forse parso impossibile che da quella specie di tizzone ardente potessero nascere e svilupparsi creature dotate di una qualche sorta di coscienza?” “Eppure, col volgere dei millenni, la coscienza apparve. Perché, allora, non esisterebbero nuove strade attraverso cui essa giungerà a manifestarsi, anche se per ora quelle strade sono invisibili ai nostri occhi?” “Perché non potrebbe prodursi una nuova fase dell’intelligenza tanto diversa da tutte le fasi finora conosciute quanto l’intelligenza degli animali è diversa da quella dei vegetali?” “Quando pensiamo alle molteplici fasi attraverso cui la vita e la coscienza si sono evolute fino ad oggi, non possiamo affermare con sicurezza che non possano prodursene altre, né che la vita animale sia il limite estremo di tutte le cose.” “Se, per ipotesi, nel più antico periodo geologico, una qualche forma primitiva di vita vegetale fosse stata dotata della facoltà di ragionare sulle prime manifestazioni della vita animale, essa avrebbe pensato che gli animali potevano un giorno raggiungere al massimo il livello dei vegetali; e già quest’idea le sarebbe parsa estremamente audace. Ma, tuttavia, il suo errore sarebbe stato meno grave di quello che commetteremmo noi se immaginassimo che, siccome la vita delle macchine è molto diversa dalla nostra, essa non può raggiungere un livello superiore al nostro; o che, siccome la vita meccanica è molto diversa da quella umana, non può essere considerata veramente vita.” “Il fatto che attualmente le macchine posseggano ben poca coscienza, non ci autorizza affatto […] a ritenere che la coscienza meccanica non raggiungerà col tempo il massimo sviluppo.” “Si deve riconoscere che […] (accettando la teoria dell’evoluzione, ma negando contemporaneamente la coscienza all’azione dei vegetali e dei cristalli) la razza umana discende da esseri assolutamente privi di coscienza. […] non è da escludere a priori che dalle macchine attualmente esistenti discenderanno in avvenire macchine coscienti […].” “Nessuna delle macchine attuali mi spaventa. Ciò che mi spaventa è la straordinaria rapidità con cui esse si stanno trasformando in qualcosa di ben diverso da quello che sono oggi. Nessuna specie animale o vegetale ha mai fatto, in passato, simili passi da gigante. Non dobbiamo dunque sorvegliare gelosamente il loro progresso e arrestarlo finché siamo ancora in tempo?” “Il corpo umano ha raggiunto la sua forma attuale grazie alle infinite modificazioni verificatesi in milioni di anni; il suo organismo non si è mai perfezionato ed evoluto con la millesima parte della rapidità con cui si stanno perfezionando ed evolvendo le macchine. È questo il punto più preoccupante della situazione.”
- “Non mi sembra prudente contare molto sul senso morale di qualsiasi macchina.” “Che cosa finiranno per diventare le macchine? Non è più prudente distruggere il male all’inizio e impedire loro di progredire ulteriormente?”
- L’uomo “appena cessa di combattere per favorire il progresso delle macchine, incoraggiando le buone e distruggendo le cattive, resta indietro nella corsa per il potere […].”
- “[…] le macchine hanno influito sull’uomo contribuendo a renderlo quello che è, come l’uomo ha influito sulle macchine rendendole quello che sono. Ci resta una sola alternativa: o affrontare ora un periodo di grandi sofferenze, o vederci gradatamente sostituiti dalle nostre stesse creature, finché di fronte a loro saremo quello che sono le bestie dei campi di fronte a noi.”
- “Il pensiero che la mia razza possa mai essere superata o soppiantata mi fa orrore […] e credo che sia un sentimento universale e che il paese deciderà di porre fine a tanti progressi meccanici […].”
Questi passaggi del libro fanno venire i brividi. Solo sull’ultimo penso di non poter concordare; non sul sentimento universale di orrore, ma sull’eventualità che il mondo intero decida di porre fine a tanti progressi meccanici. Se si accetta l’idea che le macchine possano evolversi e diventare pericolose, allora anche il dispositivo più semplice diventa sospetto, perché rappresenta comunque un “primo passo” lungo quella traiettoria. Per riuscire nell’intento bisognerebbe adottare una linea rigidissima e quasi dogmatica, che suscita molte perplessità. Ad ogni modo, chi mai sarebbe capace di garantirne il rispetto rigoroso e universale?
A ben vedere quella di Samuel Butler è la proposta, ante litteram, di Yoshua Bengio: evitiamo di mettere l’AI nelle condizioni di fare autonomamente alcunché (v. il post Tre strategie di difesa preventiva); che però ha, appunto, un unico, grande difetto: non è realizzabile. A differenza di Erewhon, piccola e del tutto isolata dal resto del mondo, la società investita oggi dalla potenziale aggressione delle “macchine” (leggi: AI) è globale, costituita da 8,3 miliardi di persone e priva di qualsiasi efficace strumento / istituzione / organizzazione di governance universale.