Secondo un recente rapporto di più di 500 pagine del Consiglio di Sicurezza delle Nazioni Unite, un drone militare avrebbe attaccato per la prima volta di sua iniziativa degli esseri umani (dei soldati in ritirata in Libia), senza che gli fosse stato specificamente ordinato di farlo. Il rapporto non specifica se l’incidente abbia causato delle vittime, ma si chiede se gli sforzi globali per vietare i robot autonomi killer siano destinati a fallire.
Quel tipo di drone si basa su una tecnologia AI di tipo machine-learning per selezionare e ingaggiare i bersagli e ha anche la capacità di sciamare, per consentire fino a 20 droni di operare insieme.
Gli esperti avvertono che i set di dati utilizzati per addestrare questi robot killer autonomi a identificare anche oggetti come autobus, automobili e civili potrebbero non essere sufficientemente ampi e robusti, e che il sistema basato su ML potrebbe imparare lezioni sbagliate. Nell’apprendimento automatico il processo decisionale è spesso opaco e pone il rischio reale che droni militari completamente autonomi colpiscano obiettivi sbagliati, per ragioni difficili da prevedere e persino da individuare a posteriori.
Inoltre ci sarebbe un rischio maggiore che qualcosa vada storto quando questi droni comunicano tra di loro e coordinano le loro azioni, come avviene in uno sciame di droni. La comunicazione può creare catene di errori a cascata, in cui l’errore di un’unità è condiviso con altre.[1]
Emergono qui almeno tre questioni di particolare rilievo:
1 – il rischio reale che droni militari completamente autonomi colpiscano obiettivi sbagliati, per ragioni difficili da prevedere e persino da individuare a posteriori. La scelta del materiale sul quale addestrare una macchina è un aspetto critico in tutte le applicazioni di ML. I dati disponibili possono non essere sufficientemente numerosi e/o essere affetti da qualche distorsione, responsabile di comportamenti imprevedibili. Quando la macchina in questione è un’arma, le conseguenze possono essere disastrose.
2 – la capacità dei droni di sciamare. Si tratta in linea generale dell’impiego di un certo numero di droni di piccole dimensioni, che si coordinano autonomamente tra di loro con una AI “distribuita” per colpire un bersaglio comune. Hanno una reattività elevata, possono eludere i radar e confondere o saturare le difese antiaeree, con costi umani e tecnologici molto inferiori all’impiego dei più tradizionali aerei da caccia. L’ispirazione nasce ovviamente dagli stormi di uccelli, capaci di mettersi in formazione e cambiare configurazione e destinazione rapidissimamente, agendo come un’unica entità, formata (talvolta) anche da migliaia di singoli individui.
3 – se gli sforzi globali per vietare i robot autonomi killer siano destinati a fallire. È inaccettabile che dei sistemi d’arma siano in grado di selezionare e colpire dei bersagli senza la supervisione umana e un gran numero di paesi stanno in effetti discutendo pubblicamente dei robot killer sin dal 2013, con l’obiettivo di vietare le armi completamente autonome, ma senza pervenire ancora a dei risultati concreti.
Secondo Mary Wareham, dirigente della divisione armi di Human Rights Watch e coordinatrice della campagna per fermare i robot killer, “[…] dato che la tecnologia basata sull’AI continua a diffondersi, l’esclusione del controllo umano dall’uso della forza è ora considerata come una grave minaccia per l’umanità che, come il cambiamento climatico, richiede un’azione internazionale multilaterale urgente. È del tutto chiaro che mantenere un controllo umano significativo sull’uso della forza è un imperativo etico, una necessità legale e un obbligo morale. Tutti i paesi devono attivarsi con urgenza, aprendo negoziati su un trattato internazionale di divieto, l’unico modo efficace per affrontare le gravi sfide sollevate dalle armi completamente autonome”[2].
[1] Liberamente tratto da: Vishwam Sankaran, The Independent, May 31, 2021 [2] Liberamente tratto da: Andrew Griffin, The Independent, August 11, 2020