Un ancien travailleur de Google craint que des « robots tueurs » ne provoquent des atrocités massives

L’ingénieur logiciel prévient que l’IA pourrait aussi déclencher accidentellement une guerre

Les inquiétudes liées au développement d’une nouvelle génération d’armes autonomes ou de « robots tueurs » ont encore fait la une des médias le mois de septembre.

Laura Nolan, qui a démissionné de Google l’année dernière en signe de protestation contre son affectation dans un projet visant à améliorer considérablement la technologie des drones militaires du Pentagone, a demandé l’interdiction de toutes les machines à tuer qui ne sont pas utilisées par des humains, selon un rapport du quotidien britannique The Guardian. L’ex-ingénieur logiciel de Google a averti que ce nouveau type d’armes pourrait accidentellement déclencher une guerre ou provoquer des atrocités de masse.

Selon Nolan, contrairement aux drones, qui sont contrôlés par des équipes militaires souvent à des milliers de kilomètres de l’endroit où l’arme volante est déployée, les robots tueurs ont le potentiel de faire « des choses calamiteuses pour lesquelles ils n’étaient pas programmés à l’origine ». Nolan a déclaré que les robots tueurs qui ne sont pas guidés par une télécommande humaine devraient être interdits par le même type de traité international qui interdit les armes chimiques.

Nolan a été choisie pour travailler dans l’équipe Google affectée au Project Maven en 2017 après qu’elle ait été employée par l’entreprise pendant quatre ans, période au cours de laquelle elle était devenue l’une de ses meilleures ingénieurs en informatique en Irlande, a rapporté The Guardian. Bien qu’elle ne travaille plus sur le projet Maven, Nolan a prédit que les armes autonomes en cours de développement présentent un risque bien plus grand pour la race humaine que les drones télécommandés.

Nolan, qui s’est jointe à la Campagne pour arrêter les robots tueurs et a informé les diplomates de l’ONU à New York et à Genève des dangers posés par les armes autonomes, a déclaré : « La probabilité d’une catastrophe est proportionnelle au nombre de ces machines qui se trouveront dans une zone donnée à la fois. Ce que vous voyez, ce sont des atrocités et des assassinats illégaux possibles, même en vertu des lois de la guerre, surtout si des centaines ou des milliers de ces machines sont déployées ». 

Nolan a ajouté qu’elle avait des craintes concernant des potentiels comportements inattendus de ces nouvelles armes : « Il pourrait y avoir des accidents à grande échelle parce que ces choses commenceront à se comporter de façon inattendue. C’est pourquoi tout système d’armement avancé devrait être soumis à un contrôle humain significatif, sinon il faut l’interdire parce qu’il est beaucoup trop imprévisible et dangereux ».

Toutefois, rien n’indique que Google soit impliqué dans le développement de systèmes d’armes autonomes. The Guardian a rapporté que le mois d’août, un groupe d’experts gouvernementaux de l’ONU a débattu des armes autonomes et a constaté que Google renonçait à l’IA pour l’utilisation dans les systèmes d’armes et s’engageait dans les meilleures pratiques.

Des rapports ont révélé, en mars 2018, la participation de Google dans le projet Maven, un contrat de plusieurs milliards de dollars avec le Pentagone. Selon l’un des rapports, le projet Maven viserait à rendre les frappes de drones plus favorables aux civils. En avril, Google a déclaré que « La technologie est utilisée pour signaler des images à des fins de revue humaine et vise à sauver des vies et à éviter aux gens d’avoir à faire un travail fastidieux ».

L’implication de Google dans ce projet a soulevé plusieurs questions d’ordre éthique. Des organisations comme l’EFF et l’ICRAC ont mis en garde contre une éventuelle utilisation de l’IA pour développer des armes et pour la guerre. Google a laissé le contrat de Project Maven expirer en mars 2018 après que plus de 3.000 de ses employés ont signé une pétition en signe de protestation contre l’implication de l’entreprise. Google a publié ensuite un guide regroupant les principes auxquels la société adhère pour le développement de l’intelligence artificielle, y compris un engagement à ne pas utiliser son IA pour développer des armes.

« Bien que je n’aie pas été directement impliqué dans l’accélération de la reconnaissance des séquences vidéo, j’ai réalisé que je faisais toujours partie de la chaîne de la mort. » 

Dans le projet Maven du Pentagone, il avait été demandé à Nolan et à d’autres de construire un système où les machines à IA pourraient différencier les personnes et les objets à un rythme infiniment plus rapide. Voici ce qu’a déclaré Nolan à propos de son travail dans le projet, d’après le rapport du Guardian :

« En tant qu’ingénieur de fiabilité de site, mon expertise chez Google était de m’assurer que nos systèmes et nos infrastructures fonctionnaient toujours, et c’est ce que j’étais censé aider Maven avec. Bien que je n’aie pas été directement impliqué dans l’accélération de la reconnaissance des séquences vidéo, j’ai réalisé que je faisais toujours partie de la chaîne de la mort ; que cela conduirait finalement à ce que davantage de personnes soient ciblées et tuées par les militaires américains dans des endroits comme l’Afghanistan ».

Selon des explications de Nolan, des forces externes, allant des systèmes météorologiques changeants aux machines incapables d’élaborer un comportement humain complexe, peuvent faire dévier les robots tueurs de leur trajectoire, avec des conséquences qui peuvent être fatales.

« Vous pourriez avoir un scénario où des armes autonomes, qui ont été envoyées pour faire un travail, font face à des signaux radar inattendus dans une zone qu’ils cherchent ; il pourrait y avoir des conditions météorologiques qui n’ont pas été prises en compte dans son logiciel ou ils pourraient rencontrent un groupe d’hommes armés qui semblent être des ennemis insurgés alors qu’ils sont en fait à la recherche de nourriture. La machine n’a pas le discernement ou le bon sens que le toucher humain a ».

Selon Nolan, un autre aspect effrayant de ces armes autonomes, concerne les tests. D’après elle, les vrais tests de ces armes ne sont effectués qu’en situation réelle de guerre en zone de combat. « C’est peut-être ce qui se passe actuellement avec les Russes en Syrie, qui sait ? Ce que nous savons, c’est qu’à l’ONU, la Russie s’est opposée à tout traité et encore moins à l’interdiction de ces armes, soit dit en passant », a-t-elle dit.

« Si vous testez une machine qui prend ses propres décisions concernant le monde qui l’entoure, il faut que ce soit en temps réel. D’ailleurs, comment former un système qui ne fonctionne qu’avec un logiciel pour détecter les comportements humains subtils ou distinguer la différence entre les chasseurs et les insurgés ? Comment la machine à tuer peut-elle faire la distinction entre le combattant de 18 ans et le jeune de 18 ans qui chasse les lapins ? », s’est questionnée Nolan.

Selon l’ancien ingénieur logiciel chez Google, la capacité de convertir des drones militaires en armes autonomes non guidées par les humains, « n’est aujourd’hui qu’un problème logiciel qui peut être résolu relativement facilement », a déclaré M. Nolan. 

Elle a déclaré qu’elle souhaitait que le gouvernement irlandais adopte une position plus ferme en soutenant l’interdiction de ces armes. Nolan n’est pas contre les systèmes de guidage de missiles ou les systèmes de défense antimissile, car ils sont entièrement sous le contrôle humain et quelqu’un doit en fin de compte rendre des comptes. Mais, pour elle, les robots tueurs constituent un changement tant éthique que technologique dans le domaine de la guerre. 

« Très peu de gens en parlent, mais si nous ne faisons pas attention à une ou plusieurs de ces armes, ces robots tueurs pourraient accidentellement déclencher une guerre éclair, détruire une centrale nucléaire et causer des atrocités de masse ».

D’autres potentielles menaces d’armes autonomes semblables à Skynet de la saga Terminator

Selon un rapport de The Intercept publié en 2015, en épluchant les documents divulgués par Edward Snowden, il s’est trouvé que la NSA a développé un programme baptisé Skynet. Le but de ce programme étant d’analyser l’emplacement et les métadonnées des appels téléphoniques issus des enregistrements de masse afin de définir, à partir de ces résultats, les personnes terroristes ou celles ayant un lien avec le terrorisme. Selon The Intercept, ce programme de recherche a permis d’étiqueter plusieurs personnes comme étant de connivence avec le terrorisme.

Selon un rapport d’étude publié en août dernier par l’ONG néerlandaise Pax, Amazon, Microsoft ou Intel seraient en bonne place pour la création potentielle de « Skynet ». L’enquête, qui a interrogé les principaux acteurs du secteur sur leur position concernant les armes autonomes meurtrières, a conclu que 22 entreprises sont « moyennement préoccupantes », tandis que 21 ont été classées dans la catégorie des entreprises « très préoccupantes », notamment Amazon et Microsoft.

Pour rappel, ces deux entreprises américaines ont soumissionné pour obtenir un contrat de 10 milliards de dollars du Pentagone pour fournir l’infrastructure de cloud computing à l’armée américaine. Les deux entreprises sont les finalistes à la course au contrat de cloud JEDI du Pentagone. La Campagne pour arrêter les robots tueurs pourrait-elle interrompre le développement en cours des nouvelles armes autonomes ?

yogaesoteric

5 novembre 2019 

Also available in: English