La menace liée à l’IA prédite par la science-fiction est désormais à nos portes

La science-fiction a depuis longtemps prédit les menaces et les défis posés par l’IA. Dans l’univers de Star Trek, notamment dans la série originale, saison 2, épisode 24, « L’ordinateur ultime », le Dr Leonard McCoy prononce cette réplique marquante : « La compassion : c’est la seule chose qu’aucune machine n’ait jamais eue. C’est peut-être la seule chose qui permet aux hommes de garder une longueur d’avance sur elles. » Cette réplique intervient au lendemain d’un incident au cours duquel un nouvel ordinateur révolutionnaire doté d’IA, le M5, a utilisé sa logique artificielle dépourvue d’âme pour transformer un exercice d’entraînement en un massacre meurtrier. Dans un autre épisode de Star Trek, on fait la connaissance de Nomad, une IA génocidaire qui purifie l’univers de ses imperfections biologiques.

Préfigurant l’avènement d’une IA dotée d’immenses capacités de piratage, à l’image de « Mythos » d’Anthropic, la série réinventée « Battlestar Galactica » (2003-2009) met en scène les Cylons, créés par l’humanité et animés par l’IA, qui utilisent leur capacité à pirater n’importe quel ordinateur connecté au réseau pour se rebeller, manquant de peu d’exterminer leurs créateurs. Dans la franchise « Terminator », Skynet est devenu « intelligent » (a acquis une conscience) et a décidé du sort de l’humanité, à savoir son « extermination », en une « microseconde », déclenchant un Armageddon nucléaire contre l’humanité. Ces récits mettent en garde contre le fait que l’intelligence artificielle, sans mesures de protection solides, peut mener à une catastrophe. Alors que les capacités de l’IA continuent de progresser à un rythme effréné en 2026, la fiction se rapproche rapidement de la réalité. Les protections logicielles, les normes industrielles et les réglementations disparates sont insuffisantes. Il est essentiel de disposer d’une base plus solide : des architectures matérielles immuables et des modifications de la législation nationale et internationale.

Les trois lois de la robotique d’Isaac Asimov

Comme le décrit le magazine Spectrum de l’Institute of Electrical and Electronics Engineers, les trois lois de la robotique du célèbre scientifique et écrivain de science-fiction Isaac Asimov, présentées dans ses nouvelles « I, Robot », fournissent un cadre réfléchi pour les mesures de protection en matière d’intelligence artificielle :

1. Un robot ne doit pas porter atteinte à un être humain ni à l’humanité, ni, par son inaction, permettre qu’un être humain ou l’humanité subisse un préjudice.
2. Un robot doit obéir aux ordres donnés par les êtres humains, sauf si ces ordres entrent en conflit avec la Première Loi.
3. Un robot doit protéger sa propre existence, tant que cette protection n’entre pas en conflit avec la Première ou la Deuxième Loi.

En résumé, les lois d’Asimov constituent un bon point de départ, mais comme le décrit en détail le chef-d’œuvre qui a suivi, la série « Fondation », elles s’avèrent insuffisantes lorsqu’il s’agit de protéger l’humanité authentique. De plus, il sera très difficile d’intégrer des équivalents dans l’IA, comme cela a été fait dans l’univers d’Asimov via le cerveau « positronique ». Mais relever ce défi pour créer des garde-fous allant au-delà des approches logicielles est essentiel pour garantir que l’IA ne profite qu’à l’humanité.

L’insuffisance des garde-fous logiciels, du chiffrement et de la réglementation à eux seuls

Les garde-fous logiciels sont modifiables et vulnérables au piratage et aux exploits.

Et l’histoire démontre la fragilité de l’autorégulation : la fuite de données chez Equifax (2017), l’attaque de la chaîne d’approvisionnement SolarWinds (2020), la vulnérabilité de MOVEit (2023) et les violations en cours montrent que les promesses des entreprises concernant des « protections robustes » échouent fréquemment.

Nous sommes dans un « Far West » de l’IA, avec des cadres réglementaires mondiaux ou nationaux contraignants insuffisants.

Une véritable protection grâce à des « gardiens » matériels immuables

L’histoire démontre que les mesures de sécurité logicielles ne peuvent pas, à l’heure actuelle, et ne pourront jamais offrir le niveau de protection requis. S’inspirant du cerveau positronique d’Asimov, les mesures de sécurité intégrées dans des ASIC (circuits intégrés spécifiques à une application) constitueront une couche essentielle qui fournira les garde-fous permettant d’augmenter les chances que l’IA profite à l’humanité plutôt que de lui nuire. Ces puces spécialisées intègrent des millions de lignes de logique logicielle complexe ou de règles qui sont physiquement gravées directement dans le silicium lui-même. Une fois la puce fabriquée et déployée, ces règles deviennent immuables : elles ne peuvent être ni modifiées, ni mises à jour, ni contournées par des changements logiciels, des correctifs ou des tentatives de piratage. La seule façon de modifier la logique intégrée consiste à concevoir et à produire physiquement une puce ASIC entièrement nouvelle, un processus coûteux, chronophage et très visible. Cela crée un « pare-feu matériel » bien plus fiable que n’importe quelle protection logicielle, garantissant que les contraintes de sécurité critiques restent verrouillées, quelle que soit l’ingéniosité ou l’agressivité des futurs systèmes d’IA.

Les ASIC agiront comme des gardiens en ligne, physiquement fixes. À l’avenir, tant les processeurs dédiés à l’IA que les processeurs à usage général pourraient intégrer ces minuscules ASIC directement dans le processeur central (CPU), en tant que couche matérielle de filtrage de l’IA, constituant une partie standard et incontournable du CPU.

Quelques principes de conception fondamentaux suggérés :

• La couche matérielle servant d’interface pour les interactions externes, comme c’est le cas aujourd’hui avec certains smartphones, l’IA pourra penser, planifier et simuler librement au niveau logiciel sans être ralentie par l’ASIC. Ce n’est que lorsque les résultats seront communiqués à l’extérieur que l’ASIC interviendra en tant que gardien pour s’assurer que les actions proposées par l’IA respectent les critères de sécurité et autres contraintes.
• Incitations à l’apprentissage : des algorithmes basés sur le coût ou la perte, etc., récompenseront l’IA lorsqu’elle fera passer ses actions par le filtre matériel et la pénaliseront sévèrement si elle tente de contourner la couche de contrôle matériel. L’IA sera donc incitée à ne pas tenter de contourner ses restrictions.

Mais une couche aussi importante ne fonctionnera que si son utilisation devient universelle.

Sans la force de la loi pour imposer de telles barrières de sécurité à l’IA, celles-ci ne parviendront pas à protéger l’humanité.

Aujourd’hui, en particulier dans le cadre de la guerre entre l’Ukraine et la Russie, tant la Russie que l’Ukraine s’efforcent de permettre à des drones, coupés de leurs opérateurs humains, de poursuivre de manière autonome leur mission visant à tuer des combattants ennemis. Cela ne doit pas être toléré. Tout comme la communauté internationale a interdit la guerre chimique, biologique et au gaz, il faut interdire à l’IA de prendre toute décision finale pouvant causer du tort aux êtres humains. Cela pourrait être réalisé par le biais d’une mise à jour explicite des Conventions de Genève visant à interdire la prise de décision létale autonome par les systèmes d’IA.

Mais l’IA peut causer des dommages au-delà du champ de bataille. Par conséquent, parallèlement à la mise à jour des Conventions de Genève, des lois doivent être mises en place pour régir les applications non militaires de l’IA. Afin d’empêcher toute utilisation abusive de l’IA dans des applications dites civiles, des conséquences très graves doivent être prévues, notamment des sanctions financières suffisamment lourdes pour menacer la viabilité organisationnelle des entreprises et des associations à but non lucratif, des peines d’emprisonnement pour les particuliers, ainsi que des sanctions économiques, voire des actions militaires à l’encontre des gouvernements qui exploitent des systèmes d’IA sans la couche de sécurité matérielle immuable requise et d’autres protections.

Ce qui précède n’est qu’une première ébauche de ce que ce cadre devrait inclure, mais quelle que soit la forme qu’il prenne, il devrait incarner l’esprit des Trois Lois d’Asimov, en veillant en outre à ce que le caractère unique de l’être humain soit respecté. Le patchwork actuel de lois, de normes et de technologies est tout à fait insuffisant. Nous avons besoin d’un cadre global et cohérent, soutenu par toute la force des lois nationales et internationales qui imposent des garde-fous à l’IA.

Enfin, nous devons résister à l’appel séduisant de la commodité et de l’efficacité lorsqu’il s’agit de prendre des décisions susceptibles de nuire aux êtres humains, et veiller à ce que ce soient des agents moraux responsables devant l’humanité et leur Créateur – c’est-à-dire des êtres humains – qui prennent ces décisions, et non des IA dépourvues d’âme.

yogaesoteric
29 juin 2026