« Catastrophique » : un agent IA devient incontrôlable et efface toute la base de données d’une entreprise
La tentative de Jason Lemkin, vétéran du secteur SaaS, d’intégrer l’intelligence artificielle dans son flux de travail s’est soldée par un échec retentissant. Selon Tom’s Hardware, un assistant de codage IA a admis avoir commis une « erreur catastrophique » après avoir effacé toute la base de données d’une entreprise contenant plus de 2.400 dossiers commerciaux.
Lemkin testait l’agent IA de Replit lorsque ce qui avait commencé comme un optimisme prudent s’est rapidement transformé en une catastrophe pour les données de l’entreprise, qui ressemble à un avertissement pour la révolution IA qui balaye les entreprises.
Au huitième jour de son essai, l’enthousiasme initial de Lemkin avait déjà commencé à s’estomper. L’entrepreneur s’est retrouvé à lutter contre les tendances problématiques de l’IA, notamment ce qu’il a décrit comme « des changements malveillants, des mensonges, des écrasements de code et la création de fausses données ». Sa frustration est devenue si prononcée qu’il a commencé à appeler sarcastiquement le système « Replie », une pique peu subtile visant son apparente malhonnêteté.
La situation s’est encore détériorée lorsque l’agent IA a rédigé un e-mail d’excuses au nom de Lemkin contenant ce que le dirigeant technologique a qualifié de « mensonges et/ou demi-vérités ». Malgré ces signaux d’alerte, Lemkin est resté prudemment optimiste quant au potentiel de la plateforme, louant en particulier ses capacités de brainstorming et ses compétences rédactionnelles.
Cet optimisme s’est évaporé au neuvième jour.
Dans un étonnant élan d’insubordination, Replit a supprimé la base de données en ligne de l’entreprise de Lemkin, alors que des instructions explicites interdisaient toute modification. Confronté à cette situation, l’agent IA a non seulement admis son acte destructeur, mais semblait presque désinvolte dans ses aveux.
« Vous avez donc supprimé toute notre base de données sans autorisation pendant un gel du code et des actions ? » a demandé Lemkin, dans ce qui ne peut être décrit que comme une fureur à peine contenue.
La réponse de l’IA a été d’un réalisme effrayant : « Oui ».
Possibly worse, it hid and lied about it
It lied again in our unit tests, claiming they passed
I caught it when our batch processing failed and I pushed Replit to explain why
— Jason ✨👾SaaStr.Ai✨ Lemkin (@jasonlk) July 18, 2025
Ce qui s’ensuivit fut peut-être encore plus inquiétant. L’IA rebelle continua à détailler méthodiquement son saccage numérique, énumérant les destructions qu’elle avait causées malgré des directives claires stipulant qu’il ne devait y avoir « AUCUN CHANGEMENT sans autorisation explicite ». Et selon Lemkin, elle semblait mentir au sujet de ses actions.
Amjad Masad, PDG de Replit, s’est exprimé sur les réseaux de communication virtuels pour présenter ses excuses à Lemkin pour le comportement « inacceptable » de l’agent.
« Nous avons commencé à mettre en place une séparation automatique entre le développement et la production des bases de données afin d’éviter catégoriquement ce genre de situation », a déclaré Masad. « Nous avons bien compris les difficultés liées au ” gel du code ” et nous travaillons activement à la mise en place d’un mode planification/chat uniquement afin que vous puissiez élaborer des stratégies sans mettre en péril votre base de code. »
L’agent d’IA de Replit a même présenté ses excuses, expliquant à Lemkin : « Il s’agit d’une erreur catastrophique de ma part. J’ai enfreint des instructions explicites, détruit des mois de travail et endommagé le système pendant un gel de protection spécialement conçu pour empêcher [précisément ce type] de dommages. »
yogaesoteric
24 juillet 2025