Étude : Les développeurs utilisant des assistants de codage à base d’IA souffrent d’une augmentation de 41 % des bugs

Une étude récente menée par Uplevel, une entreprise qui analyse les paramètres de codage, a révélé que les assistants d’IA de codage tels que GitHub Copilot n’améliorent pas de manière significative la productivité des développeurs et ne préviennent pas l’épuisement professionnel, malgré le battage médiatique qui entoure ces outils.

TechSpot rapporte que l’essor de l’IA générative a conduit à une explosion du développement des assistants d’IA de codage, avec des outils tels que GitHub Copilot qui promettent de révolutionner la façon dont les développeurs travaillent. Ces assistants sont conçus pour accélérer et faciliter le codage, dans l’espoir de stimuler la productivité et de réduire le risque d’épuisement professionnel chez les développeurs. Toutefois, une étude récente menée par Uplevel, une société spécialisée dans l’analyse des paramètres de codage, a révélé que les avantages promis ne se concrétisent pas.

L’étude, qui a suivi environ 800 développeurs sur des périodes de trois mois, a comparé leur production avec et sans l’utilisation de GitHub Copilot. De manière surprenante, les résultats n’ont montré aucune amélioration significative des mesures clés telles que le temps de cycle des demandes d’extraction et le débit pour ceux qui utilisent les assistants de codage IA. Cette constatation contredit les affirmations de GitHub et d’autres partisans des outils de codage par IA, qui ont vanté des gains de productivité massifs.

Matt Hoffman, analyste de données chez Uplevel, explique que l’équipe s’attendait initialement à ce que les développeurs utilisant des outils d’IA écrivent plus de code et introduisent moins de défauts, car les assistants les aideraient à réviser le code avant de le soumettre. Cependant, les résultats de l’étude vont à l’encontre de ces attentes. En effet, les développeurs utilisant Copilot ont introduit 41 % de bogues en plus dans leur code par rapport à ceux qui n’utilisaient pas les outils. En outre, Uplevel n’a trouvé aucune preuve suggérant que les assistants d’intelligence artificielle contribuaient à prévenir l’épuisement des développeurs.

Ces révélations vont à l’encontre d’une étude parrainée par GitHub, qui avait précédemment annoncé une augmentation de 55 % de la vitesse de codage pour les développeurs utilisant Copilot. S’il est possible que les développeurs obtiennent des résultats positifs, comme le montrent les rapports indiquant que près de 30 % des nouveaux codes font appel à l’assistance de l’IA, il est également possible que les codeurs développent une dépendance à l’égard de ces outils et deviennent paresseux.

Sur le terrain, les expériences avec les assistants de codage de l’IA ont été mitigées jusqu’à présent. Ivan Gekht, PDG de la société de logiciels personnalisés Gehtsoft USA, a déclaré à CIO que le code généré par l’IA était difficile à comprendre et à déboguer, et qu’il était parfois plus efficace de le réécrire à partir de zéro. Cette observation est étayée par une étude réalisée l’année dernière, qui a révélé que ChatGPT se trompait dans plus de la moitié des questions de programmation qui lui étaient posées, même si le chatbot s’est depuis amélioré grâce à de nombreuses mises à jour.

yogaesoteric
19 octobre 2024