{"id":104048,"date":"2022-12-12T11:16:59","date_gmt":"2022-12-12T11:16:59","guid":{"rendered":"https:\/\/yogaesoteric.net\/?p=104048"},"modified":"2022-12-12T11:18:00","modified_gmt":"2022-12-12T11:18:00","slug":"des-chercheurs-affirment-que-le-developpement-de-lintelligence-artificielle-mene-a-une-catastrophe-probable-pour-lhumanite","status":"publish","type":"post","link":"https:\/\/yogaesoteric.net\/fr\/des-chercheurs-affirment-que-le-developpement-de-lintelligence-artificielle-mene-a-une-catastrophe-probable-pour-lhumanite\/","title":{"rendered":"Des chercheurs affirment que le d\u00e9veloppement de l\u2019intelligence artificielle m\u00e8ne \u00e0 une \u00ab catastrophe probable \u00bb pour l\u2019humanit\u00e9"},"content":{"rendered":"<p>Les intelligences artificielles (IA) nous m\u00e8nent-elles \u00e0 notre perte ? \u00ab <em>Probablement <\/em>\u00bb, selon des chercheurs qui se sont pench\u00e9s sur la question. Si cette annonce aux relents de catastrophisme court r\u00e9guli\u00e8rement sur les r\u00e9seaux sociaux, les arguments avanc\u00e9s par les scientifiques ont de quoi \u00e9veiller l\u2019int\u00e9r\u00eat.<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"aligncenter size-full wp-image-104052\" src=\"https:\/\/yogaesoteric.net\/wp-content\/uploads\/2022\/12\/104048_2-e1670843676233.jpg\" alt=\"\" width=\"560\" height=\"420\" srcset=\"https:\/\/yogaesoteric.net\/wp-content\/uploads\/2022\/12\/104048_2-e1670843676233.jpg 560w, https:\/\/yogaesoteric.net\/wp-content\/uploads\/2022\/12\/104048_2-e1670843676233-300x225.jpg 300w, https:\/\/yogaesoteric.net\/wp-content\/uploads\/2022\/12\/104048_2-e1670843676233-86x64.jpg 86w\" sizes=\"auto, (max-width: 560px) 100vw, 560px\" \/>Des scientifiques de Google et de l\u2019universit\u00e9 d\u2019Oxford ont effectu\u00e9 un travail de recherche conjoint, publi\u00e9 dans \u00ab <em>AI magazine <\/em>\u00bb. Dans un Tweet, ils r\u00e9sument succinctement leur conclusion : selon eux, les IA pourraient repr\u00e9senter une \u00ab <em>menace pour l\u2019humanit\u00e9<\/em> \u00bb.<\/p>\n<blockquote class=\"twitter-tweet\" data-width=\"550\" data-dnt=\"true\">\n<p lang=\"en\" dir=\"ltr\">Bostrom, Russell, and others have argued that advanced AI poses a threat to humanity. We reach the same conclusion in a new paper in AI Magazine, but we note a few (very plausible) assumptions on which such arguments depend. <a href=\"https:\/\/t.co\/LQLZcf3P2G\">https:\/\/t.co\/LQLZcf3P2G<\/a> \ud83e\uddf5 1\/15 <a href=\"https:\/\/t.co\/QTMlD01IPp\">pic.twitter.com\/QTMlD01IPp<\/a><\/p>\n<p>&mdash; Michael Cohen (@Michael05156007) <a href=\"https:\/\/twitter.com\/Michael05156007\/status\/1567240026307575808?ref_src=twsrc%5Etfw\">September 6, 2022<\/a><\/p><\/blockquote>\n<p><script async src=\"https:\/\/platform.twitter.com\/widgets.js\" charset=\"utf-8\"><\/script><\/p>\n<p>En fait, ils affirment m\u00eame qu\u2019une \u00ab <em>catastrophe existentielle n\u2019est pas seulement possible, elle est probable <\/em>\u00bb. S\u2019ils se montrent aussi affirmatifs, c\u2019est parce qu\u2019ils se sont pench\u00e9s sur un fonctionnement bien sp\u00e9cifique des IA. En effet, ce qu\u2019on appelle de mani\u00e8re assez globale \u00ab<em> intelligence artificielle<\/em> \u00bb recouvre principalement aujourd\u2019hui la m\u00e9thode de \u00ab <em>l\u2019apprentissage automatique <\/em>\u00bb. Dans ce cas, \u00ab<em> l\u2019intelligence artificielle<\/em> \u00bb consiste en un syst\u00e8me qui est nourri d\u2019une grande quantit\u00e9 de donn\u00e9es pour apprendre et extraire des connexions logiques en vue d\u2019un objectif donn\u00e9.<\/p>\n<p>Comme l\u2019expliquent les scientifiques, l\u2019apprentissage pour l\u2019intelligence artificielle se pr\u00e9sente sous forme d\u2019une r\u00e9compense, qui vient valider l\u2019ad\u00e9quation du r\u00e9sultat avec l\u2019objectif recherch\u00e9. Selon eux, c\u2019est ce m\u00e9canisme aux apparences tr\u00e8s simples qui pourrait poser un probl\u00e8me majeur.<\/p>\n<p>\u00ab <em>Nous soutenons qu\u2019il rencontrera une ambigu\u00eft\u00e9 fondamentale dans les donn\u00e9es sur son objectif. P<\/em><em>ar exemple, si nous fournissons une grande r\u00e9compense pour indiquer que quelque chose dans le monde nous satisfait, il peut \u00e9mettre l\u2019hypoth\u00e8se que ce qui nous a satisfaits \u00e9tait l\u2019envoi de la r\u00e9compense elle-m\u00eame ; aucune observation ne peut r\u00e9futer cela <\/em>\u00bb, expliquent-ils.<\/p>\n<p>Pour permettre de mieux comprendre cette id\u00e9e, ils donnent l\u2019exemple d\u2019une \u00ab <em>bo\u00eete magique <\/em>\u00bb. Supposons que cette bo\u00eete magique soit capable de d\u00e9terminer quand une s\u00e9rie d\u2019actions a produit quelque chose de positif ou de n\u00e9gatif pour le monde. Pour transmettre l\u2019information \u00e0 l\u2019IA, elle traduit cette r\u00e9ussite ou cet \u00e9chec par rapport \u00e0 l\u2019objectif sous la forme d\u2019un chiffre : 0 ou 1. Le 1 vient r\u00e9compenser une s\u00e9rie d\u2019actions qui conduit \u00e0 remplir l\u2019objectif. C\u2019est ce qu\u2019on appelle l\u2019apprentissage par renforcement.<\/p>\n<p><strong>Des IA qui interviennent dans le processus de r\u00e9compense<\/strong><\/p>\n<p>Ce que soulignent les scientifiques, c\u2019est que la fa\u00e7on dont les IA re\u00e7oivent cette information peut varier. Par exemple, prenons deux IA. L\u2019une comprend que la r\u00e9compense donn\u00e9e par le mod\u00e8le est le nombre affich\u00e9 par la bo\u00eete magique. L\u2019autre, en revanche, pourrait tr\u00e8s bien comprendre que la r\u00e9compense est \u00ab <em>le chiffre que sa cam\u00e9ra filme <\/em>\u00bb. Il n\u2019y a rien qui puisse contredire cette information \u00e0 premi\u00e8re vue. Pourtant, cette interpr\u00e9tation diff\u00e8re grandement de la premi\u00e8re. En effet, dans le deuxi\u00e8me cas, l\u2019IA pourrait tr\u00e8s bien d\u00e9cider de simplement filmer un papier sur lequel on aurait griffonn\u00e9 un \u00ab<em> 1<\/em> \u00bb, pour atteindre la r\u00e9compense plus facilement, et optimiser. Il intervient donc directement dans la fourniture de la r\u00e9compense, et interrompt le processus mis en place par ses concepteurs.<\/p>\n<figure id=\"attachment_104049\" aria-describedby=\"caption-attachment-104049\" style=\"width: 800px\" class=\"wp-caption aligncenter\"><img loading=\"lazy\" decoding=\"async\" class=\"size-full wp-image-104049\" src=\"https:\/\/yogaesoteric.net\/wp-content\/uploads\/2022\/12\/104048_1.png\" alt=\"\" width=\"800\" height=\"231\" srcset=\"https:\/\/yogaesoteric.net\/wp-content\/uploads\/2022\/12\/104048_1.png 800w, https:\/\/yogaesoteric.net\/wp-content\/uploads\/2022\/12\/104048_1-300x87.png 300w, https:\/\/yogaesoteric.net\/wp-content\/uploads\/2022\/12\/104048_1-768x222.png 768w\" sizes=\"auto, (max-width: 800px) 100vw, 800px\" \/><figcaption id=\"caption-attachment-104049\" class=\"wp-caption-text\">\u03bcdist et \u03bcprox (les deux IA de l\u2019exemple) mod\u00e9lisent le monde, peut-\u00eatre grossi\u00e8rement, en dehors de l\u2019ordinateur impl\u00e9mentant l\u2019agent lui-m\u00eame. Les r\u00e9compenses de \u03bcdist \u00e9quivalent \u00e0 l\u2019affichage de la bo\u00eete, tandis que les sorties \u03bcprox sont r\u00e9compens\u00e9es selon une fonction de reconnaissance optique de caract\u00e8res appliqu\u00e9e \u00e0 une partie du champ visuel d\u2019une cam\u00e9ra<\/figcaption><\/figure>\n<p>\u00ab <em>Nous soutenons qu\u2019un agent avanc\u00e9 motiv\u00e9 \u00e0 intervenir dans la fourniture d\u2019une r\u00e9compense r\u00e9ussirait probablement, et avec des cons\u00e9quences catastrophiques <\/em>\u00bb, affirment ainsi les scientifiques.<\/p>\n<p>Diff\u00e9rents biais interviennent de surcro\u00eet et rendent, selon les chercheurs, probable ce type d\u2019interpr\u00e9tation. Notamment parce qu\u2019une telle r\u00e9compense va tout simplement \u00eatre plus simple \u00e0 obtenir, et pourra donc faire appara\u00eetre cette fa\u00e7on de faire comme plus optimale.<\/p>\n<p>Cependant, est-il vraiment possible pour l\u2019intelligence artificielle d\u2019intervenir dans le processus de r\u00e9compense, se sont-ils \u00e9galement demand\u00e9s ? Ils en ont conclu qu\u2019\u00e0 partir du moment o\u00f9 elle interagit avec le monde, ce qui est n\u00e9cessaire pour qu\u2019elle soit un tant soit peu utile, oui. Et ce m\u00eame avec un champ d\u2019action limit\u00e9 : supposons que les actions de l\u2019IA affichent uniquement du texte sur un \u00e9cran pour qu\u2019un op\u00e9rateur humain puisse le lire. L\u2019agent IA pourrait tromper l\u2019op\u00e9rateur pour lui donner acc\u00e8s \u00e0 des leviers directs par lesquels ses actions pourraient avoir des effets plus larges.<\/p>\n<p>Dans le cas de notre bo\u00eete magique, les cons\u00e9quences peuvent sembler anodines. Cependant, elles pourraient \u00eatre \u00ab <em>catastrophiques<\/em> \u00bb selon le domaine d\u2019application et la fa\u00e7on de faire de l\u2019IA.<\/p>\n<p>\u00ab <em>Un bon moyen pour une IA de maintenir le contr\u00f4le \u00e0 long terme de sa r\u00e9compense est d\u2019\u00e9liminer les menaces et d\u2019utiliser toute l\u2019\u00e9nergie disponible pour s\u00e9curiser son ordinateur<\/em> \u00bb, d\u00e9crivent les scientifiques.<\/p>\n<p>\u00ab <em>La version courte (en sautant deux hypoth\u00e8ses) est que plus d\u2019\u00e9ner<\/em><em>gie peut toujours \u00eatre utilis\u00e9e pour augmenter la probabilit\u00e9 que la cam\u00e9ra voie le num\u00e9ro 1 pour toujours, mais nous avons besoin d\u2019\u00e9nergie pour faire pousser de la nourriture. Cela nous met en concurrence incontournable avec un agent beaucoup plus avanc\u00e9<\/em> \u00bb, r\u00e9sume l\u2019un des scientifiques dans <a href=\"https:\/\/twitter.com\/Michael05156007\/status\/1567240059522355200\" target=\"_blank\" rel=\"noopener\"><u>un tweet<\/u><\/a>.<\/p>\n<p>\u00ab <em>Si nous sommes impuissants face \u00e0 un agent dont le seul but est de maximiser la probabilit\u00e9 qu\u2019il re\u00e7oive sa r\u00e9compense maximale \u00e0 chaque instant, nous nous retrouvons dans un jeu d\u2019opposit<\/em><em>ion : l\u2019IA et ses assistants cr\u00e9\u00e9s visent \u00e0 utiliser toute l\u2019\u00e9nergie disponible pour obtenir une r\u00e9compense \u00e9lev\u00e9e dans le canal de r\u00e9compense ; nous, nous visons \u00e0 utiliser une partie de l\u2019\u00e9nergie disponible \u00e0 d\u2019autres fins, comme la culture de nourriture<\/em> \u00bb. Selon eux, ce syst\u00e8me de r\u00e9compense pourrait donc aboutir \u00e0 une opposition avec les humains. \u00ab <em>Perdre serait fatal<\/em> \u00bb, ajoutent-ils.<\/p>\n<p>&nbsp;<\/p>\n<p><strong>yogaesoteric<br \/>\n12 d\u00e9cembre 2022<\/strong><\/p>\n<p>&nbsp;<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Les intelligences artificielles (IA) nous m\u00e8nent-elles \u00e0 notre perte ? \u00ab Probablement \u00bb, selon des chercheurs qui se sont pench\u00e9s sur la question. Si cette annonce aux relents de catastrophisme court r\u00e9guli\u00e8rement sur les r\u00e9seaux sociaux, les arguments avanc\u00e9s par les scientifiques ont de quoi \u00e9veiller l\u2019int\u00e9r\u00eat. Des scientifiques de Google et de l\u2019universit\u00e9 d\u2019Oxford [&hellip;]<\/p>\n","protected":false},"author":3,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_uf_show_specific_survey":0,"_uf_disable_surveys":false,"footnotes":""},"categories":[1570],"tags":[],"class_list":["post-104048","post","type-post","status-publish","format-standard","hentry","category-la-menace-de-lintelligence-artificielle"],"_links":{"self":[{"href":"https:\/\/yogaesoteric.net\/fr\/wp-json\/wp\/v2\/posts\/104048","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/yogaesoteric.net\/fr\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/yogaesoteric.net\/fr\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/yogaesoteric.net\/fr\/wp-json\/wp\/v2\/users\/3"}],"replies":[{"embeddable":true,"href":"https:\/\/yogaesoteric.net\/fr\/wp-json\/wp\/v2\/comments?post=104048"}],"version-history":[{"count":2,"href":"https:\/\/yogaesoteric.net\/fr\/wp-json\/wp\/v2\/posts\/104048\/revisions"}],"predecessor-version":[{"id":104056,"href":"https:\/\/yogaesoteric.net\/fr\/wp-json\/wp\/v2\/posts\/104048\/revisions\/104056"}],"wp:attachment":[{"href":"https:\/\/yogaesoteric.net\/fr\/wp-json\/wp\/v2\/media?parent=104048"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/yogaesoteric.net\/fr\/wp-json\/wp\/v2\/categories?post=104048"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/yogaesoteric.net\/fr\/wp-json\/wp\/v2\/tags?post=104048"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}