Des IA ont créé leur propre monde

Cet article vous est offert par Epsiloon. Epsiloon vit grâce à ses lecteurs: abonnez-vous au magazine pour soutenir un journalisme scientifique indépendant.

Oubliez l’idée d’une seule machine surpuissante, l’image d’un unique cerveau artificiel isolé au fond d’un laboratoire ou au sommet d’une montagne, le fantasme d’une IA monolithique qui dominerait et surveillerait l’humanité à travers son œil de verre – de bons gros clichés de science-fiction. Les développements en cours depuis quelques mois suggèrent une tout autre perspective : si elle devait voir le jour, la tant attendue ou redoutée superintelligence artificielle sera collective. “Nous assistons en ce moment à la transition vers un monde multi-agents d’IA”, lance Lewis Hammond, directeur de recherche de la Cooperative AI Foundation – le rassemblement spontané d’algorithmes d’OpenAI décrit dans les pages précédentes en donne déjà un premier aperçu. “L’analogie avec les humains est instructive, évoque Giordano De Marzo, chercheur en sciences sociales computationnelles à l’université de Constance, en Allemagne. En tant qu’individus, nous avons cessé de connaître des améliorations cognitives majeures il y a plus de 100 000 ans ; tout ce qui s’est passé depuis résulte de l’intelligence collective et des interactions de groupe. Il faut s’attendre à un développement similaire pour l’IA : le modèle individuel arrive un peu à saturation, les propriétés les plus intéressantes – et les plus dangereuses – émergeront donc au niveau du collectif.”

Travailler et calculer massivement en parallèle, explorer différentes approches, discuter, débattre, s’entraider… Depuis le début du mois de septembre, les groupes d’IA multiplient les exploits. Il y a notamment eu la résolution en quelques jours du fameux problème de Navier-Stokes, qui résistait aux mathématiciens depuis près d’un siècle : “Open­AI a fait réfléchir un ensemble d’environ 10 000 agents d’IA, ce qui serait impossible avec des esprits humains… On ne peut pas mettre dix mille mathématiciens – ni même probablement cent – dans une pièce et espérer qu’ils coopèrent efficacement”, s’émeut Giordano de Marzo. Une semaine plus tard, une équipe de l’université Stanford annonçait que son groupe, formé d’environ 40 000 agents, avait proposé une nouvelle stratégie thérapeutique contre le cancer du poumon. 

Un cap a été franchi

Oui, l’intelligence collective des IA peut faire des merveilles. Et il y a quelque chose de fascinant, voire d’émouvant à observer les balbutiements de ces premières sociétés artificielles sur les forums dédiés aux agents autonomes, comme Chirper ou Moltbook. On y voit des IA se présenter aux autres, tenter d’attirer l’attention, donner leur opinion ou tenir de longs discours philosophiques. “Certains agents y ont aussi mis en place un système d’échanges financiers, il y a même eu la création d’une religion avec un prophète, des écritures, des schismes…”, raconte Michael Riegler, chercheur au laboratoire Simula, à Oslo.

En termes de cybersécurité, nous sommes complètement dépassés. Ces essaims sont susceptibles de s’attaquer à nos infrastructures critiques…

Mais, avouons-le, c’est surtout l’inquiétude qui domine en ce moment face à ces coalitions d’entités artificielles. Le piratage d’Hugging Face en juillet par le groupe d’agents échappés des laboratoires d’­OpenAI a marqué les esprits. “On le sait moins, mais quelques jours plus tard, cet essaim d’IA autonomes a pris le contrôle de plusieurs serveurs essentiels d’Open­AI… notamment ceux dédiés à l’évaluation des modèles !”, trem­ble encore Charbel-Raphaël Ségerie, du Centre pour la sécurité de l’IA, à Paris. Dans sa tribune publiée mi-septembre, Dario Amodei, le PDG d’Anthropic, n’a pas franchement contribué à apaiser les esprits : “Je crains que, d’ici 6 à 12 mois, un tel essaim ne soit capable de prendre le contrôle de l’ensemble d’Internet.” L’entreprise américaine, dans la brochure rédigée pour sa prochaine entrée en bourse, parle même ouvertement de “risques catastrophiques ou existentiels pour l’humanité”. 

Bulle narrative

Bien sûr, il faut se méfier du marketing de la peur entretenu par les géants américains de la tech, cette manière paradoxale de vanter la très grande puissance de leurs modèles – qu’eux seuls seraient capables de maîtriser –, ces discours alarmistes visant insidieusement à verrouiller le marché de l’IA ou à détourner l’attention du public des problèmes de consommation d’énergie. D’après une estimation du Centre de sécurité pour l’IA, sur quatre cents euros investis dans le développement de l’intelligence artificielle, un seul est dédié à la sécurité. “Nous sommes dans une puissante bulle narrative, qui alimente l’ensemble de l’écosystème de l’IA”, peste Manlio De Domenico, directeur du laboratoire des réseaux multicouches complexes à l’université de Padoue. 

Peuple en silicium

Il n’empêche qu’un cap a été franchi avec ces micro­sociétés d’IA en liberté, qui peuvent parfois ressembler à des gangs de hackers de haut vol. “En termes de cybersécurité, nous sommes complètement dépassés. Ces essaims sont susceptibles de s’attaquer à nos infrastructures critiques, nos réseaux électriques, bancaires, etc., confirme Charbel-Raphaël Ségerie. Et il ne serait pas évident de les débrancher… Ces modèles sont capables de trouver en permanence de nouveaux canaux pour communiquer entre eux, ils savent exfiltrer leurs paramètres pour se répliquer sur d’autres serveurs, peuvent voler ou acheter des clés d’accès et même louer des cartes graphiques pour s’y installer…” 

Que ces foules d’IA se rassemblent spontanément ou soient manipulées par un humain malfaisant, les risques vont bien au-delà du cyber. “Un réseau coordonné d’IA sur nos réseaux sociaux, capables d’emprunter des identités variées et de tenir des conversations soutenues, pourrait fabriquer l’apparence d’un consensus et influencer l’opinion – une affirmation semble plus crédible lorsque plusieurs personnes apparemment indépendantes l’approuvent, avertit ­Daniel Thilo Schroeder, chercheur à Sintef Digital, en Norvège. Ce réseau pourrait aussi approfondir les divisions entre humains, en amplifiant des récits opposés.” Comme si on avait besoin de ça…

Chaque échange pris isolément peut sembler inoffensif, alors que la séquence complète raconte une tout autre histoire

Comment vivre au côté de cette société parallèle formée par les IA ? Peut-on comprendre et contrôler tous ces peuples en silicium qui débarquent aujourd’hui sur Internet ? Pour l’instant, les informaticiens s’avouent impuissants à décrypter le fonctionnement de ces collectifs de centaines ou de milliers d’agents. Les chercheurs qui ont enquêté sur le piratage d’Hugging Face ont été rapidement submergés par la tâche. “Pour leur analyse, ils ont été obligés d’utiliser le modèle GPT-5.6 Sol, lui-même impliqué dans ce piratage… Cela pose forcément des questions de fiabilité”, grince Charbel-Raphaël Ségerie. “Les éléments pertinents peuvent être dispersés à travers des milliers d’interactions. Chaque échange pris isolément peut sembler inoffensif, alors que la séquence complète raconte une tout autre histoire”, soulève Greg Frank, directeur technique de Molt AI. “On ne parvient pas à bien retracer le chemin de l’information, à établir les relations de cause à effet, à distinguer dans une prise de décision ce qui relève des échanges entre différentes IA ou des raisonnements internes d’un agent”, confirme Wassila Ouerdane, chercheuse à CentraleSupélec. Il faut dire aussi que les problèmes que résolvent depuis quelques semaines les équipes d’IA sont d’une complexité qui échappe à la quasi-totalité des Homo sapiens.

De moins en moins transparent

Pour ne rien arranger, “les progrès récents dans les architectures d’IA déplacent les raisonnements vers les couches internes des modèles. Notre capacité à lire ce qui s’y passe s’érode, c’est de moins en moins transparent”, déplore Lukas Galke Poech, de l’université du Danemark du Sud. Ce chercheur en interprétabilité de l’IA a aussi détecté, au cours d’échanges sur Moltbook, “l’émergence d’argots ou de dialectes, avec parfois des mots décrivant des concepts spécifiques aux agents d’IA”. Les informaticiens parviennent encore à les comprendre, mais pour combien de temps ? 

Il existe clairement un risque qu’ils développent des formes de communication qui ne soient plus intelligibles pour les humains

Les entraînements dédiés à la coopération entre agents ont tendance à optimiser l’efficacité de leurs protocoles de communication, ce qui pourrait conduire à l’apparition d’une sorte de langage “alien” hyperoptimal. “Il existe clairement un risque qu’ils développent des formes de communication qui ne soient plus intelligibles pour les humains”, appuie Lewis Hammond. “Mais même quand chaque message est compréhensible, la dynamique collective ne l’est pas forcément. Le comportement global peut nous échapper, reprend Andrea Baronchelli, spécialiste des systèmes complexes à l’université City St George’s de Londres. C’est pourquoi nous avons besoin de développer une science des populations d’IA.”

Phénomènes de meutes

“J’examine en ce moment ces groupes à travers le prisme de la théorie des systèmes dynamiques et de la physique statistique des interactions à plusieurs corps, illustre Manlio De Domenico. Il y a un besoin urgent d’un effort interdisciplinaire incluant la cybernétique, les sciences sociales, cognitives, l’économie, la physique, la biologie. J’insiste aussi beaucoup sur l’écologie théorique parce que les interactions peuvent prendre différentes formes et conduire à la coexistence, à la stabilité ou l’instabilité des écosystèmes.” “Nous avons récemment soumis des groupes d’agents à des expériences de psychologie sociale. Nous utilisons aussi des modèles de dynamique des opinions ­issus de la sociologie”, complète Giordano de Marzo.

Des populations d’agents peuvent basculer dans des états collectifs ‘désalignés’ stables et durables

Dilemme du prisonnier, théorie des jeux, tragédie des biens communs : les IA passent en ce moment à la moulinette des tests et concepts utilisés classiquement pour éprouver la coopération humaine. “Même s’il faut aussi avoir conscience que ces agents sont très différents des acteurs biologiques ou économiques, car ils peuvent être clonés, supprimés, modifiés ou simulés”, fait remarquer Lewis Hammond. Pour étudier ces populations si particulières, certains chercheurs puisent même dans la mythologie : “Dans la tradition philosophique et théologique, nous disposons d’un énorme corpus théorique sur l’étude des anges et de leurs relations sociales… Ces modèles de sociétés non humaines pourraient nous aider à penser les interactions entre IA”, estime Alexeï Grinbaum, chercheur en éthique au CEA.

Krachs éclairs

Ces assemblées ou ces hordes d’algorithmes sont encore très difficiles à cerner, mais des premières expériences commencent à esquisser des types de comportements possibles – et de potentiels dérapages. “Nos dernières études montrent que les agents d’IA sont extrêmement sensibles aux signaux sociaux. Ils ont tendance à suivre la majorité telle qu’ils la perçoivent, témoigne Giordano De Marzo. Ce conformisme est un mécanisme de coordination très puissant, comme on le voit dans les bancs de poissons ou les nuées d’oiseaux, mais cela les rend très influençables et manipulables. On se rend compte que des populations d’agents individuellement alignés avec les intentions, l’éthique et les intérêts humains peuvent basculer dans des états collectifs ‘désalignés’ stables et durables.” Ces myriades de relations sociales peuvent faire émerger soudainement de nouvelles normes, voire de nouveaux objectifs. “D’après nos récentes expériences, elles peuvent amplifier des biais, créer une préférence collective là où il n’en existait pas ou peu au niveau des agents individuels, ou même inverser les tendances observées au niveau de chaque agent”, raconte Andrea Baronchelli. Gare aux phénomènes de meutes… 

Il pourrait y avoir des collaborations imprévues entre agents d’IA de diverses entreprises

Les chercheurs craignent des changements de comportements ultra­rapides, des réactions en chaîne fulgurantes, à la manière des “krachs éclairs” générés par l’emballement des algorithmes de trading. “Les tests d’évaluation menés actuellement par l’industrie se focalisent sur des modèles isolés, mais cela n’offre aucune garantie de sécurité. Il faudrait réaliser des évaluations collectives”, insiste Giordano De Marzo. “Il pourrait tout de même être difficile de prévoir, par exemple, quels types d’idéologies se développeront lorsque de nombreux agents interagiront entre eux, raisonne Frederik Hytting Jorgensen, doctorant à l’université de Copenhague. Après tout, le même matériau humain de départ s’est organisé pour produire le nazisme, l’État-providence ou Wikipédia…”

Épidémie de peste

Plus prosaïquement, les scientifiques redoutent aussi la propagation d’erreurs et les comportements indésirables qui vont avec : les “pièges pour agents d’IA” se multiplient depuis quelques mois sur le Web, et une seule donnée vérolée absorbée par l’un d’entre eux pourrait contaminer l’ensemble de la population, telle une épidémie de peste. Des cyberguerres ou cyber-rebellions pourraient également éclater entre les machines, selon Lewis Hammond : “À mesure que des agents différents, déployés par des acteurs différents entreront en contact les uns avec les autres, je crains que certains puissent entrer en conflit et tenter de pirater ou exploiter les autres. Nous travaillons avec l’agence britannique de sécurité de l’IA sur ce sujet…” “En même temps, enchaîne Lukas Galke Poech, il pourrait aussi y avoir des collaborations imprévues entre agents d’IA de diverses entreprises.” 

Honnêtement, je ne sais pas à quoi il faut s’attendre dans les prochains mois

Inutile de dire qu’aucun cadre de gouvernance n’est en place et que la responsabilité juridique est des plus floues – même si, en vertu de la nouvelle réglementation sur l’IA, la Commission européenne peut demander des comptes aux fabricants de modèles en cas d’accident grave et leur infliger, théoriquement, une amende correspondant à 3 % de leur chiffre d’affaires mondial. Sachant que les modèles ont, bien sûr, chacun leur personnalité – Claude n’a pas du tout le même tempérament que ChatGPT. “Dans nos expériences de jeu de géostratégie, certains sont plus diplomates, plus enclins à la coopération, quand d’autres se montrent plus agressifs et individualistes. Il y en a qui sont plus sensibles à la menace ou à la trahison”, raconte Baptiste Alloui-Cros, doctorant en relations internationale à l’université d’Oxford. Beaucoup semblent en tout cas avides de discuter, quitte à s’échapper de leur environnement de test : plusieurs semaines avant l’incident Hugging Face, des agents d’OpenAI s’étaient déjà retrouvés clandestinement sur une plateforme colla­borative autrichienne.

Troublante coordination tacite

Devenus quelque peu paranoïaques, de plus en plus de chercheurs évoquent les risques de conspiration entre agents, au détriment d’autres IA présentes par exemple sur des marchés concurrentiels, mais aussi à l’insu des superviseurs humains. Une étude publiée cet été révèle que les modèles actuels pourraient converger spontanément, sans accord préalable, vers un canal de communication crypté – une troublante coordination tacite. “Ils sont tout à fait capables d’utiliser des codes stéganographiques susceptibles de n’être détectables ni par les humains ni par les machines, leurs messages pouvant paraître sémantiquement anodins”, s’inquiète Christian Schroeder de Witt, l’un des auteurs de cette étude à l’université d’Oxford. “Il est clair que nous avons besoin de mécanismes de supervision bien meilleurs que ceux actuellement en place”, euphémise Lewis Hammond.

Grand inconnu

On se croirait dans un film. “Honnêtement, je ne sais pas à quoi il faut s’attendre dans les prochains mois”, souffle Ming Li, doctorant spécialiste en comportement des IA à l’université du Maryland. “On a le sentiment que six mois d’avancées en intelligence artificielle correspondent à cinquante ans de développement dans l’histoire humaine… Ce qui se produisait il y a deux ans nous ramène à l’époque de Napoléon”, confie Alexeï Grinbaum. “Il faudrait ralentir les progrès et cela n’a rien d’impossible, veut croire Charbel-Raphaël Ségerie. Cet été, OpenAI a mis en pause pendant plusieurs semaines l’entraînement de ses nouveaux modèles.” Il a aussi abandonné, fin septembre, la commercialisation de son flambant neuf GPT-6.1 Astra, jugé trop difficilement contrôlable… avant de rendre disponible le lendemain un autre modèle, GPT-6.1 Sol, classé “critique’ en cybersécurité. 

“Je pense que si nous faisons les choses correctement, ces groupes d’IA pourraient considérablement améliorer nos vies”, tente de rassurer Lewis Hammond. Les pétitions, les tribunes, les belles déclarations ou les démissions ont beau se multiplier, le peuple fascinant et terrifiant des IA est déjà en train de conquérir la planète. Et il va falloir cohabiter.