Topos : les maths au secours de l’IA

Jean-Claude Belfiore lâche la phrase avec un naturel désarmant. “Les topos de Grothendieck pourraient amener l’IA à franchir la prochaine grande étape de son développement, celle de l’accès au sens.” Avouons-le : le propos est pour le moins énigmatique…

L’IA dont parle le directeur du laboratoire des technologies sans fil avancées de Huawei France, la branche hexagonale du mastodonte chinois des télécoms, c’est la nouvelle intelligence artificielle, celle constituée par les célèbres réseaux de neurones à apprentissage profond, ou deep learning, qui déferle sur le monde depuis une dizaine d’années – et dont ChatGPT est le dernier avatar.

Mais dans la phrase de l’ingénieur, il y a aussi l’expression “topos de Grothendieck”, et là, c’est un peu plus compliqué. Il s’agit en effet d’un des concepts les plus profonds d’un des domaines les plus abstraits des mathématiques. Son inventeur – ou son découvreur, selon le point de vue – est Alexandre Grothendieck, considéré par beaucoup comme le plus grand génie des mathématiques du XX^e siècle, mort seul, en 2014, dans la petite ville de Saint-Lizier, en Ariège. “Ce ne sont pas des mathématiques faciles, même pour un mathématicien”, prévient l’ingénieur. 

Folle audace

Avis aux âmes sensibles : il est donc ici question de marier la plus disruptive des technologies modernes avec le plus abstrait des concepts mathématiques pour injecter dans la machine plus que la connaissance, le sens des choses !

Sachant que cette audace digne de Prométhée ne vient pas de n’importe qui. Jean-Claude Belfiore a embarqué dans cette expérimentation hors norme Laurent Lafforgue, une sommité mondiale en géométrie algébrique, grand connaisseur de Grothendieck et des topos, qui a reçu la médaille Fields (l’équivalent du prix Nobel en maths) en 2002, et Daniel Bennequin, réputé en mathématiques pour ses travaux en géométrie sur les variétés différentielles. 

Comment une notion mathématique aussi haut perchée que le topos pourrait-elle s’incarner dans le silicium d’une intelligence artificielle ? Si cela se confirmait, ce serait l’exemple le plus extrême de la fameuse “déraisonnable efficacité des mathématiques” pointée en 1960 par Eugène Wigner, lauréat du prix Nobel de physique. “Comment se fait-il que les mathématiques, étant après tout un produit de la pensée humaine qui est indépendante de l’expérience, soient si admirablement adaptées aux objets de la réalité ?”, s’étonnait aussi Albert Einstein quarante ans plus tôt.

En mode perroquet

Pour bien saisir ce vertige techno-épistémologique, il faut commencer par mieux cerner le sens de ce “sens”, que ce petit groupe de scientifiques veut offrir aux IA via ces énigmatiques topos. Les IA sont des programmes, des algorithmes qui simulent des millions de neurones virtuels inter­connectés, organisés en plusieurs couches, à la manière des couches cérébrales du système visuel des mammifères. Chaque neurone est un sous-programme autonome qui reçoit des informations des neurones en amont et en envoie en aval – des informations réduites à quelques bits, assimilés à un signal nerveux. 

On cherche des modèles mathématiques qui décriraient le comportement des réseaux artificiels au niveau de l’architecture du réseau, de sa connectivité

Reconnaissance des images, des langues, des maladies, traitement des big data pour anticiper les phénomènes, production d’images, de textes, découverte de nouvelles molécules, de nouveaux matériaux… cette structure des réseaux de neurones artificiels a révolutionné l’aide automatique pour tout un tas de disciplines et de secteurs. Mais tout puissant qu’il soit, ce type de système dit à « apprentissage profond » se heurte à un mur. “Le problème est son incapacité à généraliser, démarre l’ingénieur. Le réseau apprend sur des données. Une fois l’entraînement fini, on le confronte à d’autres données, jamais vues, en espérant qu’elles soient assez proches de celles d’entraînement pour qu’il puisse les reconnaître. Mais voilà : de petites variations imperceptibles pour nous peuvent le désorienter. Pourquoi ? Parce qu’il ne saisit pas le concept général derrière la profusion d’exemples. Il apprend en mode ‘perroquet‘.” 

Par exemple, si une IA est entraînée à reconnaître un chat avec des images où le félin apparaît toujours en bas, il se peut qu’elle soit incapable de le reconnaître en haut d’une image – et, au fond, même avec un bon entraînement, cette IA ne saura jamais ce qu’est un chat… Cette faille du sens est exploitée par les captchas qui, pour garantir qu’on n’est pas un “robot”, demandent à l’internaute de cliquer sur les photos de ponts ou de bus, des images floues, partielles ou complexes : si l’IA pouvait savoir ce qu’est un pont ou un bus, comme nous, ce test serait inopérant.

Au-delà de l’intuition

En somme, la “prochaine grande étape” dont parle Jean-Claude Belfiore serait la conception d’une IA capable de saisir le concept de chat, de pont, de bus à un niveau d’abstraction dépassant la somme statistique de toutes les images qu’il en a vues. Vaste programme.

Et c’est là qu’arrivent les maths. “Les mathématiques sous-jacentes au comportement des réseaux de neurones sont la pierre angulaire de la recherche, souligne Guillaume Lajoie, à la tête du Neuro-AI Computations Research Group de l’université de Montréal. On cherche une représentation mathématique qui réussirait à généraliser, à capter des invariants.” Par exemple, un réseau de neurones classique ne comprend pas qu’un objet solide reste le même quand il se déplace. “C’est l’une des questions qu’on se pose aujourd’hui : comment décrire mathématiquement, et comment implémenter dans un réseau l’identité d’un objet en mouvement ?”

Panthéon mathématique

Une décennie à manipuler les réseaux de neurones a permis aux scientifiques de comprendre que cet accès au sens, cette sémantique, se joue au niveau de la manière dont sont organisés les neurones et leurs connexions. “On cherche des modèles mathématiques qui décriraient le comportement des réseaux artificiels, non pas au niveau du neurone mais à celui de l’architecture du réseau, de sa connectivité”, appuie Guillaume Lajoie. C’est d’ailleurs grâce à leur architecture particulière qu’un certain type de réseau, les réseaux convolutifs, est déjà capable de réaliser en partie une généralisation : ils “comprennent” qu’un objet est toujours le même quand il se déplace. Cela peut sembler basique, mais c’est déjà un accès à l’identité d’un objet solide. 

C’est une idée qui semble très intéressante, innovante, mais je ne peux pas juger leur travail en IA

Plusieurs modèles mathématiques sont explorés : la théorie des systèmes dynamiques, les modèles bayésiens, les graphes causaux avec dépendances statistiques. Guillaume Lajoie est prudent : “Pour l’heure, on préfère parler d’outils ponctuels plutôt que d’un modèle mathématique unique et universel pour les réseaux artificiels même si, peut-être, ces outils formeront un jour les éléments de base d’une théorie complète.” Cette prudence, Jean-Claude ­Belfiore la balaye d’un revers de la main. “Je suis persuadé que les topos de Grothendieck vont nous permettre d’aller plus loin… ”

“Merveilleuse entité”

Topos : le concept occupe une place de choix dans le panthéon mathématique. Alain Connes, pointure mondiale de la géométrie non commutative, médaille Fields en 1982, fait les présentations : “Les topos de Grothendieck sont l’aboutissement d’un long processus d’abstraction de la notion intuitive d’espace liée à notre représentation du monde réel.”

Dans les années 1950, pour pouvoir répondre à des défis en théorie des nombres lancés notamment par le mathématicien André Weil, Alexandre Grothendieck cherche un moyen d’élargir le concept d’espace bien au-delà de l’intuition. Peut-on voir l’ensemble des nombres entiers comme un espace géométrique alors qu’il n’est constitué que de points isolés (1, 2, 3…) ? Comment y définir le concept de trajet, de distance ? Plus généralement, qu’est-ce qu’un espace a minima ? Grothendieck, aidé de ses collaborateurs, y a répondu de la manière la plus générale, refondant la géométrie algébrique. Et tout en haut, il a placé les topos, “cette merveilleuse entité”, s’émeut Alain Connes. 

Sans trop se perdre

Grothendieck voit dans ses topos l’aboutissement de son travail herculéen, la quintessence de l’espace, son aleph, son oméga. Le concept, écrit-il, “englobe […] aussi bien les traditionnels espaces […] incarnant le monde de la grandeur continue, que les (soi-disant) ‘espaces’ (ou ‘variétés’) des géomètres algébristes abstraits impénitents, ainsi que d’innombrables autres types de structures, qui jusque-là avaient semblé rivées irrémédiablement au ‘monde arithmétique’ des agrégats ‘discontinus’ ou ’discrets’.”

Ce que l’on peut dire, sans trop se perdre, c’est que les topos permettent de transporter ou traduire les propriétés géométriques d’un espace abstrait et impossible à imaginer, vers un autre univers beaucoup plus familier pour un mathématicien, celui des ensembles. Ils encodent les informations essentielles de cet espace sous la forme de relations variables entre différents ensembles. “La connaissance de cet univers des ensembles variables renseigne sur la nature profonde de l’espace de départ, peut-être mieux que l’observation directe de cet espace”, ose Alain Connes. Or voilà : un réseau de neurones artificiels peut aussi être vu comme un espace, au sens élargi de Grothendieck.

Inattendu, spéculatif

D’où l’idée : et si le topos permettait de maîtriser les propriétés structurelles des réseaux de neurones artificiels ? Il est humainement impossible de comprendre le traitement de l’information qui s’y déploie, mais avec les topos, les informaticiens pourraient disposer d’une traduction intuitive de la manière dont s’organise l’information dans cet espace discontinu, fait d’unités séparées. Bref, de se représenter comment « pense » un tel réseau. Voire de structurer le réseau de neurones selon un topos a priori, de manière à lui imprimer des sémantiques adaptées à la tâche à laquelle il est destiné.

Ne le cachons pas, cela reste flou. “Nous sommes à peine en train de démarrer”, reconnaît Jean-Claude Belfiore – Laurent Lafforgue et Daniel Bennequin n’ont pas souhaité s’exprimer. En dehors du groupe, il n’y a pas non plus beaucoup d’informations techniques à pêcher. “La combinaison des topos et du machine learning est plutôt inattendue”, commente Yann Ollivier, mathématicien du laboratoire d’intelligence artificielle de Facebook à Paris. “C’est une idée qui semble très intéressante, innovante. Les mathématiciens du groupe jouissent d’un immense prestige… Mais je ne peux pas juger leur travail en IA”, répond de son côté Thierry Coquand, de l’université de Göteborg, en Suède, cocréateur du programme Coq, largement utilisé dans le monde qui assiste les mathématiciens dans leurs démonstrations.

Problématique

Et, ne le cachons pas non plus, cela reste très spéculatif. “J’ai assisté à une séance du séminaire que Lafforgue a organisé à Huawei pour des informaticiens. Son exposé sur les topos était brillant, mais je n’ai pas vu le lien avec les réseaux de neurones”, raconte Pierre-Louis Curien, directeur de recherche émérite au CNRS, qui a, dans les années 1980, introduit dans le langage de programmation la théorie des catégories, à laquelle appartiennent les topos de Grothendieck. David Spivak, du Massachusetts Institute of Technology, spécialiste mondial de l’utilisation de la géométrie algébrique en informatique, dit, lui, ne pas beaucoup croire en “l’approche de l’équipe de Belfiore”. Quand d’autres, en off, durcissent le propos : “C’est problématique.”

Car Huawei n’a pas bonne presse, même dans le monde de la recherche. “Nous demandons aux chercheurs de ne pas participer aux activités de recherche de Huawei à Paris”, clamait le 18 mai 2021 une tribune signée par des mathématiciens et publiée dans Le Monde. Ils soupçonnent l’entreprise, réputée être en lien étroit avec le Parti communiste chinois, et écartée du marché de la 5G dans plusieurs pays pour risque d’espionnage (dont la France et les États-Unis), de vouloir seulement redorer son blason par l’embauche de noms prestigieux. 

Au cours de l’enquête, la gêne s’est installée. Mais l’hypothèse est là. Le vertige reste : et si le plus abstrait des concepts mathématiques permettait de rendre l’IA encore plus puissante ?