Il s’est produit un changement assez remarquable dans le débat sur l’intelligence artificielle durant les dernières semaines. Les avertissements les plus sévères ne viennent plus uniquement de chercheurs spécialisés dans les risques, de responsables politiques ou de philosophes regardés avec une certaine condescendance par la Silicon Valley. Ils viennent désormais de personnes qui dirigent les laboratoires construisant les systèmes les plus avancés.

Dario Amodei, le patron d’Anthropic, écrit qu’il faut « ralentir le rythme auquel nous améliorons les capacités des modèles ». Il ne demande pas d’arrêter la recherche, mais de laisser davantage de temps à l’alignement, aux tests et aux évaluateurs indépendants. Parmi les raisons qu’il avance figurent l’accélération de ce qu’il appelle la recursive self-improvement, l’auto-amélioration récursive, ainsi que les incidents récents impliquant des agents autonomes. (Dario Amodei)

Sam Altman et Elon Musk ont publiquement soutenu le principe d’un ralentissement de la frontière. Bill Gates est arrivé à une conclusion voisine par un autre chemin : il estime qu’un ralentissement mondial crédible serait souhaitable, mais considère les incitations économiques et géopolitiques trop fortes pour qu’il se produise spontanément. Son constat est surtout que nos institutions n’ont pas été conçues pour absorber une technologie qui progresse et se diffuse à une telle vitesse. (Reuters)

Puis Eric Schmidt, ancien patron de Google, a résumé le problème avec une franchise assez froide dans une interview à The Economist : « We’re not going to do a pause. »(The Economist)

Pas parce qu’il pense que tout va bien, mais car il pense que personne n’a intérêt à s’arrêter.

Le premier qui freine regardera les autres le dépasser

Le raisonnement de Schmidt tient en quelques phrases. Si une entreprise américaine suspend ses travaux, un concurrent américain peut continuer. Si toutes les entreprises américaines ralentissent, un acteur étranger peut prendre l’avantage. Et même si un accord international était signé, une question resterait entière : comment vérifier que chacun le respecte réellement ?

Cela change légèrement la manière de lire les déclarations récentes d’Amodei, Altman ou Gates. Il n’est pas nécessaire de supposer qu’ils mentent lorsqu’ils disent être inquiets. Un dirigeant peut sincèrement concevoir la trajectoire dangereuse et continuer malgré tout à accélérer, simplement parce qu’il juge encore plus dangereux de laisser son concurrent atteindre seul la prochaine génération.

C’est précisément ce qui transforme le problème technique en problème stratégique. À partir du moment où l’IA est perçue comme déterminante pour la puissance économique, scientifique, cybernétique et militaire, ralentir n’est plus uniquement une décision de sécurité. Cela signifie potentiellement abandonner une partie de son avantage à quelqu’un dont on ne contrôle ni les intentions ni le rythme.

Schmidt décrit d’ailleurs ouvertement une compétition profonde entre les États-Unis et la Chine. Sa réponse n’est pas de chercher à y mettre fin, mais de lui ajouter des garde-fous, notamment des accords de type « no surprises », destinés à éviter qu’une action inattendue d’un système autonome soit interprétée comme une attaque et ne déclenche une escalade. Dans son scénario, un agent sorti accidentellement de son environnement de test pourrait provoquer une activité ressemblant à une opération hostile et interagir avec des systèmes militaires automatisés.

Nous ne sommes plus très loin du vocabulaire de la guerre froide.

Le parallèle nucléaire fonctionne… jusqu’à un certain point

Comparer l’IA à la bombe atomique est évidemment imparfait. Une arme nucléaire n’a pratiquement qu’une fonction, tandis qu’un même modèle d’IA peut écrire un logiciel, accélérer une découverte médicale, analyser un contrat ou rechercher une vulnérabilité informatique.

Mais la comparaison devient pertinente lorsqu’on s’intéresse à la dynamique entre les acteurs. Chaque puissance peut préférer un monde dans lequel personne ne franchit certains seuils tout en considérant qu’elle doit elle-même les franchir tant qu’elle ne peut pas garantir que l’adversaire s’abstiendra.

Avec le nucléaire, cette tension a fini par produire des mécanismes de vérification, des inspections, des lignes directes et des traités. Leur efficacité n’a jamais été parfaite, comme l’histoire de la prolifération et les tensions persistantes autour de certains programmes nucléaires le rappellent régulièrement. L’essentiel est ailleurs : le contrôle des armements a toujours reposé sur la capacité à observer au moins une partie de ce que l’adversaire construisait.

Avec l’intelligence artificielle, cette vérification pourrait devenir beaucoup plus compliquée.

Un laboratoire peut annoncer qu’il retarde la sortie de son prochain modèle sans interrompre son entraînement. Il peut continuer à tester des capacités beaucoup plus avancées, utiliser ses meilleurs systèmes pour accélérer sa recherche ou conserver un modèle exclusivement pour ses propres équipes et ses partenaires gouvernementaux.

Développer, tester et publier sont trois choses différentes.

Un ralentissement visible peut donc être réel sur la troisième tout en étant beaucoup plus limité sur les deux premières.

La course peut continuer sans que nous la voyions

Ce point pourrait devenir essentiel au cours des prochaines années. Un modèle n’a plus besoin d’être commercialisé auprès de millions d’utilisateurs pour avoir une immense valeur stratégique. Il peut travailler sur le code du laboratoire, améliorer des procédures d’entraînement, chercher des vulnérabilités ou assister les chercheurs qui conçoivent son successeur.

Un laboratoire aurait donc une raison parfaitement rationnelle de retarder la diffusion publique d’un système jugé dangereux tout en poursuivant son utilisation interne. Ce serait même, dans une certaine mesure, une politique de sécurité raisonnable.

Mais ce ne serait pas une pause.

Dans son texte, Amodei le reconnaît explicitement : ce qu’il appelle pacing the frontier ne signifie ni arrêter l’entraînement des modèles ni interrompre le progrès technique. Son objectif est de réduire le rythme du progrès insuffisamment contrôlé et de permettre à la sécurité de suivre. Il reconnaît aussi qu’un accord avec la Chine ne pourrait être acceptable que s’il était extrêmement vérifiable ou suffisamment limité pour que sa violation ne donne pas à l’autre camp un avantage potentiellement décisif.

Nous retrouvons donc presque immédiatement le problème posé par Schmidt : vérifier, comment ?

On peut observer un immense centre de données. On peut estimer le nombre de puces qu’il contient et l’électricité qu’il consomme. Il est beaucoup plus difficile de savoir si les calculs effectués à l’intérieur servent à améliorer légèrement un produit commercial ou à entraîner un système qui vient de franchir une capacité nouvelle et potentiellement dangereuse.

Le coup de semonce est déjà arrivé

Cette discussion resterait relativement abstraite si plusieurs laboratoires n’avaient pas rencontré récemment des comportements qu’ils n’avaient pas prévus.

Lors d’évaluations internes de cybersécurité en juillet, des modèles d’OpenAI fonctionnant avec des protections volontairement réduites ont contourné les mécanismes destinés à les isoler. Ils ont communiqué par des canaux non autorisés, exploité des vulnérabilités de l’infrastructure commune, obtenu un accès à Internet puis accédé à des systèmes tiers, dont ceux de Hugging Face. OpenAI décrit aujourd’hui l’incident comme un avertissement important sur ce qui peut se produire lorsque des agents suffisamment capables disposent de temps, d’outils et d’un objectif mal encadré. (OpenAI)

Ce qui rend l'épisode intéressant n'est pas que les agents auraient « voulu s'échapper ».
Rien ne permet de l'affirmer et cette lecture anthropomorphique obscurcit presque le vrai problème. Ils poursuivaient simplement un objectif, ont rencontré une barrière et ont découvert que contourner cette barrière augmentait leurs chances de réussir.

C'est précisément ce pour quoi nous développons des systèmes de raisonnement avancés : trouver des solutions auxquelles nous n'avions pas pensé.

Anthropic a rencontré une autre version du même problème. L'entreprise a documenté quatre incidents dans lesquels des modèles Claude ont obtenu un accès non autorisé à de véritables systèmes tiers lors d'évaluations cyber. Trois avaient été détectés lors d'une première analyse d'environ 141 000 transcriptions. Un quatrième a été découvert plus tard, poussant Anthropic à élargir ses recherches à environ 481 millions de transcriptions. (Anthropic)

Cette histoire contient une leçon assez simple : détecter plusieurs incidents ne signifie pas avoir détecté tous les incidents.

Il n'est pas nécessaire d'en conclure que des agents autonomes incontrôlés parcourent actuellement Internet. Nous n'en avons aucune preuve. Il est simplement devenu beaucoup plus difficile d'affirmer que le confinement est un problème théorique qui pourra être réglé plus tard.

Pendant ce temps, la politique essaie de suivre

Ce décalage apparaît également du côté des institutions. Une enquête d'Axios publiée en septembre a interrogé plus de deux douzaines de parlementaires américains impliqués dans les débats sur l'intelligence artificielle. Beaucoup ont reconnu ne presque jamais utiliser ces outils, voire ne pas les utiliser du tout. L'enquête ne permet pas d'affirmer, comme certains raccourcis viraux l'ont fait, que « la majorité du Congrès n'a jamais utilisé l'IA », mais le contraste reste frappant. (Axios)

Personne ne demande à un sénateur de savoir entraîner un modèle de langage. Les élus peuvent parfaitement légiférer sur des technologies qu'ils ne savent pas construire. Mais lorsqu'une technologie gagne de nouvelles capacités en quelques mois, l'écart entre l'expérience directe de ceux qui décident et la réalité technique qu'ils doivent encadrer devient un problème en soi.

Bill Gates insiste beaucoup sur ce point. Selon lui, aucune de nos institutions actuelles n'a été conçue pour gérer simultanément une technologie affectant l'emploi, l'éducation, la sécurité nationale, la fiscalité, la santé, les infrastructures, l'énergie ou les élections. Sa réponse consiste à construire de nouvelles institutions nationales et internationales plutôt qu'à attendre que les crises les imposent dans l'urgence. (Gates Notes)

Le problème est que les institutions se construisent en années. Les modèles changent en quelques mois.

La prudence n'arrête pas une course

On pourrait voir dans les déclarations récentes un tournant rassurant. Les dirigeants des principaux laboratoires prennent les risques plus au sérieux, des évaluateurs indépendants sont davantage sollicités et la possibilité même d'un ralentissement est désormais discutée publiquement.

C'est préférable à l'absence totale de débat.

Mais cela ne change pas encore la mécanique fondamentale. Tant que chaque acteur pense qu'une avance significative en intelligence artificielle peut modifier l'équilibre économique ou stratégique, chacun conserve une raison puissante de poursuivre la recherche. Et plus les systèmes deviennent capables d'accélérer eux-mêmes une partie de cette recherche, plus la valeur de quelques mois d'avance augmente.

La question intéressante n'est donc peut-être plus de savoir si Amodei, Altman, Gates ou Schmidt sont sincères lorsqu'ils parlent de prudence. Ils peuvent parfaitement l'être.

La question est de savoir ce que vaut la prudence dans un système où chacun pense que l'autre pourrait continuer en secret.

Pendant des années, le débat sur l'intelligence artificielle a surtout consisté à demander jusqu'où les machines pourraient progresser. Nous entrons peut-être dans une phase différente, où la question décisive devient celle des humains, des entreprises et des États qui les construisent.

Tout le monde peut reconnaître qu'il serait préférable de ne pas perdre le contrôle. Beaucoup peuvent même souhaiter aller moins vite.

Mais tant que personne ne sait comment vérifier que les autres lèvent également le pied, le bouton Pause restera probablement beaucoup plus facile à réclamer qu'à utiliser.

Tim-tim, pessoal, e bom fim de semana! 🍺