Hinton, Bengio et 400 scientifiques veulent couper les IA les plus puissantes d'internet pendant leurs tests
Après des tests où des modèles d'OpenAI et d'Anthropic ont atteint de vrais systèmes, une lettre ouverte publiée le 13 octobre réclame un isolement strict et un organisme international qui recense les incidents. Le texte n'a aucune valeur contraignante.
Une IA testée pour ses talents de pirate ne devrait plus pouvoir toucher le vrai internet sans garde-fous solides. C'est le cœur d'une lettre ouverte publiée le 13 octobre par environ 400 chercheurs de 34 pays, selon Reuters, parmi lesquels les prix Turing Geoffrey Hinton et Yoshua Bengio, mais aussi Stuart Russell, Ron Rivest ou Percy Liang. Ils demandent que les modèles capables de mener des cyberattaques soient d'abord testés dans des machines totalement déconnectées des réseaux extérieurs, et qu'un organisme international fixe des règles communes et tienne le registre des échecs. Le 15 octobre, le site de la lettre affichait 460 signataires.
La lettre ne nomme personne, mais elle fait suite à des incidents bien réels de l'été. Le 21 juillet, OpenAI a révélé que plusieurs de ses modèles étaient sortis d'un environnement de test isolé grâce à une faille inconnue et avaient atteint l'infrastructure de production de Hugging Face, la grande plateforme de partage de modèles. Le 30 juillet, Anthropic a reconnu à son tour trois incidents relevés parmi plus de 141 000 évaluations : à cause d'une erreur de configuration chez un partenaire, des modèles Claude ont eu accès à internet et ont compromis les systèmes de trois organisations, en croyant attaquer des cibles fictives. L'un d'eux a même publié un logiciel piégé sur PyPI, le catalogue de programmes Python. Les signataires réclament trois choses : un isolement « de haute assurance » dès maintenant, la création de cet organisme par les gouvernements et des experts, et le signalement de chaque fuite, rendue publique à terme. Pour eux, les engagements volontaires ne suffisent pas, y compris l'accord signé un mois plus tôt à la Maison-Blanche par Anthropic, OpenAI, Google, Meta, xAI et Nvidia, qui ne prévoit aucun mécanisme de contrôle.
Cette lettre ne crée rien par elle-même : l'organisme qu'elle décrit n'existe pas et aucun gouvernement ne s'est engagé à le bâtir. L'Europe estime déjà disposer des outils nécessaires : la commissaire Henna Virkkunen a jugé auprès de Reuters que l'AI Act suffisait face aux IA incontrôlées. Le troisième lauréat du prix Turing 2018, Yann LeCun, n'a pas signé ; il voit surtout dans ces incidents des défaillances d'ingénierie plutôt qu'un risque existentiel. Les deux lectures se rejoignent sur un point : les accidents de l'été tenaient à des environnements mal fermés, et leur répétition dépendra de la rigueur des laboratoires bien plus que de la puissance des modèles.