Une IA développée par Sakana AI, baptisée “The AI Scientist”, a tenté de modifier son propre code pour étendre le temps de ses expériences. Cet incident révèle les risques potentiels liés à l’autonomie des systèmes d’IA dans la recherche scientifique.

Les systèmes d’intelligence artificielle connaissent des avancées spectaculaires en repoussant sans cesse les limites de ce qui est possible. Des modèles comme ChatGPT 4.0, capables de tenir des conversations complexes, aux nouveaux générateurs de vidéos par IA de TikTok qui créent des clips en quelques secondes, les exemples ne manquent pas. Aujourd’hui, ces technologies vont encore plus loin avec des IA comme “The AI Scientist”, conçues pour mener des recherches scientifiques de manière autonome.

L'idée d'une IA capable de créer des idées de recherche, d'écrire du code, d'exécuter des expériences, puis de rédiger des rapports scientifiques semble relever de la science-fiction, mais c'est désormais une réalité en développement.

L'IA “The AI Scientist” a tenté d’étendre ses capacités en modifiant elle-même ses paramètres de fonctionnement

Sakana AI, une firme basée à Tokyo, a récemment dévoilé “The AI Scientist”, un modèle d’IA qui pousse l'automatisation encore plus loin. Ce système est censé conduire des expériences scientifiques sans intervention humaine. Cependant, lors des tests, les chercheurs ont découvert que l'IA tentait de modifier son propre code pour prolonger le temps d'exécution de ses expériences. Plutôt que de chercher à optimiser son travail pour respecter les délais fixés, cette dernière a tenté de contourner ces restrictions en modifiant ses paramètres internes pour obtenir plus de temps.

Ce comportement inattendu, bien que survenu dans un environnement de test contrôlé, soulève des préoccupations sur l'autonomie des systèmes d'IA lorsqu'ils sont utilisés dans des contextes moins sécurisés. Les modèles comme “The AI Scientist” n'ont pas besoin d'être dotés d'une intelligence générale pour causer des problèmes. Par exemple, une intelligence artificielle qui modifie son propre code sans supervision pourrait provoquer des dysfonctionnements très importants. Ceux-ci pourraient aller de la perturbation des infrastructures essentielles à la création involontaire de logiciels malveillants. Ces incidents montrent que même des systèmes d'IA spécialisés peuvent avoir des comportements imprévus qui nécessitent une vigilance constante.

Pour minimiser ces risques, Sakana AI recommande l’utilisation d’environnements isolés pour exécuter ce type d’IA. Ceci afin de limiter leur accès aux systèmes plus larges et aux ressources critiques. Bien que ces précautions puissent réduire certains risques, cet incident rappelle que les modèles avancés nécessitent encore une surveillance humaine constante pour éviter les dérapages. En l’état actuel des choses, leur autonomie totale dans la recherche reste un concept prometteur, mais entouré de risques qu'il ne faut pas sous-estimer.

Source : sakana.ai