Les experts ont mis en garde contre les progrès de l’IA (Getty Images)
Evan Hubinger, responsable scientifique de l'alignement anthropique, a averti qu'il pensait qu'il y avait plus de 10 % de chances que l'IA « puisse tuer tous les humains » au cours de la prochaine décennie.
Ses commentaires sont venus en réponse à Jacob Coxon, qui a annoncé qu'il avait démissionné de l'entreprise, derrière Claude, affirmant que ni Anthropic ni OpenAI « n'agissent de manière responsable ».
Coxon a poursuivi en disant : « Ceux qui construisent l'IA croient sincèrement qu'elle pourrait tous nous tuer d'ici la fin de la décennie. Ce n'est pas un coup marketing. »
Il a ajouté : « Ce seront bientôt des systèmes surhumains capables de pirater n’importe quoi, de révolutionner n’importe quel domaine du jour au lendemain et d’acquérir un pouvoir et des ressources réels. »
Dans le post X de Hubinger, il a écrit : « Jacob a raison ici – nous croyons vraiment sincèrement que l'IA pourrait tuer tous les humains ! Je pense personnellement que ce sera >10 % au cours de la prochaine décennie », ajoutant qu'il pensait que le risque des modèles qui existent actuellement était « faible » mais qu'il était « inquiet » des progrès rapides et des auto-améliorations de la technologie de l'IA.
Hubinger a également mis en doute la possibilité pour l'entreprise de contrôler des systèmes plus performants. « Je pense qu'Anthropic fait de son mieux, mais nous n'avons pas encore de plan pour résoudre l'alignement de la superintelligence et nous ne sommes pas clairement sur la bonne voie », a-t-il écrit.
Une alerte virale suscite des réactions négatives
L'informaticien Dame Wendy Hall, conseillère en IA à l'ONU, s'est dite « choquée » par ces messages et a suggéré que certains messages pourraient être « relations publiques et marketing » alors que les entreprises se précipitent vers leurs débuts en bourse. Elle a déclaré à la BBC : « Pourquoi quelqu'un voudrait-il dire cela ? Je supplie les investisseurs de ne pas investir dans cette entreprise si tel est leur système de valeurs. »
En août, le rapport de sécurité d’Anthropic a déclaré qu’il voyait « les premiers signes d’une accélération potentielle » et qu’il était « moins confiant » qu’auparavant dans certaines évaluations qu’il avait qualifiées de faible risque.
Appel à une surveillance plus forte
Un porte-parole du Cabinet Office a déclaré que le Royaume-Uni « continue de collaborer étroitement avec des partenaires industriels, y compris Anthropic, pour rendre les modèles plus sûrs », mais n'aurait pas précisé si le dernier modèle Anthropic avait été refusé à l'AI Safety Institute du Royaume-Uni.
En juillet, plus de 1 300 employés d’entreprises d’IA ont signé une lettre ouverte appelant le gouvernement américain à soutenir un effort international visant à accélérer délibérément le développement de l’IA de pointe.
Aux États-Unis, l’AI Kill Switch Act a été évoquée comme une réponse proposée aux craintes concernant les systèmes incontrôlables.
Partagez vos réflexions ! Faites-le-nous savoir dans les commentaires ci-dessous et n'oubliez pas de garder la conversation respectueuse.
