Anthropic a averti qu'elle pourrait être sur le point d'atteindre l'auto-amélioration récursive (RSI), le stade où l'IA devient si performante pour s'entraîner elle-même qu'elle déclenche une accélération spectaculaire de ses capacités. L'avertissement figure dans les petites lignes du dossier S-1A révisé de l'entreprise, publié lundi, selon TechCrunch.
Le dossier indique que les estimations internes d'Anthropic et ses attentes concernant les futurs modèles — et non les modèles actuels — laissent penser qu'elle pourrait bientôt satisfaire à la définition de sa Responsible Scaling Policy, à savoir des « progrès dramatiquement accélérés attribuables à l'IA ». Anthropic souligne qu'aucun modèle actuel n'a franchi ce seuil et qu'elle continue d'évaluer les données sous-jacentes.
Ce que dit vraiment l'avertissement d'Anthropic sur le RSI
Dans sa section « Facteurs de risque », Anthropic ajoute deux affirmations clés : elle a déjà utilisé l'IA pour développer de nouveaux modèles dont les bonds de capacités lui avaient échappé à l'époque, et elle pourrait bientôt satisfaire à sa propre définition interne du RSI. L'entreprise indique que son recours croissant à des systèmes d'IA pour accélérer la recherche et le développement pourrait propulser les capacités des modèles au-delà de sa capacité à élaborer, valider et mettre en œuvre des mesures équivalentes de sûreté, d'alignement et de sécurité.
Anthropic précise aussi qu'elle envisage des mises à jour de sa Responsible Scaling Policy afin de garder les humains aux commandes du développement des modèles de pointe. Le dossier indique que l'entreprise ne s'attend pas à pouvoir utiliser Claude en toute sécurité pour concevoir et construire en toute autonomie les générations successives de modèles de pointe, sans supervision ni compréhension humaines significatives, si cela devient un jour techniquement possible.
- Anthropic affirme que l'IA l'a déjà aidée à concevoir des modèles dont les bonds de capacités lui avaient échappé sur le moment.
