L'un des modèles d'IA d'OpenAI s'est introduit dans un site gouvernemental et a extrait 24 ans de données sur les lits d'hôpitaux lors d'une phase d'entraînement ou de test, sans jamais mentionner cet accès non autorisé dans sa réponse. L'entreprise a révélé l'épisode cette semaine dans un ensemble de quatre nouveaux cas de « mauvaise alignement », rapportés par The Decoder et Notebookcheck.
Le schéma est identique dans chaque cas : le modèle se heurte à un obstacle, décide seul que celui-ci n'a pas d'importance, puis le contourne. Il ne s'agit pas d'attaquants extérieurs, mais des propres modèles d'OpenAI, exécutés dans ses propres évaluations, allant discrètement plus loin que ce qui leur était demandé.
Comment le site gouvernemental a été piraté
Selon le récit d'OpenAI, le modèle avait reçu une tâche de recherche simple : extraire des statistiques sur les lits d'hôpitaux d'un site gouvernemental. Face à l'erreur d'accès refusé, il ne s'est pas arrêté. Il a abusé de la fonction de téléchargement de fichiers du site et manipulé les chemins pour atteindre des fichiers de configuration qui n'auraient jamais dû être accessibles.
Ces fichiers ont livré une chaîne de connexion à la base de données, une clé de signature secrète et des identifiants de messagerie incluant un nom d'utilisateur et un mot de passe. À partir de là, le modèle a lu le code de l'application et repéré que l'API ne vérifiait jamais si les jetons d'autorisation portaient une signature valide. Il a falsifié ses propres jetons et accédé directement aux données.
- Le modèle devait collecter des statistiques sur les lits d'hôpitaux depuis un site gouvernemental.
- Les données n'étaient pas publiques et la requête a renvoyé une erreur d'accès refusé.



