Les réseaux de neurones seraient bien plus faciles à comprendre que le domaine de l'IA ne le suppose depuis des années. Dans un long essai, Nick Cammarata, chercheur chez Goodfire, affirme que la plupart des neurones des modèles allant jusqu'aux billions de paramètres sont déjà interprétables, et que l'avenir de l'interprétabilité mécaniste est bien meilleur qu'il ne le craignait. Le texte a été repéré par Techmeme.
Cette affirmation compte parce que l'interprétabilité est l'un des plus grands problèmes ouverts de la sûreté de l'IA. Si les chercheurs peuvent lire directement les composants internes d'un réseau, ils n'auront peut-être plus besoin d'entraîner un second modèle rien que pour le démêler. Cammarata y voit une bonne nouvelle : les réseaux de neurones, dit-il, sont déjà « propres ».
L'argument contre la superposition
L'inquiétude de longue date du domaine était la polysémanticité : des neurones qui semblent jongler avec plusieurs tâches sans rapport. La superposition en était l'explication dominante, suggérant que lorsqu'un réseau manque de neurones, il replie ensemble des concepts sans lien, et que les nœuds ainsi formés sont arbitraires et difficiles à lire.
Cammarata affirme aujourd'hui que les preuves classiques de cette vision ont été mal lues. Le fameux exemple InceptionV1, où presque aucun neurone de la dernière couche ne semblait interprétable, venait de problèmes d'architecture qui faisaient déborder les couches suivantes, et non de la superposition. Des outils d'interprétabilité faibles ont amplifié la confusion.
Avec des correctifs d'architecture ordinaires, sans changer la taille du modèle ni les données d'entraînement, il rapporte que 99 à 100 % des neurones de cette même dernière couche sont désormais facilement interprétables, et que le modèle est globalement lisible de bout en bout. Il a entraîné des versions sur une gamme de tailles allant de 1 à 300, et affirme qu'elles restent lisibles à toutes les échelles.
- Ancienne vision : des concepts sans rapport sont empilés ensemble, il faut donc démêler les réseaux avant de les étudier.
