Un développeur a conçu Qwenputer, une version expérimentale de Qwen 3.5 4B intégrant un processeur RISC-V 32 bits compilé directement dans les poids du modèle. Selon le compte rendu du projet publié sur divagr.com, le processeur ne fonctionne ni comme un plugin, ni comme un outil, ni dans un bac à sable : il s'exécute à l'intérieur même des passes avant du modèle, en utilisant les couches d'attention Gated DeltaNet de Qwen comme mémoire RAM.
Le projet illustre de façon frappante jusqu'où l'on peut pousser les rouages internes d'un modèle sans entraînement supplémentaire. Le cœur RISC-V exécute du code C et du MicroPython, passe les riscv-tests officiels et s'est montré conforme à qemu sur l'ensemble de ses programmes. Le développeur rapporte 18 millions d'instructions exécutées librement sans erreur, ce qui signifie que le processeur avance sur ses propres sorties sans qu'une machine de référence ne corrige le tir entre chaque étape.
Comment Qwenputer utilise Gated DeltaNet comme mémoire RAM
Qwen3-Next et Qwen 3.5, les modèles sur lesquels repose Qwenputer, utilisent Gated DeltaNet (GDN) comme mécanisme d'attention dans trois de leurs quatre couches d'attention. Chaque tête GDN conserve une matrice d'état, et une valeur de porte comprise entre 0 et 1 détermine la part de cet état qui s'estompe à chaque token. Le développeur a constaté qu'en fixant la porte à 1, la force d'écriture (bêta) à 1 et en utilisant un encodage one-hot des clés, chaque écriture écrase exactement une ligne et chaque requête peut récupérer une valeur exacte.
Les couches GDN se comportent alors comme une mémoire RAM exacte et adressable, à un coût bien inférieur à celui d'une utilisation de l'attention classique comme mémoire, car l'état d'une tête GDN garde la même taille quelle que soit la longueur de la conversation. Le compte rendu attribue à Schlag, Irie et Schmidhuber (2021) la démonstration qu'une attention linéaire avec la règle delta fonctionne comme mémoire associative ; l'apport nouveau consiste ici à la rendre exacte et adressable dans un modèle de production, avec une fiabilité suffisante pour y faire tourner un processeur entier.
