Astra modifie 0,016 % des poids de Qwen pour multiplier le score en maths

2 min de lecture

Astra modifie 0,016 % des poids de Qwen pour multiplier le score en maths

Contexte de l'expérience
Cette semaine, quatre chercheurs du MIT CSAIL – Rikiya Takehi, Jayden Teoh, Alex Zhang et Omar Khattab – ont publié sur leur site les résultats d’une manipulation originale du modèle d’intelligence artificielle Qwen3.5‑0.8B. Ils ont demandé à GPT‑6 Astra, développé par OpenAI, d’améliorer les performances en mathématiques du modèle en intervenant directement sur ses poids, sans recourir à une descente de gradient.

Méthodologie
Astra a ajusté uniquement 131 072 poids parmi les 0,8 milliard du réseau, soit 0,016 % du total. En 50 passes d’observation, les chercheurs ont suivi les réponses du modèle aux problèmes mathématiques et ont ciblé les boucles de génération qui conduisaient à des réponses interrompues.

Résultats obtenus
Le score du Qwen sur le benchmark MATH‑500 est passé de 7,9 % à 48,1 % après la retouche. Initialement, sur les 96 premières réponses d’entraînement, 85 atteignaient la limite de 32 768 tokens sans fournir de solution, ce qui représentait 93 % de réponses interrompues. En modifiant les directions écrites par les couches 15 et 19 et en les soustrayant des poids, le taux d’interruptions est tombé à 33 %.

Analyse des auteurs
Les chercheurs soulignent que l’amélioration ne crée pas de nouvelles capacités, mais libère simplement une capacité déjà existante que le modèle ne parvenait pas à exprimer à cause des boucles de génération. Une expérience similaire sur le modèle Gemma 3 270M, qui boucle rarement, n’a entraîné aucun changement notable du score MATH‑500.

Reproductibilité et limites
Jonathan Coletti, sur Hugging Face, a reproduit l’expérience avec les mêmes prompts, réglages et correcteur. Le score est passé de 7,4 % à 50,2 % lorsque le mode "Thinking" était activé, confirmant les résultats du papier. En revanche, sans ce mode, la retouche a fait perdre environ deux points de performance.

Implications
Cette forme de retouche des poids ressemble à l’effacement d’une direction dans l’espace des poids, une technique déjà utilisée pour contourner la censure des grands modèles de langage. Astra pourrait donc être capable de lever des limitations sur d’autres modèles open source dont les poids sont accessibles, ouvrant de nouvelles perspectives pour la personnalisation fine des IA.

Source : Korben