Dans ce premier épisode de POIDS, je présente une expérience sur Qwen 3.5, un modèle de 800 millions de paramètres qui tournait en boucle sur des exercices de maths.
Une modification ciblée des poids, sans entraînement ni rétropropagation, réduit ces boucles. Sur MATH-500, les auteurs rapportent un score passant de 7,9 % à 48,1 %. Une réévaluation publique sur Hugging Face rapporte 51 %.
La nuance importante : ce résultat dépend d’un protocole précis. Réduire les boucles de génération ne démontre pas une amélioration générale des capacités mathématiques du modèle.
La deuxième expérience vient nuancer l’histoire. À suivre dans POIDS.
Sources : billet des auteurs et réévaluation publique.
