Plus gros ne veut pas dire meilleur. C'est la thèse d'une nouvelle étude de Yann LeCun et Randall Balestriero, tous deux liés à AMI Labs, la start-up parisienne fondée par LeCun.
Mis en ligne sur arXiv le 29 octobre, l'article transforme en théorème une idée avancée en 2024 par des chercheurs du MIT : des modèles entraînés séparément sur du texte ou des images finiraient par se faire une image du monde de plus en plus proche.
Le résultat qui fait parler : un petit modèle de texte de 109 millions de paramètres, de type JEPA, s'aligne mieux sur les encodeurs d'images DINOv2 et CLIP que tous les modèles de langage testés, jusqu'à Qwen2.5-72B (0,184 contre 0,154). Il atteint aussi le même alignement avec 42 fois moins d'exemples que la prédiction du mot suivant.
Pourquoi c'est intéressant : selon les auteurs, ce qu'on montre au modèle compte plus que sa taille. Lui donner deux descriptions d'une même scène vaut mieux que deux morceaux d'un même texte.
Les limites sont réelles. C'est une prépublication, pas encore relue par des pairs ni reproduite. Et mieux s'aligner sur un modèle de vision ne veut pas dire mieux écrire du code ou résumer un document.
Étude :
Via @Numerama
#IA #Recherche
Sources
- Étude : https://arxiv.org/abs/2610.39302 · consulté le 02.11.2026 à 12:45 (heure de Zurich)
- l.numerama.com : https://l.numerama.com/Xet · consulté le 02.11.2026 à 12:45 (heure de Zurich)
