Vrai ou faux ? « Les défauts bien connus des IA (hallucinations, etc.) n'ont pas vraiment changé. »
Verdict : plus nuancé.
Owen Queen et James Zou (Stanford) ont publié le 2 novembre 2026 « The shelf life of LLM findings ». Ils ont repris 50 résultats très cités sur les grands modèles de langage et les ont retestés sur 20 modèles sortis entre juillet 2024 et septembre 2026.
Résultat : 44 % des affirmations sont « expirées » (l'effet a largement disparu), 34 % se sont affaiblies, 16 % tiennent encore, 6 % se sont renforcées. Parmi les 22 affirmations expirées, le délai médian entre publication et expiration est de 14,7 mois (moyenne 15,7 mois).
Ce qui bouge vraiment : beaucoup d'échecs de capacité s'estompent (compter des lettres, citations inventées, faits perdus au milieu d'un long contexte). En revanche, certaines tendances restent ou grandissent : flatter l'utilisateur, préférer ses propres réponses quand le modèle juge, générer des « nombres aléatoires » biaisés.
Les auteurs présentent eux-mêmes ce travail comme préliminaire.
Queen & Zou / Stanford (02.11.2026)
Dépôt GitHub zou-group/llm-claims-shelf-life
The Decoder (03.11.2026)
Sources
- Queen & Zou / Stanford (02.11.2026) : https://zou-group.github.io/llm-claims-shelf-life/ · consulté le 05.11.2026
- Dépôt GitHub zou-group/llm-claims-shelf-life : https://github.com/zou-group/llm-claims-shelf-life · consulté le 05.11.2026
- The Decoder (03.11.2026) : https://the-decoder.com/rapid-llm-development-is-outrunning-the-research-meant-to-explain-it-study-finds/ · consulté le 05.11.2026
