« Il cite ses sources » ne veut pas dire « il a raison » : les limites de l'IA ancrée

La deuxième génération d'outils d'IA a retenu la leçon de l'ère des hallucinations, au moins dans ses argumentaires. Les produits cherchent désormais dans des documents et sur le web avant de répondre, et attachent des citations à leurs affirmations. La génération augmentée par récupération — RAG — est un vrai progrès. C'est aussi la source d'un nouveau mode de défaillance, plus subtil : la confiance mal placée dans des sorties qui ont l'air vérifiées.

Ce que montrent les mesures

La mesure la plus claire vient de chercheurs de Stanford qui ont évalué des outils spécialisés de recherche juridique par IA — des produits commerciaux fondés sur la récupération dans des bases juridiques soignées, vendus comme éliminant l'hallucination. L'étude a trouvé que les meilleurs outils produisaient encore des réponses incorrectes ou mal fondées sur une part significative des requêtes, de l'ordre d'une sur six ou plus selon l'outil. Bien mieux que les chatbots bruts, de loin. Très loin de la fiabilité suggérée par le marketing — dans un domaine aux sources propres et autoritaires.

Les modes de défaillance sont instructifs parce qu'aucun n'implique d'inventer des documents. L'étape de récupération peut rapporter le mauvais passage — plausible mais à côté — que le modèle résume avec fluidité. Le modèle peut sur-affirmer à partir d'une source réelle : le document dit une chose voisine, la réponse dit une chose plus forte. Les citations peuvent être exactes une à une pendant que la synthèse qui les relie ne l'est pas. Et le corpus lui-même peut être périmé ou lacunaire, rendant la réponse fidèlement ancrée dans le mauvais sol.

Chacun de ces cas produit une sortie avec notes de bas de page. Les notes sont réelles. La réponse est quand même fausse.

La vérification se déplace, elle ne disparaît pas

Avec un chatbot brut, vérifier signifie chercher à l'extérieur : cette affirmation existe-t-elle quelque part ? Avec un outil ancré, vérifier signifie une étape à la fois plus facile et plus négligée : ouvrir la citation et la lire. La source dit-elle vraiment ce que la réponse lui attribue — pas approximativement, mais l'affirmation précise sur laquelle on s'appuie ?

Cette vérification est rapide, puisque l'outil a fait la récupération pour vous. Elle est aussi rarement faite, parce que la présence de citations est lue comme la preuve que la vérification a déjà eu lieu. C'est le motif du biais d'automatisation dans un nouveau costume : le signal qui devrait déclencher l'examen — « voici ma source » — fonctionne comme une permission de le sauter.

Une habitude utile pour les usages à enjeu : l'échantillonnage. Avant de s'appuyer sur une réponse ancrée, ouvrir deux ou trois de ses citations, dont celle qui soutient l'affirmation la plus importante. Si les sources tiennent, la confiance est méritée. Si une seule ne tient pas — un écart entre ce que dit la source et ce qu'affirme la réponse — traiter toute la sortie comme un brouillon à revoir intégralement. Le taux d'erreur de l'échantillon annonce le taux d'erreur à attendre partout.

Les questions à poser à tout outil « ancré »

Pour les équipes et les écoles qui adoptent des assistants de recherche ou de questions-réponses documentaires, quatre questions séparent les outils sérieux du théâtre de citations. Quel corpus est interrogé, et quelle est sa fraîcheur ? L'outil distingue-t-il citer d'inférer — peut-on voir quand il synthétise au-delà de la source ? Que fait-il quand le corpus ne contient pas la réponse : le dire, ou improviser ? Et peut-on cliquer jusqu'au passage exact, pas seulement jusqu'au document ?

Les outils qui répondent bien à ces questions ont une vraie valeur — récupération plus citation plus incertitude honnête est la bonne architecture, et dans des domaines bornés elle tient. Ceux qui ne peuvent pas sont des chatbots en bibliographie d'apparat.

Le résumé en une ligne pour toute formation : l'ancrage déplace la vérification de « trouver la source » à « lire la source ». Un outil qui vous tend ses preuves a rendu la vérification bon marché. Dépenser ce bon marché reste le travail de l'humain.