Pourquoi l'IA générative peut être très convaincante même lorsqu'elle se trompe

Nous nous inquiétons souvent des erreurs de l'IA. En réalité, le plus grand risque survient lorsqu'elle se trompe tout en semblant avoir raison. Dans cet article, Marta Dobrowolska, responsable de la science des données et de la gestion des connaissances chez Incotec, aborde ce phénomène.

 Marta Dobrowolska, responsable de la science des données et de la gestion des connaissances chez Incotec,

Que sont les « hallucinations » de l'IA ?


L'un des principaux défis liés à l'IA générative (GenAI) n'est pas qu'elle commette parfois des erreurs. C'est que ces erreurs sont souvent présentées d'une manière qui semble soignée, plausible et assurée. Ces systèmes sont déjà largement utilisés pour la rédaction, la synthèse, la traduction, le brainstorming et le soutien au travail quotidien, ce qui rend cette question de plus en plus pertinente dans la pratique.

C'est ce que l'on entend généralement par « hallucinations » : des moments où un système d'IA produit une réponse qui semble soignée et plausible, mais qui est fausse, non étayée ou simplement inventée. Le Centre Commun de Recherche (CCR ou Joint Research Centre) de la Commission européenne a déjà mis en évidence des problèmes de qualité dans les résultats de l’IA générative, notamment les hallucinations, les biais et la dépendance excessive, et a souligné la nécessité de mettre en place des garde-fous et un contrôle humain.

Pourquoi les systèmes d’IA générative ont-ils des hallucinations ?

L’IA générative est conçue pour créer de nouveaux textes, images, codes, fichiers audio ou vidéos qui ressemblent aux données sur lesquelles elle a été entraînée. En termes techniques, ces IA génèrent des modèles et des distributions de probabilité pour les données, puis génèrent de nouveaux échantillons à partir de ceux-ci. C’est ce qui les rend si utiles et polyvalents. C’est aussi pourquoi ils peuvent produire des résultats fluides sans pouvoir garantir qu’une affirmation spécifique soit correcte.
Ainsi, lorsqu’un modèle donne une mauvaise réponse, il n’est généralement pas en train d’« inventer » au sens humain du terme. Il fait ce pour quoi il a été conçu : générer le résultat qui correspond le mieux aux modèles qu’il a appris à partir des données précédentes. Si la question est ambiguë, si le contexte est trop restreint ou si le modèle n’a pas accès aux bonnes sources, il peut combler le vide avec quelque chose qui semble correct plutôt qu’avec quelque chose qui est correct. Vu sous cet angle, une hallucination s’apparente moins à une tromperie délibérée qu’à une prédiction statistique devançant la vérification.

Pourquoi les hallucinations constituent-elles un risque ?

Dans des environnements réglementés où les preuves sont primordiales, « globalement correct » n’est tout simplement pas une norme suffisamment stricte.


Parce que la fluidité engendre une fausse confiance. Une réponse vague rédigée dans un langage approximatif est facile à contester. Une réponse erronée rédigée sur un ton calme et autoritaire est beaucoup plus difficile à repérer. C’est pourquoi les hallucinations ne constituent pas un simple défaut technique ; elles représentent un véritable problème de fiabilité et de gouvernance. La loi européenne sur l’IA reflète exactement cette préoccupation en mettant l’accent sur la précision, la robustesse, la transparence et la supervision humaine pour les utilisations à haut risque de l’IA. Dans des environnements réglementés et où les preuves sont primordiales, Le « globalement correct » n’est tout simplement pas une norme suffisamment stricte.

Exemples concrets d'erreurs d'IA 


Il existe déjà des exemples de ce type dans des contextes professionnels sérieux. En 2025, Deloitte Australie a admis qu'un audit de conformité du « Targeted Compliance Framework » du pays, commandé par le gouvernement, contenait des références et des citations inventées générées avec Azure OpenAI GPT-4o, et a accepté de procéder à un remboursement partiel. Le problème n’était pas que le rapport semblait peu professionnel. C’était que certaines des preuves sur lesquelles il s’appuyait avaient été inventées. C’est exactement ce qui rend les hallucinations difficiles à détecter : l’erreur peut se cacher au sein d’un travail qui semble par ailleurs crédible. Dans ce cas, les problèmes ont été repérés par un réviseur humain, Chris Rudge, chercheur australien spécialisé dans le domaine social.

Dans le domaine des soins de santé et de l’industrie pharmaceutique, les enjeux sont encore plus importants. Une étude publiée dans BMJ Quality & Safety, une revue d’experts consacrée à la qualité des soins de santé et à la sécurité des patients, a examiné les réponses fournies par un chatbot alimenté par l’IA aux questions de patients concernant des médicaments couramment prescrits. Si de nombreuses réponses étaient globalement exactes, les experts ont jugé que 66 % des réponses inexactes d’un sous-ensemble étaient potentiellement nocives, et que 22 % étaient potentiellement graves, voire mortelles si elles étaient suivies. Dans des environnements réglementés où les preuves sont primordiales, « globalement correct » n’est tout simplement pas une norme suffisamment stricte.

C'est pourquoi cela est particulièrement important pour des secteurs tels que l'industrie pharmaceutique, les affaires médicales et la R&D. Si un outil d'IA génère une référence inventée, déforme des données probantes ou donne une interprétation assurée mais incorrecte, le problème ne se limite pas à une formulation maladroite. Il s'agit alors d'un problème de crédibilité scientifique, d'un risque de non-conformité et, potentiellement, d'un problème de sécurité des patients. Plus généralement, le CCR a déjà alerté face aux risques transversaux liés à la désinformation, à la confiance et à la qualité de la prise de décision lorsque les gens se fient trop rapidement aux IA génératives.

Devrions-nous cesser d’utiliser l’IA générative ?


La bonne nouvelle, c’est que ce n’est pas une raison pour cesser d’utiliser l’IA générative. Il s’agit de l'utiliser de manière plus réfléchie. Lorsque les faits comptent, les résultats doivent s'appuyer sur des sources fiables plutôt que d'être générés uniquement à partir de la mémoire du modèle. Tout aussi important, les organisations doivent veiller à ce que les personnes soient tenues responsables du résultat final. La question la plus utile est souvent la plus simple : quelle est la source de cette information ? Si l'on ne peut pas répondre clairement à cette question, le résultat ne doit pas être considéré comme une preuve. Cela est particulièrement vrai dans la communication avec les clients, le travail juridique, la rédaction scientifique, les documents réglementaires et l'aide à la décision.

Il n'en reste pas moins que cet outil est extraordinaire. L'IA générative recèle un potentiel considérable pour améliorer l'innovation et la productivité dans tous les secteurs. Mais il est utile de faire preuve d'un peu d'esprit critique à l'égard de ses résultats et de la traiter un peu comme ce collègue trop sûr de lui : souvent utile, souvent d'une rapidité impressionnante, parfois brillant, mais pas quelqu'un que l'on citerait aveuglément sans vérifier d'abord la source.

Comment utiliser l'IA générative de manière responsable


C'est pourquoi nous devons trouver le juste équilibre. L'IA générative est puissante, elle est utile, mais si nous voulons l'utiliser de manière responsable, nous devons être honnêtes sur un point : elle peut être très convaincante même lorsqu'elle se trompe.

PS. À votre place, je vérifierais la référence

*Andrikyan W, Sametinger SM, Kosfeld F, et al Chatbots alimentés par l'intelligence artificielle dans les moteurs de recherche : une étude transversale sur la qualité et les risques des informations sur les médicaments destinées aux patients BMJ Quality & Safety 2025 ; 34 :100-109
Texte édité à l'aide de M365 Copilot GTP 5.4

Publié par
  • Marta Dobrowolska-Haywood Head of Data Science and Knowledge Management Incotec