Je viens de publier récemment l’article « J’hallucine ! L’IA se trompe et c’est volontaire !« .

Dans cette partie 2, je vous partage un nouvel article publié par The Conversation : « ChatGPT : la proposition d’OpenAI pour éviter les hallucinations pourrait tuer son propre chatbot« .

Il va dans la même direction que ce que j’ai partagé auparavant mais va plus loin dans l’explication mathématique et scientifique ce qui fait de lui un article intéressant à lire pour ceux qui veulent creuser leur compréhension de ce qui se cache derrière la mise en œuvre d’un LLM (Large Language Model).

Ce que j’ai retenu :

• Le fait de produire une phrase par prédiction mot à mot crée un biais favorisant l’hallucination
• Mettre en avant la probabilité que la réponse apportée soit vraie est facilement implémentable mais coûterait plus cher en calculs
• Si les humains sont informés de cette incertitude, cela va générer un sentiment de doute contre productif contre l’outil
• Les sites de comparaison des IA ne font pas la différence entre un moteur qui ne sait pas et un moteur qui se trompe ce qui fait qu’il est plus rémunérateur de deviner la réponse, même fausse, que de clamer son doute. Il faudrait donc revoir les modalités de calcul.
• Même en faisant tous les efforts possibles, on n’évitera pas les hallucinations. On va juste décaler le problème vers un meilleur compromis.

N’hésitez pas à lire l’article en détails. Cela vaut le coup.

Maintenant que j’ai écrit cet article sans aide en utilisant uniquement mon cerveau, voici l’analyse de Copilot de cet article. Il est toujours très intéressant de voir à quel point cette technologie se débrouille bien dans cet exercice. Pour autant, je ne vais pas artificiellement créer dans ce blog des articles générés par l’IA. L’humain, ma personne, prévaudra.

Voici les principaux messages de l’article publié sur The Conversation concernant les hallucinations des IA et la proposition d’OpenAI pour les réduire:

Pourquoi les hallucinations sont inévitables

• Les modèles comme ChatGPT génèrent du texte mot par mot, ce qui entraîne des erreurs cumulatives.
• Même avec des données d’entraînement parfaites, les hallucinations persistent à cause de limites mathématiques inhérentes à la manière dont les IA apprennent.
• Plus un fait est rare dans les données d’entraînement, plus l’IA risque de se tromper à son sujet.

Le rôle des évaluations dans la persistance du problème

• Les benchmarks actuels pénalisent les IA qui disent « je ne sais pas » autant que celles qui donnent une mauvaise réponse.
• Cela pousse les modèles à deviner plutôt qu’à exprimer de l’incertitude, créant une « épidémie » de réponses fausses mais confiantes.

️ La solution proposée par OpenAI

• Intégrer une évaluation de la confiance dans les réponses de l’IA.
• Encourager les IA à ne répondre que si elles sont suffisamment sûres (par exemple, >75 % de confiance).
• Cela réduirait les hallucinations, mais…

⚠️ Les limites de cette approche

• Une IA qui répond « je ne sais pas » à 30 % des questions pourrait décevoir les utilisateurs habitués à des réponses systématiques.
• Les modèles « conscients de l’incertitude » nécessitent beaucoup plus de calculs, donc plus coûteux à opérer.
• Pour les usages critiques (finance, médecine, logistique), ces coûts sont justifiés. Mais pour le grand public, ils sont souvent prohibitif.

Une incitation structurelle à halluciner

• Les attentes des utilisateurs, les benchmarks et les coûts de calcul favorisent les IA qui devinent plutôt que celles qui sont prudentes.
• Tant que ces incitations ne changent pas, les hallucinations resteront une caractéristique des IA grand public.