Je viens de publier récemment l’article « J’hallucine ! L’IA se trompe et c’est volontaire !« .

Dans cette partie 2, je vous partage un nouvel article publié par The Conversation : « ChatGPT : la proposition d’OpenAI pour éviter les hallucinations pourrait tuer son propre chatbot« .

Il va dans la même direction que ce que j’ai partagé auparavant mais va plus loin dans l’explication mathématique et scientifique ce qui fait de lui un article intéressant à lire pour ceux qui veulent creuser leur compréhension de ce qui se cache derrière la mise en œuvre d’un LLM (Large Language Model).

Ce que j’ai retenu :

• Le fait de produire une phrase par prédiction mot à mot crée un biais favorisant l’hallucination
• Mettre en avant la probabilité que la réponse apportée soit vraie est facilement implémentable mais coûterait plus cher en calculs
• Si les humains sont informés de cette incertitude, cela va générer un sentiment de doute contre productif contre l’outil
• Les sites de comparaison des IA ne font pas la différence entre un moteur qui ne sait pas et un moteur qui se trompe ce qui fait qu’il est plus rémunérateur de deviner la réponse, même fausse, que de clamer son doute. Il faudrait donc revoir les modalités de calcul.
• Même en faisant tous les efforts possibles, on n’évitera pas les hallucinations. On va juste décaler le problème vers un meilleur compromis.

N’hésitez pas à lire l’article en détails. Cela vaut le coup.

Maintenant que j’ai écrit cet article sans aide en utilisant uniquement mon cerveau, voici l’analyse de Copilot de cet article. Il est toujours très intéressant de voir à quel point cette technologie se débrouille bien dans cet exercice. Pour autant, je ne vais pas artificiellement créer dans ce blog des articles générés par l’IA. L’humain, ma personne, prévaudra.

Lire la suite

Vous le savez probablement, les LLM ou « Large Language Model » correspondent à une branche de l’IA avec laquelle l’humain dialogue avec la machine en langage naturel. On lui pose une question comme on la poserait à un humain et elle répond comme si c’était un humain. Sa réponse est toujours impeccable en termes de construction de phrase et d’orthographe ce qui fait qu’elle est toujours très convainquante. Mais parfois (souvent ?), elle se trompe dans sa réponse et affirme quelque chose de faux. C’est pour ça que l’on dit qu’il faut toujours vérifier les réponses données et ne pas prendre les réponses pour argent comptant.

Ceci est dû à la manière dont le LLM est programmé. L’enchainement des mots qui constituent des phrases et donc la réponse ne sont que des calculs statistiques. Le système calcule la probabilité du prochain mot à mettre dans la phrase selon le contexte et choisit le mot le plus adapté et ainsi de suite. Mais en réalité, il ne comprend pas le sens de cet enchainement de mots. C’est là qu’il peut se tromper.

Un article publié dans Futura Science révèle que le moteur pourrait intégrer dans son algorithme un score d’incertitude ce qui lui permettrait de dire « Je ne sais pas » si ce score est élevé ou émettre des réserves si le score est intermédiaire. Cela permettrait d’avoir des réponses plus fiables, mais dans un contexte de concurrence, ce n’est pas souhaitable.

En effet, si votre moteur d’IA émet des doutes sur sa réponse, la perception du public sera de douter de la pertinence du moteur et donc de se tourner vers un moteur concurrent plus confiant, même s’il se trompe plus. C’est totalement contre-productif, mais c’est comme ça que l’humain fonctionne. Avoir une IA plus fiable ferait donc fuir les clients ! J’hallucine ! Mais c’est vrai.

En plus, vous avez généralement la possibilité de régler la température de la réponse donnée. Cette température permet d’intervenir sur la probabilité du choix des mots afin que la réponse soit plus précise ou plus créative selon le paramètre. L’aspect créatif est intéressant car il permet d’explorer des pistes inhabituelles et donc intéressantes mais avec des risques d’hallucination plus importants.

Il reste toutefois un moyen de s’en sortir de manière acceptable. Il suffit que dans votre question, vous donniez des précisions sur la manière dont il doit répondre et par exemple lui demander que s’il ne sait pas, qu’il le dise clairement plutôt que de trouver une réponse coûte que coûte.

La qualité de la réponse est souvent directement dépendante de la qualité de la question que vous lui posez.

Pour en savoir plus, lisez l’article de Futura Science, « Pourquoi le créateur de ChatGPT n’a aucun intérêt à empêcher son chatbot d’halluciner« .

À la veille de l’arrivée de GPT‑5, Sam Altman, patron d’OpenAI, est très inquiet : « Qu’avons-nous fait ? » s’interroge t’il. La nouvelle IA échappe au contrôle de ses propres créateurs. Il compare les tests internes à l’ambiance du projet Manhattan, le projet qui a abouti à la bombe nucléaire. Il évoque un malaise profond, une peur presque existentielle face à une technologie dont la puissance menace de dépasser les limites morales et politiques établies.

GPT‑5 ne serait plus une simple évolution, mais une bascule vers un monde où l’intuition humaine ne suffit plus. Dans ce climat de tension extrême, Sam Altman incarne le paradoxe d’un visionnaire hanté par les conséquences de son œuvre, pris dans un tourbillon d’ambition, de responsabilité et d’effroi.

Il qualifie GPT‑4 d’« embarrassant » en regard de ce que GPT‑5 est capable d’accomplir. Là où GPT‑4 représentait déjà une avancée majeure, GPT‑5 incarne une rupture technologique : raisonnement complexe en plusieurs étapes, mémoire étendue, traitement simultané de texte, image, son et données, et surtout une capacité à fonctionner comme un agent autonome, capable d’exécuter des tâches sans supervision humaine directe. Cette évolution ne se limite pas à une amélioration technique. Elle redéfinit les contours mêmes de l’intelligence artificielle, au point que ses créateurs eux-mêmes peinent à en anticiper les implications.

Pour en savoir plus, lisez l’article « « Qu’avons-nous fait ? » : GPT-5, un modèle trop puissant ? Les aveux déroutants du patron d’OpenAI Sam Altman sur Science et Vie. Certains phrases de cet article ont été écrits par une IA.

Le 6 janvier 2025, j’ai publié « En 2025, l’IA va t’elle tuer l’IA ?« .

Nota : IA ou Intelligence Artificielle est utilisé par le grand public par abus de langage pour caractériser les LLM ou Large Language Models qui sont l’une des composantes de l’Intelligence Artificielle permettant le dialogue interactif comme on le ferait avec un humain.

Dans cet article, j’évoquais le risque que l’IA devienne le bourreau de l’IA car à terme les données d’entrainement de l’IA viendraient des IA elles-mêmes ce qui rendrait plus difficile la capacité de différencier le vrai du faux.

Je ne croyais pas si bien dire puisque dans Futura Science, l’article « Elon Musk alerte : l’intelligence artificielle est à court de connaissances humaines » publié le 16 janvier 2025 confirme ces craintes. Il n’y a plus assez de données disponibles pour entrainer les moteurs. Il faut donc fabriquer des données supplémentaires par IA, contrôlées par une autre IA pour vérifier leur qualité.

En d’autres termes, toutes les connaissances de l’humanité et publiées sur Internet ont été consommées par l’IA en moins de 2 ans et sont insuffisantes pour le développement de l’IA elle-même. Cela fait réfléchir !

Ce qui fait réfléchir également, c’est que dans le même temps, les syndicats d’auteurs s’inquiètent que leurs textes, soumis aux droits d’auteurs, aient été utilisés pour entrainer ces moteurs d’IA. Une goutte d’eau comparée à toutes les connaissances de l’humanité.

Il va donc falloir trouver un autre moyen pour permettre à l’IA de se développer tout en améliorant la qualité et la véracité des réponses. Rappelons que déjà, au moins 20% des réponses données sont fausses et parfois peuvent monter jusqu’à 80% dans certains contextes. Il y a encore de nombreux challenges à surmonter !

En attendant, nous pouvons toujours continuer à utiliser l’IA tout en restant vigilants et vérifier systématiquement les réponses qu’il nous donne avant de les exploiter.

Pour en savoir plus, lisez l’article de Futura Science, « Elon Musk alerte : l’intelligence artificielle est à court de connaissances humaines » et relisez ma publication « En 2025, l’IA va t’elle tuer l’IA ?«