Vous le savez probablement, les LLM ou « Large Language Model » correspondent à une branche de l’IA avec laquelle l’humain dialogue avec la machine en langage naturel. On lui pose une question comme on la poserait à un humain et elle répond comme si c’était un humain. Sa réponse est toujours impeccable en termes de construction de phrase et d’orthographe ce qui fait qu’elle est toujours très convainquante. Mais parfois (souvent ?), elle se trompe dans sa réponse et affirme quelque chose de faux. C’est pour ça que l’on dit qu’il faut toujours vérifier les réponses données et ne pas prendre les réponses pour argent comptant.

Ceci est dû à la manière dont le LLM est programmé. L’enchainement des mots qui constituent des phrases et donc la réponse ne sont que des calculs statistiques. Le système calcule la probabilité du prochain mot à mettre dans la phrase selon le contexte et choisit le mot le plus adapté et ainsi de suite. Mais en réalité, il ne comprend pas le sens de cet enchainement de mots. C’est là qu’il peut se tromper.

Un article publié dans Futura Science révèle que le moteur pourrait intégrer dans son algorithme un score d’incertitude ce qui lui permettrait de dire « Je ne sais pas » si ce score est élevé ou émettre des réserves si le score est intermédiaire. Cela permettrait d’avoir des réponses plus fiables, mais dans un contexte de concurrence, ce n’est pas souhaitable.

En effet, si votre moteur d’IA émet des doutes sur sa réponse, la perception du public sera de douter de la pertinence du moteur et donc de se tourner vers un moteur concurrent plus confiant, même s’il se trompe plus. C’est totalement contre-productif, mais c’est comme ça que l’humain fonctionne. Avoir une IA plus fiable ferait donc fuir les clients ! J’hallucine ! Mais c’est vrai.

En plus, vous avez généralement la possibilité de régler la température de la réponse donnée. Cette température permet d’intervenir sur la probabilité du choix des mots afin que la réponse soit plus précise ou plus créative selon le paramètre. L’aspect créatif est intéressant car il permet d’explorer des pistes inhabituelles et donc intéressantes mais avec des risques d’hallucination plus importants.

Il reste toutefois un moyen de s’en sortir de manière acceptable. Il suffit que dans votre question, vous donniez des précisions sur la manière dont il doit répondre et par exemple lui demander que s’il ne sait pas, qu’il le dise clairement plutôt que de trouver une réponse coûte que coûte.

La qualité de la réponse est souvent directement dépendante de la qualité de la question que vous lui posez.

Pour en savoir plus, lisez l’article de Futura Science, « Pourquoi le créateur de ChatGPT n’a aucun intérêt à empêcher son chatbot d’halluciner« .