À l’heure où l’intelligence artificielle s’immisce dans notre quotidien et transforme notre manière d’accéder à l’information, une récente étude met en lumière la fiabilité discutable des chatbots dans ce domaine. Les résultats révèlent que ces outils, bien qu’utilisés par une jeune génération avide de nouveautés, ne sont pas toujours à la hauteur lorsqu’il s’agit de fournir des informations précises et contextuelles sur l’actualité. Plongeons dans les détails de cette enquête qui bouscule notre perception des assistants virtuels.
L’essentiel à retenir
- Les chatbots comme ChatGPT et Gemini sont souvent inexactes lorsqu’ils traitent de l’actualité, avec un taux d’erreur notable dans la citation des sources.
- L’étude menée par des médias internationaux montre que 45 % des réponses des chatbots contiennent des erreurs, notamment Gemini, qui affiche un taux d’erreur de 76 %.
- Les erreurs sont plus fréquentes sur les sujets d’actualité en développement, tandis que les faits déjà établis sont généralement mieux couverts.
Les chatbots face à l’actualité : une étude internationale
Une étude récente dirigée par la BBC et l’Union Européenne de Radio-Télévision a analysé la fiabilité des chatbots populaires tels que ChatGPT, Gemini, Perplexity et Microsoft Copilot. Ce travail a impliqué 19 médias européens, ainsi que des participants canadiens et américains.
L’étude a révélé que 45 % des réponses fournies par ces chatbots contenaient au moins une erreur. Parmi les plus fréquentes, on trouve des erreurs dans la citation des sources (31 %), une précision défaillante (20 %) et un manque de contexte (14 %).
Gemini : le mauvais élève de l’étude
Parmi les chatbots testés, Gemini s’est démarqué par son taux d’erreur élevé, atteignant 76 %. Les autres chatbots, bien qu’affichant de meilleurs résultats, ne sont pas exempts de critique. Perplexity, par exemple, bien qu’étant le plus précis du groupe, a commis des erreurs dans 31 % des cas.
Les taux d’erreur pour ChatGPT et Microsoft Copilot sont proches, avec respectivement 36 % et 37 %. Étant donné qu’ils reposent sur le même modèle de base, ces résultats similaires ne sont pas surprenants.
Une meilleure performance sur les actualités « closes »
Les chatbots semblent offrir des réponses plus précises lorsque les sujets d’actualité sont considérés comme « clos ». En revanche, pour les événements en cours, tels que les conflits armés, les erreurs sont plus fréquentes.
Comparée à une précédente étude de la BBC, cette analyse montre une légère amélioration dans la performance des chatbots, bien que des erreurs persistent dans une part considérable des réponses.
Les limites persistantes des chatbots IA
Les premières générations de chatbots souffraient d’un décalage temporel dû à des ensembles de données obsolètes. Les entreprises ont tenté de remédier à cette lacune en intégrant l’accès à Internet, mais il reste du chemin à parcourir pour une représentation précise et actuelle des informations.
Face à ces limitations, il est conseillé de vérifier soi-même les actualités plutôt que de s’en remettre exclusivement aux chatbots pour des informations fiables.
Les chatbots, bien qu’innovants, sont encore en phase de développement en ce qui concerne la fiabilité des informations. ChatGPT, développé par OpenAI, et Gemini, lancé par une autre entreprise technologique, illustrent les avancées et les défis actuels des systèmes d’IA dans le domaine de l’information. OpenAI, en particulier, continue de travailler sur l’amélioration de la précision et de la pertinence des réponses fournies par ses modèles, tout en cherchant à intégrer des mises à jour plus fréquentes pour pallier les erreurs identifiées.