Recherche ChatGPT : Problèmes d'inexactitude et de mauvaise attribution découverts

L'outil de recherche ChatGPT d'OpenAI : une analyse des problèmes de précision

Le lancement de l'outil de recherche ChatGPT d'OpenAI visait à fournir aux utilisateurs des réponses rapides et opportunes, ainsi que des liens vers des sources pertinentes. Cependant, des tests récents réalisés par le Tow Center for Digital Journalism de l'Université de Columbia ont mis en lumière certains problèmes de précision préoccupants avec l'outil.

Résultats de la recherche de Columbia

Les chercheurs du Tow Center ont examiné la capacité de ChatGPT à fournir des citations exactes provenant de divers médias. Au cours de l'étude, ils ont demandé au bot d'identifier la source de deux cents citations provenant de vingt publications différentes. De manière alarmante, les résultats ont indiqué que le chatbot avait du mal à remplir cette tâche. Par exemple, quarante des citations provenaient d'éditeurs qui n'avaient pas autorisé le crawler de recherche d'OpenAI à accéder à leurs sites web. Malgré cela, le chatbot a fourni des informations incorrectes avec une grande confiance.

Étendue de la mauvaise attribution

Les données ont révélé que ChatGPT avait donné des réponses incorrectes 153 fois, mais n'a reconnu son incertitude que sept fois. Dans ces rares cas, le bot a utilisé des qualificatifs tels que "semble", "il est possible" ou a explicitement déclaré son incapacité à localiser des articles exacts. Cela soulève des questions sur la fiabilité des informations présentées par l'IA.

Exemples de réponses incorrectes

• Une erreur notable a impliqué l'attribution incorrecte d'une citation d'une lettre à l'éditeur du Orlando Sentinel à un article publié dans Time.
• Dans un autre cas, tout en essayant d'identifier une citation d'un article du New York Times sur les baleines en danger, ChatGPT a redirigé les utilisateurs vers un site différent qui avait plagié l'histoire originale.

Réponse d'OpenAI

OpenAI a répondu aux résultats en déclarant que les défis d'attribution incorrecte sont difficiles à résoudre sans un accès complet aux données et aux méthodologies utilisées par les chercheurs du Tow Center. Ils ont caractérisé l'étude comme un test atypique de leur produit et ont promis des améliorations continues pour améliorer les résultats de recherche.

Implications pour les utilisateurs

Cette étude soulève des préoccupations importantes concernant la fiabilité des informations générées par l'IA. Les utilisateurs comptant sur ChatGPT pour des données précises et en temps réel doivent faire preuve de prudence, en particulier compte tenu de la tendance du bot à offrir des informations avec une confiance trompeuse.

Conclusion

Alors que les outils d'IA deviennent de plus en plus présents dans la consommation quotidienne d'informations, assurer leur fiabilité est primordial. L'engagement d'OpenAI à améliorer l'outil de recherche ChatGPT reflète la nécessité d'améliorations continues en matière de précision et d'intégrité de l'information.

Lectures supplémentaires

Si vous souhaitez en savoir plus sur le fonctionnement des outils d'IA et leurs implications sur le journalisme, n'hésitez pas à consulter des articles pertinents sur le journalisme numérique et l'éthique de l'IA.