ChatGPT-Suche: Ungenauigkeits- und Fehlattributionsprobleme Aufgedeckt

OpenAI's ChatGPT-Suchwerkzeug: Eine Analyse der Genauigkeitsprobleme

Die Einführung von OpenAI's ChatGPT-Suchwerkzeug hatte das Ziel, den Nutzern schnelle und zeitnahe Antworten sowie Links zu relevanten Quellen zu bieten. Allerdings haben jüngste Tests, die vom Tow Center for Digital Journalism der Columbia University durchgeführt wurden, auf einige besorgniserregende Genauigkeitsprobleme mit dem Werkzeug aufmerksam gemacht.

Ergebnisse der Forschung von Columbia

Die Forscher des Tow Centers untersuchten die Fähigkeit von ChatGPT, genaue Zitate aus verschiedenen Nachrichtenquellen bereitzustellen. Im Rahmen der Studie forderten sie den Bot auf, die Quelle von zweihundert Zitaten aus zwanzig verschiedenen Publikationen zu identifizieren. Alarmierend war, dass die Ergebnisse zeigten, dass der Chatbot erheblich Schwierigkeiten hatte, diese Aufgabe zu erfüllen. Zum Beispiel kamen vierzig der Zitate von Verlagen, die OpenAI's Suchcrawler keinen Zugriff auf ihre Websites gewährt hatten. Dennoch lieferte der Chatbot mit voller Überzeugung falsche Informationen.

Umfang der Fehlzuordnung

Die Daten ergaben, dass ChatGPT 153 falsche Antworten zurückgab, jedoch nur siebenmal Unsicherheit einräumte. In diesen seltenen Fällen verwendete der Bot Qualifizierer wie "scheint", "es ist möglich" oder gab ausdrücklich an, dass er nicht in der Lage sei, genaue Artikel zu finden. Dies wirft Fragen zur Zuverlässigkeit der Informationen auf, die von der KI präsentiert werden.

Beispiele für falsche Antworten

• Ein bemerkenswerter Fehler drehte sich um die Falschezuteilung eines Leserbrief-Zitats aus dem Orlando Sentinel, das einem in Time veröffentlichten Artikel zugeschrieben wurde.
• In einem anderen Fall, während er versuchte, ein Zitat aus einem Artikel der New York Times über bedrohte Wale zu identifizieren, leitete ChatGPT die Nutzer zu einer anderen Seite, die die ursprüngliche Geschichte plagiiert hatte, weiter.

OpenAIs Antwort

OpenAI reagierte auf die Ergebnisse und erklärte, dass Herausforderungen bei der Falschezuteilung ohne vollständigen Zugang zu den Daten und Methoden der Tow Center-Forscher schwer zu lösen seien. Sie charakterisierten die Studie als einen atypischen Test ihres Produkts und versprachen fortlaufende Verbesserungen zur Verbesserung der Suchergebnisse.

Folgen für die Nutzer

Diese Studie wirft erhebliche Bedenken hinsichtlich der Zuverlässigkeit von KI-generierten Informationen auf. Nutzer, die sich auf ChatGPT für genaue und aktuelle Daten verlassen, sollten Vorsicht walten lassen, insbesondere angesichts der Neigung des Bots, Informationen mit irreführendem Selbstbewusstsein anzubieten.

Fazit

Da KI-Tools zunehmend im täglichen Informationskonsum verbreitet werden, ist die Sicherstellung ihrer Zuverlässigkeit von größter Bedeutung. OpenAIs Verpflichtung zur Verbesserung des ChatGPT-Suchwerkzeugs spiegelt die Notwendigkeit fortlaufender Verbesserungen in Bezug auf Genauigkeit und Integrität der Informationen wider.

Weiterführende Literatur

Wenn Sie mehr darüber erfahren möchten, wie KI-Tools funktionieren und welche Auswirkungen sie auf den Journalismus haben, sollten Sie relevante Artikel über digitalen Journalismus und KI-Ethische Richtlinien lesen.