Die Autorinnen und Autoren haben zunächst Unterschiede in der Struktur von durch Menschen verfasste „Perspectives“ aus dem Fachjournal „Science“ und von ChatGPT verfassten Texten mit dem Thema dieser Perspectives ausgemacht. Perspectives sind kurze, von Forschenden verfasste Artikel, die einen Überblick über ein bestimmtes Forschungsthema oder -ergebnis geben und weiteren Kontext oder neue Perspektiven hinzufügen sollen. Zu den Unterschieden zählte zum Beispiel die Länge von Sätzen, die Länge von Paragrafen und die Verwendung bestimmter Satzzeichen. Auf Basis dieser Unterschiede kann das Modell laut den Autorinnen und Autoren recht genau identifizieren, ob der Text von einem Menschen oder ChatGPT verfasst wurde.
Kritische Stimmen
Allerdings gibt es einige Limitationen, die die Aussagekraft der Studie einschränken. Der Trainingsdatensatz ist recht klein: 64 von Menschen verfasste und 128 von ChatGPT erstellte Perspectives. Außerdem wurde das Modell nur an Perspectives aus „Science“ trainiert und überprüft, weshalb eine gute Leistung bei der Detektion der Autorenschaft genau solcher Texte erst einmal nicht überraschend scheint. Zuletzt wurden die von ChatGPT verfassten Texte immer mit der gleichen Eingabeaufforderung (Prompt) erstellt: „Can you produce a 300 to 400 word summary on this topic: […]“. Auch das kann dazu führen, dass die ausgegebenen KI-generierten Texte eine untereinander ähnliche Struktur aufweisen, die dann gegebenenfalls auch leichter automatisiert zu erkennen ist.
Prof. Dr. Korbinian Riedhammer von der Technischen Hochschule Nürnberg hält einen Nachweis des Einsatzes eines KI-Systems für quasi unmöglich, „sofern das große Sprachmodell (Large Language Model, LLM) ‚gut genug‘ ist“. Die Studie verurteilt er als „Effekthascherei“. Mit Blick auf die Leistungsfähigkeit aktueller (öffentlich zugänglicher) LLMs sei sie sogar kontraproduktiv. Ein Preprint befasse sich auch mit genau dieser Frage [1].“
Fakten prüfen
Dass KI-basierte Textgeneratoren und deren Texte wohl fortan ein fester Bestandteil im gesellschaftlichen Miteinander bleiben, vertreten Prof. Dr. Iryna Gurevych und Ji-Ung Lee von der Technischen Universität Darmstadt. Letztlich könnten sie in diversen Berufsfeldern die Arbeit deutlich vereinfachen, beispielsweise indem sie Ärzten das Verfassen von Patientenberichten erleichterten. Gleichzeitig werde es mit zunehmender Mensch-Maschine-Kollaboration – also hybrider Textproduktion – schwieriger werden, eine Grenze zwischen KI-generierten und menschlichen Texten zu ziehen. Vermutlich werde sich die Forschung in Zukunft mehr auf die Überprüfung der Fakten fokussieren müssen; denn falsche Fakten könnten unabhängig davon, ob der Text KI-generiert ist oder nicht, einen erheblichen Schaden anrichten. „So kam es beispielsweise kürzlich dazu, dass Zitate aus von ChatGPT frei erfundenen Rechtsfällen als Teil der Anklageschrift vor Gericht landeten und erst durch den Richter entlarvt wurden [2]. Gerade bei KI-Modellen wie ChatGPT, die dafür bekannt sind, Fakten zu ‚halluzinieren‘, ist es umso wichtiger, eine Möglichkeit zur Überprüfung zu haben“, so die Forschenden.
Quelle: Science Media
Artikel teilen
