Als Ausgangsmaterial dienten drei veröffentlichte Kurzgeschichten. "FISH" von Emilie Fox, 2021 im Longleaf Review erschienen, "High Heels" von Susie Maguire aus dem Sammelband "The Short Hello" von 2000 sowie "Inisfree" von Patrick Smyth aus einer Sammlung von 1993. Zu jeder dieser Geschichten ließen die Forscherinnen von ChatGPT 4.0 ein Gegenstück von rund 1.000 Wörtern erzeugen, jeweils mit einer Anweisung, die Thema, Erzählperspektive und Bildsprache des menschlichen Originals nachbaute.

Die Arbeit besteht aus drei eigenständigen Experimenten mit jeweils eigenen Teilnehmergruppen. Keines davon ist ein Vortest, jedes beantwortet eine andere Frage. Im ersten Experiment lasen 1.682 US-Erwachsene jeweils nur einen Text. Der Hälfte wurde wahrheitsgemäß gesagt, wer ihn verfasst hatte, der anderen Hälfte wurde das Gegenteil gesagt. Bewertet wurde auf zwei Skalen von minus drei bis plus drei. Die eine erfasste, wie stark die Lesenden in die Geschichte eintauchten, die andere die wahrgenommene Qualität von Handlung, Figuren, Thema und Stil.

Auf der Qualitätsskala erreichten die ChatGPT-Texte im Mittel 1,54, die menschlich geschriebenen 0,97. Beim Eintauchen in die Geschichte lag die KI mit 1,42 gegenüber 1,00 vorn. Beide Abstände sind groß genug, um nicht auf Zufall zu beruhen.

Parallel dazu wirkte das Etikett. Wer glaubte, einen menschlich verfassten Text zu lesen, vergab durchweg bessere Noten, unabhängig davon, was tatsächlich vor ihm lag. Bei der Qualität waren das 1,40 gegenüber 1,12, beim Eintauchen 1,32 gegenüber 1,10. Die beiden Effekte laufen also gegeneinander. Die Testpersonen bevorzugten faktisch die Maschine und bestraften gleichzeitig alles, was nach Maschine aussah.

Das deckt sich mit einem Muster, das die Forschung inzwischen gut kennt. Wer offenlegt, dass KI im Spiel war, zahlt dafür mit schlechteren Bewertungen. Eine groß angelegte Untersuchung von Raj, Berg und Seamans kommt zu dem Schluss, dass sich dieser Abschlag nicht wegargumentieren lässt. Selbst wenn man Testpersonen vorab erklärt, wie leistungsfähig generative Systeme sind, bleibt er bestehen.

Das zweite und das dritte Experiment mit zusammen 905 neuen Teilnehmenden stellten die direkte Frage. Jede Person bekam ein Textpaar, eine menschliche und eine generierte Geschichte, und sollte zuordnen.

In Experiment 2 lagen 39,4 Prozent richtig. Das ist schlechter, als wenn die Teilnehmenden eine Münze geworfen hätten. Experiment 3, einige Monate später durchgeführt, kam auf 51,97 Prozent und lag damit genau auf dem Niveau des reinen Ratens. Die Formulierung der Frage machte keinen Unterschied. Ob nach dem menschlichen oder nach dem maschinellen Text gefragt wurde, änderte an der Trefferquote nichts. Auch das Selbstvertrauen der Testpersonen half nicht weiter. Wer sich sicher war, lag nicht häufiger richtig.

Bemerkenswert ist der Zwischenschritt. In Experiment 2 hielten die Testpersonen die menschlichen Geschichten systematisch für KI-Produkte und umgekehrt. Sie lagen nicht nur daneben, sondern verlässlich falsch herum.

Die Untersuchung fragte auch, woran die Teilnehmenden ihre Entscheidung festmachten. Wer sich auf die Sprache berief, lag deutlich häufiger daneben. In Experiment 3 galt das ebenso für diejenigen, die nach ihrem Lesevergnügen entschieden. Einzig wer auf Symbolik und Bildsprache achtete, lag etwas häufiger richtig, und selbst dieser Vorsprung war schwach.

Interessant für die Branche ist ein weiterer Befund. Wer sich selbst viel Erfahrung im Umgang mit KI-Systemen bescheinigte, traf häufiger die richtige Wahl. Das galt in Experiment 2 mit einem eigens entwickelten Fragebogen ebenso wie in Experiment 3, wo ein bereits in anderen Untersuchungen erprobter Fragebogen zum Einsatz kam. Erfahrung mit belletristischer Literatur dagegen half überhaupt nicht. Wer viel liest, schreibt oder beruflich mit Texten arbeitet, erkannte KI-Prosa nicht besser als jemand ohne jede literarische Vorbildung.

Wer also erkennen will, was aus der Maschine kommt, braucht Erfahrung mit der Maschine, nicht mit Literatur. Das ist eine handfeste Aussage darüber, welche Art von Erfahrung in Lektorat und Redaktion künftig zählt.

Drei Punkte sind praktisch relevant.

Erstens taugt die geschulte Leseerfahrung allein nicht als Erkennungsinstrument. Wer im Lektorat oder in der Manuskriptsichtung darauf setzt, dass sich maschinelle Texte schon durch ihren Klang verraten, arbeitet gegen die Datenlage. Die Merkmale, die aus dem Bauch heraus nach KI klingen, sind offenbar genau die falschen.

Zweitens ist die Kennzeichnungsfrage keine rein rechtliche. Die Abwertung offengelegter KI-Beteiligung ist real und messbar. Verlage, die Transparenzpflichten erfüllen oder freiwillig kennzeichnen, sollten einkalkulieren, dass das Etikett die Wahrnehmung beeinflusst, und zwar unabhängig von der tatsächlichen Textqualität. Das betrifft Covertexte, Metadaten und Pressearbeit gleichermaßen.

Drittens ist der scheinbare Qualitätsvorsprung mit Vorsicht zu genießen. Wenger und Kenett haben gezeigt, dass generative Systeme im Einzelstück überzeugen, über viele Texte hinweg aber sehr ähnlich produzieren. Menschliche Autorenschaft streut deutlich stärker. Für ein Programm, das sich über Unterscheidbarkeit definiert, ist das der eigentliche Punkt. Eine einzelne KI-Geschichte besteht den Vergleich. Zwanzig davon in einer Vorschau vermutlich nicht.

Die Autorinnen benennen die Einschränkungen selbst, und sie wiegen schwer genug, um die Ergebnisse nicht zu überdehnen.

Die Texte sind mit rund 1.000 Wörtern sehr kurz. Ob eine KI über die Länge eines Romans Figuren und Handlungsbögen ebenso überzeugend trägt, ist damit nicht beantwortet. Alle Geschichten gehören zur realistischen Erzählprosa, Genres wie Romance oder Science-Fiction wurden nicht geprüft. Die Zuordnungsaufgabe verriet den Testpersonen zudem, dass genau ein Text je Paar maschinell erzeugt war. Diese Information gibt es im Alltag nicht, die realen Bedingungen dürften also noch ungünstiger sein.

Hinzu kommt ein Punkt zur Methode, den die Studie nicht eigens diskutiert. Die Anweisungen an ChatGPT wurden aus den menschlichen Vorlagen rückwärts entwickelt, samt Motiv, Perspektive und Tonlage. Verglichen wird damit nicht freie maschinelle Kreativität gegen freie menschliche, sondern eine sehr gezielt gesteuerte Nachbildung gegen ihr Original. Der Fragebogen zur Qualität war zudem neu entwickelt und vorher nie erprobt. Und keines der drei Experimente wurde vorab angemeldet. Die Forscherinnen haben ihr Vorgehen und ihre Erwartungen also nicht öffentlich festgelegt, bevor sie mit dem Erheben der Daten begannen, was in der Psychologie inzwischen als Qualitätsmerkmal gilt.

Alle Teilnehmenden stammen aus den USA. Die Texte wurden zwischen November 2023 und Dezember 2024 erzeugt, das verwendete Modell ist damit längst überholt.

Der letzte Punkt spricht allerdings kaum gegen die Ergebnisse. Heutige Modelle dürften eher besser abschneiden.

---

Quelle: Sears, S. & Weisberg, D. S. (2026). Bot or not: Can people tell the difference between stories written by a human or by an AI system? Judgment and Decision Making, 21:e21. doi.org/10.1017/jdm.2026.10042. Open Access. Daten und Materialien unter osf.io/d8f6m