Woran erkennt man eine korrekte KI-Übersetzung?

Man tippt eine Nachricht an einen Vermieter, drückt auf Übersetzen, und der Satz kommt flüssig, selbstbewusst und natürlich zurück. Er klingt richtig, und genau das ist das Problem: Zu erkennen, ob eine KI-Übersetzung korrekt ist, war nie so schwer wie heute, denn richtig klingen ist jetzt das, was Übersetzungen tun, die falschen eingeschlossen. Die Unsicherheit bleibt, weil die Folgen bleiben. Ein falsches Wort kann eine Klausel im Mietvertrag ändern, eine Antwort im Visumantrag, einen Satz in einer Arbeit, die gleich eingereicht wird. Die Maschine zögert nicht, also zögert man.

Dieses Zögern ist die neue Normalität. Früher verrieten sich Fehler durch holprige Formulierungen, Grammatikfehler oder offenkundige Brüche, an denen die Bedeutung ausblutete. Heute liest sich der Output, als hätte ein Mensch ihn geschrieben, was nur bedeutet, dass dieser Mensch sich geirrt haben könnte. Dass ein Text flüssig liest, ist kein Qualitätsbeweis mehr. Die Frage ist nicht, ob er sich natürlich anhört, sondern ob er das sagt, was gemeint ist, im richtigen Ton und mit der nötigen Präzision.

Die eigentliche Arbeit beginnt also erst nach dem ersten Entwurf. Die Übersetzung sieht fertig aus, doch die Überprüfung fängt gerade erst an. Die Antwort auf die Frage, wie man erkennt, ob eine KI-Übersetzung korrekt ist, ist kein Gefühl, sondern ein Verfahren: ein Stapel von Tests, die jeweils die Fehler aufdecken, die die anderen übersehen.

Was „korrekt“ eigentlich bedeutet #

Eine Übersetzung ist korrekt, wenn sie die Bedeutung der Ausgangssprache bewahrt, in der Zielsprache natürlich klingt, zum gewünschten Register passt und idiomatisch korrekt ist.

Die klassische Unterteilung in der Bewertungsliteratur ist Adäquatheit versus Flüssigkeit: Trifft sie das Richtige? Und drückt sie es so aus, wie es ein Muttersprachler tun würde? Diese beiden Kriterien reichen nicht aus. Ein Text kann zwar akkurat sein, wirkt aber steif oder zu förmlich für den Kontext. Oder er liest sich wunderbar, verfehlt aber eine entscheidende Nuance, weil das Idiom nicht übertragbar ist. Juliane House beschreibt in ihrem Buch Translation Quality Assessment: Past and Present, dass Korrektheit mit der Funktion zusammenhängt: Eine Übersetzung, die ihren Zweck in der neuen Sprache erfüllt, ist für diesen Zweck korrekt, selbst wenn sie in Ton oder Struktur vom Original abweicht. Deshalb kann eine Übersetzung zwar akkurat, aber unnatürlich sein; natürlich, aber im falschen Register; grammatikalisch, aber idiomatisch unsinnig. Die Frage „Ist sie korrekt?“ ohne Angabe der Achse ist daher eine Frage ohne Antwort.

Die flüssige Lüge #

Genau die Übersetzungen, die den Leuten Sorgen bereiten, sind die, die perfekt aussehen. Sie kommen poliert und selbstbewusst daher, ohne die alten Narben von Maschinenoutput, und das ist das Problem. Flüssig klingende Sätze lassen sich heute leicht erzeugen, aber für den Absender sind sie ohne Hilfsmittel unmöglich zu überprüfen. Douglas Hofstadter hat das in The Shallowness of Google Translate demonstriert: Ein zweisprachiger Autor füttert dem Tool eigene Texte und sieht zu, wie es Passagen zurückliefert, die sich flüssig lesen, aber kaum noch etwas mit dem Original gemein haben. Flüssig, selbstbewusst, hohl.

Der Wendepunkt war 2016, als Google in einem Beitrag mit dem Titel Found in translation sein neuronales System vorstellte. Die begleitende GNMT-Studie berichtete, dass das neue System im direkten Vergleich mit dem phrasenbasierten Vorgänger im Schnitt 60 Prozent weniger Übersetzungsfehler produzierte, in einer menschlichen Bewertung. In einigen Fällen seien maschinelle und menschliche Übersetzungen bei den getesteten, isolierten Sätzen kaum noch zu unterscheiden gewesen. Das war der Moment, in dem flüssiges Klingen aufhörte, ein Qualitätskriterium zu sein, weil auch falsche Übersetzungen plötzlich richtig klangen. Wer wissen will, warum der Output so gut klingt, findet die technischen Gründe in Warum LLMs gut übersetzen. Kurz gesagt: Die Modelle werden darauf trainiert, plausible Ausgaben zu erzeugen; ihre Fehler lesen sich also wie selbstbewusster Text.

Das Problem ist kein theoretisches. Ein Kommentator im Hacker-News-Thread zu Hofstadters Artikel beschrieb ein jahrelanges Experiment: „Das Wort ist χελιδόνι, das auf Griechisch ‚Schwalbe‘ (der Vogel) bedeutet. Solange ich dieses kleine Experiment durchführe, übersetzt Google es ins Französische mit avaler, dem Verb ‚schlucken‘.“ Perfekt flüssiges Französisch, falsche Wortart, falsche Bedeutung, keine sichtbare Nahtstelle. Denkt man das mal weiter für einen Satz, den man nicht überprüfen kann, dann hat man die Form des Risikos (Thread).

Auch die Entwickler von Übersetzungs-Tools kennen dieses Misstrauen. Der Autor von Offline Translate schrieb: „Lange Zeit hatte ich Bedenken, Übersetzungs-Apps zu nutzen, wenn ich E-Mails an meinen Arzt oder Behörden mit persönlichen Daten schrieb.“ Der Autor von Loqi, einem lokalen Übersetzungstool, pflichtete bei: „Selbst mit allen Opt-out-Optionen und Datenschutzbestimmungen fühlte es sich nie richtig an, besonders bei Arbeitsdokumenten, persönlichen Texten oder sensiblen Inhalten.“ Und der Rat der Community ist unmissverständlich, wie der Titel eines viel geteilten PSA auf r/languagelearning: „Immer die Übersetzung mit einer anderen Software und/oder einem Lehrer überprüfen, denn DeepL erzeugt gelegentlich zufällige Übersetzungen, die nichts mit der ursprünglichen Eingabe zu tun haben.“ Kann man Google Translate, DeepL oder den anderen Tools also trauen? Für den Alltag meistens ja, und dass sie flüssig klingen, ist echt. Bei Dingen mit Gewicht ist flüssiges Klingen aber kein Beweis, und die einzige ehrliche Antwort ist: Es werden Prüfungen durchgeführt, die nicht darauf basieren, wie der Text klingt.

Schick es zurück, woher es kam #

Rückübersetzung ist der älteste Überprüfungstrick: Man übersetzt die Übersetzung zurück in die eigene Sprache und liest, was zurückkommt. Wenn auf dem Rückweg die Bedeutung ankommt, mit der gestartet wurde, hat die Übersetzung vermutlich bewahrt, worauf es ankam. Wenn etwas anderes zurückkommt, als gemeint war, ist das Problem gefunden, bevor der Leser es findet. Genau diese Frage stellen sich Nutzer in Sprachlern-Communities, etwa in Threads wie „Wie überprüfe ich, ob meine Übersetzung korrekt ist?“ auf r/Korean.

Die Methode funktioniert, weil die beiden Richtungen einer Übersetzung selten auf dieselbe Weise scheitern. Ein Fehler, der auf dem Hinweg entsteht, überlebt den Rückweg meist nicht intakt; er taucht als Abweichung auf, die man in der eigenen Sprache erkennt, wo sich nichts hinter unvollständigen Kenntnissen der Zielsprache versteckt. Am besten führt man den Rückweg mit einem anderen Tool durch als dem, das für die Ausgangsübersetzung genutzt wurde, damit sich eine gemeinsame Schwachstelle nicht wiederholt. Das Ergebnis liest man als Aussage über die Bedeutung, nicht als Text, den man auf Stil bewertet.

Die Grenze ist ehrlich und wichtig: Ein Hin- und Rückweg kann einen Fehler verschleiern, wenn beide Richtungen von derselben falschen Annahme ausgehen; dann kehrt der Fehler als scheinbare Bestätigung zurück. Eine unveränderte Rückübersetzung ist ein Beleg, kein Beweis. Deshalb ist sie eine von mehreren Prüfungen, nicht die gesamte Antwort. Es gibt übrigens noch eine zweite, völlig andere Verwendung desselben Prinzips als Lernmethode; die Lernvariante der Rückübersetzung behandelt diesen Aspekt.

Lies es wie ein Muttersprachler, laut #

Man muss die Ausgangssprache nicht beherrschen, um viele Übersetzungsfehler zu erkennen. Das ist die Prämisse einer langlaufenden Diskussion auf r/books mit der Frage „Wie beurteilt man die Qualität einer Übersetzung, ohne die Originalsprache zu kennen?“. Die Antwort der Community: Beurteilt wird der Zieltext nach seinen eigenen Maßstäben. Ein Muttersprachler der Zielsprache erkennt unnatürlichen Rhythmus, falsches Register, Idiome, die kein Muttersprachler je verwenden würde, einen Ton, der mitten im Absatz von förmlich zu locker wechselt. Das alles erfordert keinen Blick ins Original.

Was strukturell nicht erkannt werden kann, ist, ob die Bedeutung übereinstimmt. Ein Muttersprachler der Zielsprache prüft, ob der Text flüssig liest, ob Register und Idiomatik stimmen, also die Achsen, die vollständig in der Zielsprache liegen. Genauigkeit aber existiert in der Beziehung zwischen zwei Texten, und wer nur einen davon liest, ist dafür von vornherein blind. Diese Asymmetrie ist der Grund, warum die einsprachige Prüfung und der Hin- und Rückweg in dieselbe Routine gehören: Jede deckt die Schwachstelle der anderen ab.

Die Arbeitsteilung kann sogar produktiv sein. Ein Kommentator in einem Hacker-News-Thread über menschlich korrigierte Maschinenübersetzungen brachte es auf den Punkt: „Ich kann kein Wort Chinesisch übersetzen, aber eine gute Maschinenübersetzung kann ich in der Regel gut korrigieren“ (Thread). Die Maschine übernimmt die Richtung, die der Absender nicht beherrscht, der Muttersprachler prüft das Ergebnis in der Sprache, die er perfekt kennt. Und die einfachste Version dieser Prüfung kommt ganz ohne zweite Person aus. Liest man die Übersetzung laut vor, hört das Ohr, was das Auge übersieht: einen Rhythmus, der nicht stimmt, einen Satz, den niemand so sagen würde, ein Wort, das zwar technisch korrekt ist, aber nie tatsächlich verwendet wird.