Warum sind LLMs so gut im Übersetzen?
Wer maschinelle Übersetzung vor fünfzehn Jahren benutzt hat, erinnert sich an das Gefühl. Man fügte einen Satz ein und bekam etwas zurück, das technisch gesehen lesbar und gelegentlich urkomisch war: eine Aneinanderreihung von Wörtern, die sich offensichtlich noch nie begegnet waren. Heute produzieren große Sprachmodelle Übersetzungen, die sich lesen, als hätte ein sorgfältiger Mensch sie geschrieben, mit dem richtigen Ton, den richtigen Redewendungen und dem Rhythmus der Zielsprache. Dazwischen ist etwas Dramatisches passiert, und es lohnt sich, das zu verstehen, denn die Geschichte erklärt nicht nur, warum moderne Übersetzung so gut funktioniert, sondern auch, warum sie manchmal auf schwer erkennbare Weise scheitert.
Hier kommt der seltsame Teil: Niemand hat sich hingesetzt und diese Modelle das Übersetzen gelehrt. Es gab keine Vokabelübungen, keine Grammatikstunden, keine zweisprachigen Karteikarten. Die Fähigkeit tauchte einfach auf, als die Modelle groß genug wurden, und genau das macht die Frage im Titel dieses Artikels interessanter, als sie auf den ersten Blick aussieht. Die Antwort kommt in drei Akten: ein Engpass, ein Durchbruch und ein Zufall.
Der Gedächtnis-Engpass
Die ersten praxistauglichen maschinellen Übersetzungssysteme waren im Kern riesige Wörterbücher. Statistische maschinelle Übersetzung, die Google Translate in seinem ersten Jahrzehnt antrieb, zerlegte Sätze in Fragmente und schlug jedes Fragment in enormen Tabellen bereits von Menschen übersetzter Texte nach. Wenn Ihr Satz etwas in den Tabellen ähnelte, konnte das Ergebnis ordentlich sein. Wenn nicht, wenn er ein seltenes Wort oder eine lange, verschachtelte Struktur enthielt, stolperte das System, weil es kein echtes Modell des Satzes als Ganzes hatte. Es wusste, wie Satzteile üblicherweise übersetzt werden. Es wusste nicht, was der Satz bedeutete.
2014 stellte ein Team um Ilya Sutskever einen grundlegend anderen Ansatz vor, der heute als Sequence-to-Sequence-Lernen bekannt ist. Ein neuronales Netz, der Encoder, liest den gesamten Ausgangssatz und komprimiert ihn zu einer einzigen numerischen Zusammenfassung fester Größe, einer Art destilliertem Gedanken. Ein zweites Netz, der Decoder, entpackt diese Zusammenfassung und schreibt die Übersetzung Wort für Wort. Zum ersten Mal übersetzten Maschinen aus der Bedeutung heraus statt aus Phrasentabellen, und die Qualität sprang nach oben. Google stellte seinen Übersetzungsdienst 2016 auf diesen neuronalen Ansatz um.
Doch das Design barg zwei Schwächen, die die Forscher nicht wegkonstruieren konnten. Die erste war die Zusammenfassung selbst: Einen ganzen Satz in einen einzigen Gedanken fester Größe zu pressen, ist, als würde man einen Freund bitten, einen Absatz auf zehn Wörter zu kürzen und dann aus der Kurzfassung zu übersetzen. Lange Sätze verloren ihren Anfang, bevor ihr Ende erreicht war. Die zweite Schwäche war die Geschwindigkeit. Wort-für-Wort-Verarbeitung in strenger Reihenfolge bedeutete, dass die Modelle nicht parallel trainiert werden konnten, was ihrer Größe eine Decke aufsetzte. Ein weiteres Paper aus dem Jahr 2014, von Dzmitry Bahdanau und Kollegen, bot einen Teilausweg mit einer Idee namens Attention: Statt sich nur auf die Zusammenfassung zu verlassen, durfte der Decoder zurück auf den Ausgangssatz blicken und sich bei jedem Schritt auf die Wörter konzentrieren, die gerade am wichtigsten waren. Attention funktionierte bemerkenswert gut. Innerhalb von drei Jahren sollte sich zeigen, dass es der ganze Trick war.
Der Durchbruch von 2017
2017 veröffentlichten acht Google-Forscher ein Paper mit einem Titel, der seitdem zum Slogan geworden ist: Attention Is All You Need. Ihr Vorschlag war von radikaler Einfachheit. Wenn der Rückblick auf den Satz so gut funktioniert, warum dann überhaupt sequenziell lesen? Ihre neue Architektur, der Transformer, warf das Wort-für-Wort-Fließband komplett über Bord. Stattdessen schaut jedes Wort eines Satzes direkt auf jedes andere Wort, alle gleichzeitig, und entscheidet, welche für sein Verständnis wichtig sind.
Überlegen Sie, was das bringt. Im Satz „Das Tier überquerte die Straße nicht, weil es zu müde war" muss man, um zu verstehen, worauf „es" sich bezieht, ein Pronomen mit einem mehrere Wörter entfernten Substantiv verbinden und dabei eine verlockende falsche Antwort ignorieren, „Straße", die näher steht. Ein sequenzielles Modell reicht dieses Problem durch eine Kette von Gedächtniszellen und hofft, dass nichts verloren geht. Ein Transformer löst es in einem einzigen Schritt, weil „es" direkt auf „Tier" zurückblicken kann, egal wie weit die beiden auseinanderliegen. Besser noch: Das Modell tut dies mit vielen Attention-Köpfen, die parallel arbeiten und jeweils auf eine andere Art von Beziehung sensibel sind: Einer verfolgt die Grammatik, ein anderer die Bedeutung, ein dritter Referenzen, wie ein Raum voller Leser, die jeder auf etwas anderes achten. Ein mathematischer Trick namens Positionskodierung behält die Wortreihenfolge im Blick, sodass das System nicht nur weiß, welche Wörter vorhanden sind, sondern auch, wo sie stehen.
Die praktischen Folgen waren enorm. Weil jedes Wort gleichzeitig statt nacheinander verarbeitet wird, ließ sich das Training auf Tausende parallel arbeitende Chips verteilen, und die Modelle wuchsen von Millionen auf Hunderte Milliarden Parameter. Auf den Standard-Benchmarks WMT 2014 schlug der ursprüngliche Transformer die besten bestehenden Systeme bereits um mehr als zwei BLEU-Punkte, ein großer Vorsprung in einem Feld, in dem Fortschritt sonst in Bruchteilen gemessen wird. Und die Architektur erwies sich als universell: BERT, GPT, T5 und jedes große Sprachmodell seitdem ist im Kern ein Transformer.
Probieren Sie Fink für Ihre nächste Übersetzung
Sehen Sie Übersetzung, jede Änderung und das Warum auf einem Bildschirm.
App öffnenDer Zufall: Übersetzen, das niemand trainiert hat
An dieser Stelle nimmt die Geschichte ihre seltsamste Wendung. Moderne große Sprachmodelle werden auf genau eine Aufgabe trainiert: das nächste Wort in einem Text vorherzusagen. Sie sehen einen halben Satz und raten, was als Nächstes kommt, Milliarden über Milliarden Male, über Hunderte Milliarden Wörter aus Büchern, Artikeln und Websites. Niemand reicht ihnen Paare übersetzter Sätze zum Studieren. Niemand definiert Übersetzen überhaupt als Aufgabe.
Doch die Trainingsdaten bergen ein stilles Geheimnis. Sie sind größtenteils Englisch, aber ein nennenswerter Anteil, ein paar Prozent, ist in anderen Sprachen geschrieben, und überall verstreut liegen Seiten, die zwei Sprachen gleichzeitig erwähnen: ein Zitat auf Französisch mit seiner englischen Wiedergabe, ein Handbuch im parallelen Deutsch, ein Forenbeitrag, der mitten im Satz zwischen Spanisch und Englisch wechselt. Diese beiläufigen zweisprachigen Signale, multipliziert mit einem Trainingskorpus von der Größe einer Bibliothek, waren genug. Ab einer bestimmten Größe tauchte Übersetzungsfähigkeit abrupt in Modellen auf, die nie danach gefragt worden waren. Forscher nennen das eine emergente Fähigkeit, und Übersetzung ist ihr klassisches Beispiel, dokumentiert in systematischen Übersichtsarbeiten über mehrsprachige Modelle.
Warum das passiert, wird klarer, seit Wissenschaftler in diese Modelle hineinschauen können. Jüngste Arbeiten, die die internen Schaltkreise mehrsprachiger Modelle nachverfolgen, haben ergeben, dass sie geteilte Repräsentationen bilden: Das Konzept „Hund" oder „Gerechtigkeit" oder „gestern" aktiviert weitgehend dieselbe interne Maschinerie, egal ob es auf Englisch, Deutsch oder Japanisch ankommt; die sprachspezifische Verkleidung kommt erst kurz vor der Ausgabe dazu. Englisch fungiert oft als interner Treffpunkt, ein Drehkreuz, das das Modell auf dem Weg zwischen anderen Sprachen durchläuft. In einem sehr realen Sinn baut das Modell einen Raum, in dem zuerst die Bedeutung lebt und erst dann die Wörter. Sobald die Bedeutung an einem sprachneutralen Ort sitzt, ist Übersetzen weniger eine besondere Fertigkeit als eine natürliche Konsequenz dessen, wie das Modell denkt.
Warum sich die Ergebnisse besser lesen
Der Mechanismus erklärt das Erlebnis. Weil Attention einen ganzen Abschnitt auf einmal erfasst, behalten moderne Modelle den gesamten Kontext im Blick: Ein Pronomen verweist noch korrekt auf einen zwei Absätze zuvor genannten Namen, ein Verb stimmt mit seinem fernen Subjekt überein, und ein mehrdeutiges Wort bezieht seine Bedeutung aus den umgebenden Sätzen statt aus dem ersten Wörterbucheintrag. Der alte Fehlermodus, bei dem jeder Satz in einsamer Isolation übersetzt wurde, ist weitgehend verschwunden.
Genauso wichtig: Ein Sprachmodell ist ein Schriftsteller, bevor es ein Übersetzer ist. Es hat die Zielsprache aus Bibliotheken gut geschriebener Texte aufgesogen, darum trägt seine Ausgabe die Flüssigkeit, die Idiomatik und das Register von etwas Komponiertem statt etwas Zusammengesetztem. Es hat außerdem Ihr Fachgebiet gelesen, welches es auch sei: Handbücher, Verträge, medizinische Aufsätze, Romane. Forschung zu menschähnlichen Übersetzungsstrategien hat gezeigt, dass man diese Modelle sogar durch dieselben vorbereitenden Schritte führen kann, die ein professioneller Übersetzer unternimmt: Schlüsselwörter, Thema und Kontext abwägen, bevor man sich auf eine Formulierung festlegt, was Fehler wie Falschübersetzungen und Auslassungen messbar reduziert. Und für spezialisierte Arbeit kann Feintuning oder eine Handvoll Beispielübersetzungen im Prompt ein allgemeines Modell auf die Terminologie eines bestimmten Unternehmens einstellen, ohne es von Grund auf neu zu trainieren.
Wo LLMs trotzdem stolpern
Nichts davon bedeutet, dass Übersetzen ein gelöstes Problem ist. Dieselbe Schieflage in den Trainingsdaten, die Englisch zum internen Drehkreuz macht, sorgt auch für ungleichmäßige Qualität: Sprachen mit wenig Text im Netz sind im Training dünn vertreten, und Übersetzungen mit ihnen bleiben messbar schwächer, wie breite Übersichtsarbeiten des Feldes klar zeigen. Die Leistung ist am stärksten, wenn Englisch auf einer Seite des Sprachpaars steht, und sie lässt für Richtungen nach, die das Drehkreuz überspringen. Selbst zwischen großen Sprachen finden Evaluationen über Fachdomänen hinweg, dass die Qualität abfällt, sobald Texte länger werden, dichter an Terminologie oder weiter von Alltagsprosa entfernt sind.
Das tiefere Problem ist, wie diese Modelle scheitern: lautlos. Ein älteres System verkündete seine Verwirrung mit kryptischem Output, den man aus der Ferne erkannte. Ein Sprachmodell produziert jedes einzelne Mal flüssige, selbstbewusste Prosa, auch in den Fällen, in denen es falsch liegt. Ein falsch übersetzter Fachbegriff, eine Nuance, die verdunstet ist, ein Register, das von förmlich ins Kumpelhafte gedriftet ist: All das liest sich genauso glatt wie eine korrekte Übersetzung. Die verbleibenden Fehler sind genau die, die ein Leser nicht sehen kann, wenn er nichts zum Vergleichen hat.
Die kurze Antwort
Große Sprachmodelle sind gut im Übersetzen, weil sich ab einer bestimmten Größe herausgestellt hat, dass Sprache verstehen und Sprache übersetzen dasselbe Problem sind. Sobald ein Modell ein Verständnis von Bedeutung aufbaut, das über jeder einzelnen Sprache schwebt, kommt der Wechsel zwischen Sprachen beinahe von selbst. Genau deshalb setzen wir bei Fink Translate auf die leistungsstärksten verfügbaren LLMs: Sie sind schlicht die stärksten Übersetzungsmaschinen, die es gibt.
Und gerade weil selbst die stärksten Maschinen diese leisen Fehler machen, existiert Fink. Statt Sie zu bitten, einer Blackbox zu vertrauen, zeigt Fink Ihnen die Übersetzung, jede Änderung auf dem Weg dorthin und das Warum dahinter, sodass ein lautloser Fehler ein sichtbarer wird. Wie das genau funktioniert, können Sie auf unserer Seite über die Funktionsweise von Fink nachlesen. Und wenn Sie wissen möchten, wie Hunderte Millionen Menschen überhaupt dazu kamen, mit diesen Modellen zu übersetzen, haben wir uns die Nutzungszahlen separat angesehen.
Quellen und weiterführende Literatur
Die oben erzählten Wendepunkte beruhen auf drei klassischen Papieren: Sutskever und Kollegen über Sequence-to-Sequence-Lernen von 2014, Bahdanau und Kollegen über den ersten Attention-Mechanismus, ebenfalls von 2014, und Vaswani und Kollegens Attention Is All You Need von 2017, das den Transformer einführte. Für die mehrsprachige Seite der Geschichte kartieren zwei Übersichtsarbeiten das Gebiet, Multilingual Large Language Models: A Systematic Survey und A Survey on Large Language Models with Multilingualism, während Tracing Multilingual Representations in LLMs einen Blick auf die oben beschriebene geteilte interne Schaltlogik bietet. Zur Übersetzungsqualität im Speziellen hat Exploring Human-Like Translation Strategy with Large Language Models, erschienen in TACL, die Passage über die Vorbereitung eines Übersetzers inspiriert, How Well Do Large Reasoning Models Translate? liefert die domänenübergreifende Evaluation, und Bridging the Linguistic Divide gibt einen Überblick über die verbleibenden Herausforderungen bei ressourcenarmen Sprachen. Und wenn Sie lieber eine zugängliche Einführung lesen möchten als einen Stapel Papers, ist IBMs What is a Transformer Model? der beste einzelne Einstiegspunkt.