← Zurück zum Blog

Warum sind LLMs so gut im Übersetzen?

Wer maschinelle Übersetzung vor fünfzehn Jahren benutzt hat, erinnert sich an die Ergebnisse: stellenweise lesbar, stellenweise komisch und voller Wörter, die nicht zueinander passten. Heute liefert dir ein großes Sprachmodell eine Übersetzung mit passendem Register und passenden Redewendungen, die klingt, als hätte sie jemand direkt in der Zielsprache geschrieben. Drei Entwicklungen haben dazu geführt, und dieselbe Geschichte erklärt, warum diese Modelle weiterhin Fehler machen, die man leicht übersieht.

Ein Basismodell lernt, indem es in riesigen Textmengen das jeweils nächste Token vorhersagt. Es bekommt weder Vokabeln noch Grammatikstunden, und das Übersetzen lernt es als Nebeneffekt dieses Trainings. Die früheren maschinellen Übersetzungssysteme zeigen, welche Probleme dieses Training am Ende gelöst hat.

Qualität maschineller Übersetzung von 2010 bis 2026, illustrative Kurve mit MeilensteinenQualität maschineller Übersetzung von 2010 bis 2026, illustrative Kurve mit Meilensteinen
Die Kurve ist illustrativ. Die Jahreszahlen der Meilensteine stimmen.

Der Gedächtnis-Engpass

Google Translate startete 2006 mit einem regelbasierten System und wechselte 2007 zu einem eigenen statistischen System. Die phrasenbasierte statistische Übersetzung, die den Dienst bis 2016 antrieb, zerlegte Sätze in Fragmente und schlug jedes davon in Tabellen nach, die aus menschlichen Übersetzungen gelernt waren. Ähnelte ein Satz den Trainingsdaten, kam etwas Brauchbares heraus. Ein seltenes Wort oder ein langer, verschachtelter Nebensatz brachte das System aus dem Tritt, weil es kein Modell des Satzes als Ganzes hatte. Es wusste, wie Fragmente üblicherweise übersetzt werden, und hatte keine Repräsentation dessen, was der Satz bedeutete.

2014 veröffentlichten Ilya Sutskever, Oriol Vinyals und Quoc Le bei Google das Sequence-to-Sequence-Lernen. Sie bauten dabei auf Encoder-Decoder-Arbeiten von Kalchbrenner und Blunsom sowie von Cho und Kollegen auf. Ein rekurrentes Netz, der Encoder, liest den Ausgangssatz und komprimiert ihn zu einem einzigen Vektor fester Größe. Ein zweites Netz, der Decoder, erzeugt daraus die Übersetzung Wort für Wort. Das ganze System lernt durchgängig aus Satzpaaren, ohne Phrasentabellen.

Das Design hatte zwei Schwächen. Einen Satz beliebiger Länge in einen Vektor fester Größe zu pressen, kostete Information, und die Übersetzungsqualität sank mit wachsender Satzlänge. Außerdem war das Training langsam: Ein rekurrentes Netz verarbeitet einen Satz Position für Position, also lässt sich die Arbeit innerhalb eines Satzes nicht auf viele Prozessoren verteilen. Dzmitry Bahdanau, Kyunghyun Cho und Yoshua Bengio gingen 2014 das erste Problem mit Attention an. Bei jedem Ausgabeschritt berechnet der Decoder eine Gewichtung über alle Zustände des Encoders und konzentriert sich auf die Quellwörter, die für das nächste Wort relevant sind. Als Google Translate 2016 auf neuronale Übersetzung umstellte, kombinierte das neue System (GNMT) rekurrente Netze mit genau dieser Art von Attention.

Der Durchbruch von 2017

2017 veröffentlichten acht Forscher, die meisten davon bei Google, Attention Is All You Need. Wenn Attention die Hauptarbeit leistet, fragten sie, wozu dann noch die Rekurrenz? Ihre Architektur, der Transformer, verzichtet darauf. In jeder Schicht schaut jedes Token gleichzeitig auf alle anderen Tokens der Sequenz (im Decoder nur auf die vorherigen) und bildet seine neue Repräsentation aus denen, die es am stärksten gewichtet.

Nimm den englischen Satz „The animal didn't cross the street because it was too tired.“ Um „it“ ins Deutsche zu übersetzen, muss das Modell wissen, ob das Tier („es“) oder die Straße („sie“) gemeint ist. Ein rekurrentes Modell muss „animal“ durch jeden Zwischenschritt mitschleppen und hoffen, dass die Information ankommt. Im Transformer kann „it“ innerhalb einer einzigen Schicht auf „animal“ achten, egal wie weit die Wörter auseinanderstehen. Das Modell nutzt mehrere Attention-Köpfe parallel, und wer trainierte Modelle untersucht, findet Köpfe, die sich spezialisieren, etwa auf syntaktische Beziehungen oder auf die Verbindung von Pronomen und Substantiven. Viele Köpfe lassen sich allerdings nicht sauber deuten. Weil Attention selbst die Wortreihenfolge nicht kennt, fügt der Transformer Positionskodierungen hinzu, damit das Modell weiß, wo jedes Token steht.

Attention-Diagramm: Das Wort „it“ achtet stark auf „animal“ und schwach auf „street“Attention-Diagramm: Das Wort „it“ achtet stark auf „animal“ und schwach auf „street“
Attention-Gewichte von „it“: stark in Richtung „animal“, schwach in Richtung „street“.

Ohne Rekurrenz ließ sich das Training parallelisieren. Beim Training sieht das Modell den vollständigen Zielsatz und berechnet alle Positionen auf einmal. Bei der Anwendung erzeugt es die Ausgabe weiterhin Token für Token. Dank dieser Parallelität konnten Labore auf Tausenden Beschleunigern trainieren, und die Modelle wuchsen innerhalb von drei Jahren von den 65 bis 213 Millionen Parametern des ursprünglichen Transformers auf die 175 Milliarden von GPT-3. Auf dem Benchmark WMT 2014 Englisch-Deutsch erreichte der große Transformer 28,4 BLEU, mehr als zwei Punkte über den besten bisherigen Ergebnissen, Ensembles eingeschlossen. Bei Englisch-Französisch stellte er einen neuen Rekord für Einzelmodelle auf, bei einem Bruchteil der Trainingskosten. BERT, GPT und T5 nutzen den Transformer, ebenso fast alle heutigen großen Sprachmodelle.

Probier Fink für deine nächste Übersetzung

Sieh Übersetzung, jede Änderung und das Warum auf einem Bildschirm.

App öffnen

Übersetzen als Nebeneffekt des Pretrainings

Ein Basismodell wird auf ein einziges Ziel vortrainiert: das nächste Token vorherzusagen. Es liest Hunderte Milliarden Wörter aus Büchern, Artikeln und Websites. Für die klassischen Basismodelle hat niemand ein Parallelkorpus zusammengestellt oder Übersetzen als Trainingsaufgabe definiert. Die Chatmodelle, die du heute nutzt, durchlaufen danach noch ein Training auf Anweisungen, und diese Daten enthalten oft Übersetzungsaufträge. Die Fähigkeit zeigt sich aber schon vor diesem Schritt.

Die Vortrainingsdaten sind überwiegend Englisch. In den Trainingsdaten von GPT-3 waren etwa 93 Prozent der Wörter englisch, für alle anderen Sprachen zusammen blieben rund 7 Prozent. Dieser Anteil enthält viel beiläufig zweisprachigen Text: ein französisches Zitat mit englischer Übersetzung, eine zweisprachig gedruckte Bedienungsanleitung, ein Forenbeitrag, der mitten im Satz von Spanisch zu Englisch wechselt. Eleftheria Briakou, Colin Cherry und George Foster haben das 2023 für Googles PaLM gemessen („Searching for Needles in a Haystack“) und über 30 Millionen Übersetzungspaare in mindestens 44 Sprachen gefunden, die niemand absichtlich hineingelegt hatte. In ihren kleineren Ablationsexperimenten verschlechterte das Entfernen dieses Materials die Übersetzung, wobei der Effekt mit wachsender Modellgröße abnahm. Schon das GPT-3-Paper hatte gezeigt, dass Few-Shot-Übersetzung mit der Modellgröße stetig besser wird. Mit 175 Milliarden Parametern schlug GPT-3 bei Übersetzungen ins Englische frühere unüberwachte Übersetzungssysteme. Übersichtsarbeiten zu mehrsprachigen Modellen (Zhu et al., Huang et al.) behandeln diese Fähigkeit über viele Sprachpaare hinweg.

Die Interpretierbarkeitsforschung liefert eine Teilantwort auf die Frage nach dem Mechanismus. Modelle, die auf mehreren Sprachen trainiert werden, bilden geteilte Repräsentationen: Das Konzept „Hund“ aktiviert ähnliche interne Merkmale, egal ob es auf Englisch, Deutsch oder Japanisch ankommt, und sprachspezifische Merkmale übernehmen erst in den letzten Schichten, wo das Modell seine Ausgabewörter wählt. Dieselbe Studie fand diese geteilte Struktur auch in Modellen, die ganz ohne Englisch trainiert wurden. Bei Modellen mit überwiegend englischen Trainingsdaten wie Llama 2 fanden Wendler und Kollegen („Do Llamas Work in English?“, 2024), dass die mittleren Schichten dem Englischen näher liegen als der Eingabe- oder Ausgabesprache. Sobald ein Modell Bedeutung in einem Raum darstellt, den mehrere Sprachen teilen, braucht Übersetzen einen Schritt weniger: Das Modell liest die Eingabe in diesen Raum ein und schreibt die Ausgabe von dort aus.

Die Wörter „house“, „Haus“, „huis“ und „maison“ verweisen auf ähnliche interne Merkmale in den mittleren Schichten eines ModellsDie Wörter „house“, „Haus“, „huis“ und „maison“ verweisen auf ähnliche interne Merkmale in den mittleren Schichten eines Modells
„house“, „Haus“, „huis“ und „maison“ aktivieren ähnliche interne Merkmale in den mittleren Schichten (vereinfacht).

Warum sich die Ergebnisse besser lesen

Mit Attention behält ein Modell einen ganzen Abschnitt im Blick. Ein Pronomen kann sich so auf einen Namen von zwei Absätzen zuvor beziehen, ein Verb stimmt mit einem weit entfernten Subjekt überein, und ein mehrdeutiges Wort bekommt seine Bedeutung aus den umgebenden Sätzen. Ältere Systeme übersetzten jeden Satz für sich und lagen in solchen Fällen falsch.

Ein Sprachmodell hat die Zielsprache außerdem aus riesigen Mengen Text gelernt, der in ihr geschrieben wurde. Deshalb folgt seine Ausgabe der Idiomatik und dem Register dieser Sprache, statt den Satzbau des Originals nachzubilden. Es hat auch Texte aus den meisten Fachgebieten gesehen, von Handbüchern und Verträgen bis zu medizinischen Aufsätzen und Romanen. He und Kollegen (MAPS, TACL) ließen Modelle zuerst die Vorbereitung eines Übersetzers durchlaufen, also Schlüsselwörter herausziehen, das Thema bestimmen und ähnliche Beispielübersetzungen finden, und erst dann übersetzen. Das verringerte Fehler wie Falschübersetzungen und Auslassungen. Für Fachtexte können ein paar Beispielübersetzungen im Prompt oder eine Runde Feintuning einem allgemeinen Modell die Terminologie eines Unternehmens beibringen, ohne es von Grund auf neu zu trainieren.

Wo LLMs trotzdem stolpern

Die Qualität hängt davon ab, wie viel Text es in einer Sprache gibt. Sprachen mit wenig Präsenz im Netz bekommen wenig Trainingsdaten, und Übersetzungen mit ihnen bleiben messbar schwächer, wie die Übersichtsarbeit von Gain und Kollegen zeigt. Am besten schneiden Modelle ab, wenn Englisch auf einer Seite des Sprachpaars steht, schlechter zwischen zwei nicht-englischen Sprachen. Selbst bei großen Sprachen fand eine Evaluation über mehrere Fachgebiete, dass die Qualität sinkt, je länger ein Text ist, je mehr Fachbegriffe er enthält oder je weiter er von Alltagssprache entfernt ist.

Die Fehler sind schwer zu erkennen. Ein phrasenbasiertes System produzierte Wortsalat, den man auf einen Blick bemerkte. Neuronale Systeme schreiben seit 2016 flüssige Sätze, auch wenn sie die Bedeutung verfehlen, und LLMs setzen dieses Muster fort. Ein falsch übersetzter Fachbegriff, eine verlorene Nuance oder ein Register, das von förmlich ins Kumpelhafte rutscht, liest sich genauso glatt wie eine korrekte Übersetzung. Solche Fehler findest du nur, wenn du die Ausgabe mit dem Original oder einer zweiten Quelle vergleichst. Wer Original und Übersetzung bewusst vergleicht, macht aus einem Übersetzer auch ein Lernwerkzeug. Darum geht es in Mit einem Übersetzer eine Sprache lernen.

Wo Fink ins Spiel kommt

Fink übersetzt mit LLMs und zeigt dir, was es geändert hat und warum, damit du eine Übersetzung am Original prüfen kannst, statt ihr blind zu vertrauen. Details stehen auf der Seite über die Funktionsweise von Fink.

Quellen und weiterführende Literatur

Die Geschichte oben stützt sich auf drei Paper: Sutskever, Vinyals und Le über Sequence-to-Sequence-Lernen (2014), Bahdanau, Cho und Bengio über den Attention-Mechanismus (2014, erschienen auf der ICLR 2015) und Attention Is All You Need von Vaswani und Kollegen (2017), das den Transformer einführte. Zu mehrsprachigen Modellen geben zwei Übersichtsarbeiten einen Überblick, Multilingual Large Language Models: A Systematic Survey und A Survey on Large Language Models with Multilingualism. Tracing Multilingual Representations in LLMs with Cross-Layer Transcoders untersucht geteilte interne Merkmale. „Searching for Needles in a Haystack“ von Briakou, Cherry und Foster (ACL 2023) misst beiläufig zweisprachige Daten in PaLM, und das GPT-3-Paper von Brown und Kollegen (2020) nennt die Sprachverteilung der Trainingsdaten sowie die Übersetzungsergebnisse nach Modellgröße. Zur Übersetzungsqualität beschreibt Exploring Human-Like Translation Strategy with Large Language Models (TACL) die oben erwähnten Vorbereitungsschritte, How Well Do Large Reasoning Models Translate? liefert die Evaluation über mehrere Fachgebiete, und Bridging the Linguistic Divide fasst die offenen Probleme bei ressourcenarmen Sprachen zusammen. Als gut lesbare Einführung eignet sich IBMs What is a Transformer Model?. Wie viele Menschen mit diesen Modellen übersetzen, haben wir uns in einem eigenen Beitrag über die Nutzungszahlen angesehen.