Mistral gegen GLM: ein französisches und ein chinesisches Modell, getrennt nach Schriftsystem

Wie die Uneinigkeiten konkret aussehen #

Prozentzahlen verbergen, was ein Sieg eigentlich ist. Hier also ein einziger Satz, von beiden Modellen in vier Sprachen übersetzt, samt dem, was der Judge daraus gemacht hat. Es ist jedes Mal derselbe englische Satz:

This sediment was necessary for creating sandbars and beaches, which served as wildlife habitats.

Sinngemäß: Dieses Sediment war nötig, um Sandbänke und Strände entstehen zu lassen, die als Lebensräume für Wildtiere dienten.

Vier Sprachen, zwei Siege pro Seite, und fast immer hängt die gesamte Uneinigkeit an einem einzigen inhaltlichen Wort: sandbar, die Sandbank. Das ist etwas Bestimmtes, ein Sandrücken in einem Fluss oder vor einer Küste. Es ist kein Strand, keine Düne und kein Sandstab.

GLM gab auf und ließ sandbar auf Englisch stehen. Mistral verwendete gosong pasir, den tatsächlichen indonesischen Begriff. Alles andere ist nahezu identisch: Der zweite Teilsatz stimmt in beiden Wort für Wort überein.

Zwei falsche Wörter in einem Satz. GLMs अवसाद ist ein echtes Wort, das aber vor allem Niedergeschlagenheit bedeutet und nicht den geologischen Begriff, und रेतीली छड़ें heißt wörtlich "sandige Stäbe". Mistrals रेत के टीलों ist auch nicht ganz richtig, es bedeutet Sanddünen, aber eine Düne ist immerhin etwas, das an einer Küste vorkommt.

GLM verwendete สันทราย für die Sandbank und หาดทราย für den Strand: zwei Landformen, zwei Wörter. Mistral verwendete หาดทราย und ชายหาด, die im Thailändischen nahezu synonym für Strand stehen. Der Ausgangssatz benennt zwei verschiedene Dinge. Die eine Übersetzung benennt zwei Dinge, die andere zweimal dasselbe.

GLM wählte বালুচর, genau das Wort, zu dem auch die professionelle Übersetzerin griff. Mistral wählte বালিয়াড়ি, wieder eine Sanddüne. chrF++ gibt dem Judge hier recht: 48,4 gegenüber 40,9.

Zwei dieser vier Fälle gingen so aus, wie es der Unterschied nach Schriftsystem erwarten lässt, zwei nicht. Genau so sieht ein Vorsprung von 23 Punkten aus der Nähe aus: als Tendenz, nicht als Regel. Hindi ist dafür das deutlichste Beispiel. Mistral verlor Hindi über den gesamten Lauf mit 2 zu 6, und dieser Satz ist zufällig einer der beiden, die es gewann.

So haben wir zwei Übersetzungsmodelle getestet #

Fünfzehn englische Sätze aus FLORES-200, einem öffentlichen Benchmark-Satz professionell übersetzter Texte, jeweils von beiden Modellen in 25 Sprachen übersetzt, mit exakt dem Prompt, den unsere App im Produktivbetrieb verwendet. Das sind 750 Übersetzungen. Danach verglich ein drittes Modell, Claude Sonnet 5, als Judge jedes Paar nach Genauigkeit, Flüssigkeit und Angemessenheit, und jeder Vergleich lief ein zweites Mal mit vertauschten Kandidaten. Weitere 750 Aufrufe. Insgesamt fünfzehnhundert, etwa eine Stunde Laufzeit.

Alles steht auf der LLM-Benchmark-Seite, die bei jedem neuen Lauf automatisch aktualisiert wird: Siegquoten mit Konfidenzintervallen, Aufschlüsselungen nach Schwierigkeit und Sprache und jeder einzelne der 375 Vergleiche mit Quelltext, beiden Übersetzungen, der professionellen Referenz und der Begründung des Judge. Wenn Sie meinen, der Judge lag bei einem davon falsch, können Sie nachsehen.

Was das bedeutet, wenn Sie mit einem LLM übersetzen #

Sehen Sie sich an, was diese vier Uneinigkeiten gemeinsam haben. Jede einzelne ist ein falsch gewähltes inhaltliches Wort, eingebettet in einen Satz, der ansonsten flüssig, grammatisch korrekt und vollkommen selbstbewusst ist. Nichts an रेतीली छड़ें oder ชายหาด sieht auf der Seite falsch aus. Man hört es nicht, man sieht es der Satzform nicht an, und wer die Sprache nicht liest, hat keine Möglichkeit zu bemerken, dass es passiert ist. LLMs erzeugen jedes Mal flüssige, selbstbewusste Prosa, auch dann, wenn sie falsch liegen. Ein falsch übersetzter Fachbegriff, eine verdunstete Nuance, ein Register, das von förmlich zu kumpelhaft abgleitet: Alles liest sich genauso glatt wie eine korrekte Übersetzung. Das sind genau die Fehler, die man ohne Vergleichsmöglichkeit nicht sehen kann, was Teil der Antwort darauf ist, warum LLMs so gut übersetzen und warum diese Flüssigkeit zugleich gefährlich ist.

Genau dieses Problem soll Fink lösen. Statt Sie zu bitten, einer Blackbox zu vertrauen, zeigt Fink die Übersetzung, jede Änderung auf dem Weg dorthin und die Begründung dahinter. Die MQM-Qualitätsprüfung führt einen zweiten Durchgang aus, der konkrete Probleme in Genauigkeit, Flüssigkeit, Terminologie und Stil markiert, und Sie nehmen jeden Vorschlag an oder lehnen ihn ab. Das Insights-Panel liefert eine Rückübersetzung, damit Sie die Bedeutung prüfen können, Bedeutungshinweise für Nuancen und die Aussprache für Sprachen, die Sie nicht laut lesen können. Der Benchmark hat uns gesagt, dass unsere Modellwahl keine Qualität kostet. Das Produkt sagt Ihnen, was die Übersetzung tatsächlich tut. Wenn Sie den größeren Zusammenhang dazu suchen, wie Menschen überhaupt dazu kamen, mit diesen Modellen zu übersetzen, haben wir die Nutzungszahlen gesondert betrachtet.

Häufige Fragen #

Welches LLM ist das beste zum Übersetzen? Das hängt von der Zielsprache ab. In diesem Benchmark war weder Mistral Medium 3.5 noch GLM 5.2 insgesamt signifikant besser, das Verhältnis lag bei 73 zu 89 Siegen aus 162 entschiedenen Vergleichen (p = 0,21). Mistral gewann jedoch 55,8 % in Sprachen mit lateinischer Schrift und GLM 67,1 % in nicht-lateinische Schriften, und dieser Unterschied ist bei p = 0,003 signifikant.

Ist Mistral oder GLM besser zum Übersetzen? Insgesamt keines von beiden. Mistral ist die stärkere Wahl für Sprachen mit lateinischer Schrift wie Deutsch, Französisch, Polnisch und Indonesisch. GLM ist die stärkere Wahl für Thai, Hindi, Bengali, Chinesisch, Koreanisch und Arabisch. GLM ist außerdem im Mittel etwa sechsmal langsamer, weil es standardmäßig mit aktiviertem Reasoning läuft.

Ist Mistral gut im Übersetzen? Ja. Es erreichte 8,28 von 10 in der Gesamtbewertung des Judge, 52,9 chrF++ und 32,0 BLEU gegenüber professionellen Referenzübersetzungen, statistisch gleichauf mit einem Konkurrenten mit aktiviertem Reasoning, und das bei einer Median-Latenz von unter einer Sekunde. Es ist das Modell, das Fink im Produktivbetrieb einsetzt, auf EU-Infrastruktur.

Welches Modell ist besser für Chinesisch, Japanisch oder Arabisch? GLM lag in diesem Lauf bei Chinesisch, Koreanisch, Thai, Hindi, Bengali, Arabisch und Persisch vorn. Japanisch war die Ausnahme unter den nicht-lateinischen Schriften, dort lag Mistral vorn. Bei weniger als zehn entschiedenen Vergleichen pro Sprache sollte jede einzelne Sprache als Hinweis gelten, dem man nachgehen kann, nicht als gesichertes Ergebnis.

Warum ist GLM 5.2 langsamer als Mistral? Es läuft standardmäßig mit aktiviertem Reasoning, das vor der Antwort verborgene Token erzeugt. Das verschiebt den Median kaum, 1.082 ms gegenüber 987 ms, aber es verschiebt den Randbereich enorm: 34.191 ms gegenüber 2.113 ms am 95. Perzentil.

Was ist LLM-as-Judge bei der Übersetzungsbewertung? Ein drittes LLM vergleicht zwei Übersetzungen desselben Quelltexts und wählt die bessere aus. Wir haben jeden Vergleich zweimal mit vertauschter Reihenfolge ausgeführt, um die Konsistenz zu prüfen. Der Judge widersprach sich in 25 % der Fälle selbst, was eine nützliche Erinnerung daran ist, dass LLM-Bewertungen verrauscht sind und keine gesicherte Wahrheit.

Wie testet man ein Übersetzungsmodell? Man übersetzt eine feste Menge an Quellsätzen in viele Zielsprachen und vergleicht anschließend die Ausgaben. Wir haben FLORES-200-Sätze verwendet, 25 Zielsprachen, paarweise LLM-Bewertung mit Kontrolle über die Reihenfolge sowie chrF++- und BLEU-Werte gegenüber professionellen Referenzübersetzungen.

Was ist chrF++? Ein Maß, das eine Übersetzung mit einer Referenz vergleicht, indem es Zeichen-n-Gramme betrachtet. Anders als BLEU, das an Leerzeichen trennt, funktioniert chrF++ auch für Sprachen wie Chinesisch, Japanisch und Thai, die Wörter nicht durch Leerzeichen trennen.