Mistral gegen GLM: ein französisches und ein chinesisches Modell, getrennt nach Schriftsystem

Wie die Uneinigkeiten konkret aussehen #

Eine Siegquote verbirgt, wie ein einzelner Sieg aussieht. Wir haben einen Quellsatz und vier seiner Zielsprachen ausgewählt, zwei von jedem Modell gewonnen, jeweils mit dem Urteil des Judge. Der englische Ausgangssatz lautet:

This sediment was necessary for creating sandbars and beaches, which served as wildlife habitats.

Sinngemäß: Dieses Sediment war nötig, um Sandbänke und Strände entstehen zu lassen, die als Lebensräume für Wildtiere dienten.

Fast immer hängt die Uneinigkeit an einem einzigen inhaltlichen Wort: sandbar, die Sandbank, also ein Sandrücken in einem Fluss oder vor einer Küste. Einige der Übersetzungen unten machen daraus eine Düne oder einen "sandigen Stab".

GLM ließ sandbar auf Englisch stehen. Mistral verwendete gosong pasir, den indonesischen Begriff. Ansonsten unterscheiden sich die beiden Übersetzungen kaum, der zweite Teilsatz ist Wort für Wort gleich.

GLMs अवसाद kann im fachsprachlichen Hindi Sediment bedeuten, die meisten Leser kennen es aber als Niedergeschlagenheit, und die Referenz verwendet das alltägliche गाद (Schlick). Der größere Fehler bei GLM ist रेतीली छड़ें, wörtlich "sandige Stäbe". Mistrals रेत के टीलों bedeutet Sanddünen, was ebenfalls falsch ist, aber eine Düne gehört immerhin an eine Küste.

GLM verwendete สันทราย für die Sandbank und หาดทราย für den Strand und benennt so zwei Landformen. Mistral verwendete หาดทราย und ชายหาด, die im Thailändischen beide Strand bedeuten, sein Satz benennt also zweimal dieselbe Landform, wo der Ausgangssatz zwei nennt.

GLM wählte বালুচর, dasselbe Wort, das auch die professionelle Übersetzung verwendet. Mistral wählte বালিয়াড়ি, wieder eine Sanddüne. chrF++ gibt dem Judge hier recht, 48,4 gegenüber 40,9.

Drei der vier Fälle gingen so aus, wie es die Aufteilung nach Schriftsystem erwarten lässt. Hindi nicht: Mistral verlor Hindi über den gesamten Lauf mit 2 zu 6, und dieser Satz ist einer seiner beiden Siege dort. Ein Vorsprung von 23 Punkten verschiebt die Chancen bei jedem Satz, entscheidet aber keinen davon.

So haben wir zwei Übersetzungsmodelle getestet #

Fink, unsere Übersetzungs-App, läuft auf Mistral-Modellen auf EU-Infrastruktur, damit Kundentexte in der EU bleiben. Mit diesem Benchmark wollten wir prüfen, ob diese Wahl gegenüber einem starken Modell von außerhalb Europas Übersetzungsqualität kostet.

Wir haben fünfzehn englische Sätze aus FLORES-200 genommen, einem öffentlichen Benchmark-Satz mit professionellen Übersetzungen, und beide Modelle jeden davon mit dem Prompt, den Fink im Produktivbetrieb verwendet, in 25 Sprachen übersetzen lassen. Das ergab 750 Übersetzungen. Claude Sonnet 5 bewertete dann als Judge jedes Paar nach Genauigkeit, Flüssigkeit und Angemessenheit, und wir ließen jeden Vergleich ein zweites Mal mit vertauschten Kandidaten laufen. Das Bewerten kostete weitere 750 Aufrufe, insgesamt also 1.500.

Die LLM-Benchmark-Seite zeigt die vollständigen Ergebnisse und wird bei jedem neuen Lauf aktualisiert. Dort finden Sie Siegquoten mit Konfidenzintervallen, Aufschlüsselungen nach Schwierigkeit und Sprache sowie alle 375 Vergleiche mit Quelltext, beiden Übersetzungen, der professionellen Referenz und der Begründung des Judge. Wenn Sie meinen, der Judge lag bei einem davon falsch, können Sie nachsehen.

Was das bedeutet, wenn Sie mit einem LLM übersetzen #

In jedem der vier Beispiele oben ist der Fehler ein einziges inhaltliches Wort in einem Satz, der ansonsten flüssig und grammatisch korrekt ist. रेतीली छड़ें und ชายหาด sehen auf der Seite unauffällig aus, und wenn Sie die Sprache nicht lesen, können Sie sie nicht bemerken. LLM-Ausgaben lesen sich genauso glatt, wenn ein Fachbegriff falsch übersetzt ist oder das Register von förmlich zu kumpelhaft abgleitet. Diese Flüssigkeit ist Teil der Antwort darauf, warum LLMs so gut übersetzen, und zugleich der Grund, warum Sie etwas brauchen, woran Sie die Ausgabe prüfen können, etwa eine Rückübersetzung oder ein zweites Modell, das das erste prüft. Wie Menschen überhaupt dazu kamen, mit diesen Modellen zu übersetzen, haben wir in einem eigenen Beitrag betrachtet.

In Fink markiert eine MQM-Qualitätsprüfung Probleme in Genauigkeit, Flüssigkeit, Terminologie und Stil, und Sie nehmen jeden Vorschlag an oder lehnen ihn ab. Das Insights-Panel ergänzt eine Rückübersetzung, Hinweise zur Bedeutung und die Aussprache für Sprachen, die Sie nicht laut lesen können.

Häufige Fragen #

Welches LLM ist das beste zum Übersetzen? Das hängt von der Zielsprache ab. In diesem Benchmark war weder Mistral Medium 3.5 noch GLM 5.2 insgesamt signifikant besser, mit 73 zu 89 Siegen aus 162 entschiedenen Vergleichen (p = 0,21). Mistral gewann 55,8 % der Vergleiche in Sprachen mit lateinischer Schrift und GLM 67,1 % in nicht-lateinische Schriften. Diese Aufteilung ist bei p = 0,003 signifikant, wir haben sie allerdings erst beim Blick auf die Daten gefunden.

Ist Mistral oder GLM besser zum Übersetzen? Insgesamt keines von beiden. Mistral lag in den meisten Sprachen mit lateinischer Schrift vorn, darunter Deutsch, Tschechisch und Indonesisch. GLM lag bei Thai, Hindi, Bengali, Chinesisch, Koreanisch und Arabisch vorn und auch bei Italienisch, Spanisch und Schwedisch. GLMs mittlere Latenz war etwa sechsmal so hoch wie Mistrals, weil es mit aktiviertem Reasoning lief, seiner Standardeinstellung.

Ist Mistral gut im Übersetzen? In diesem Lauf erhielt Mistral Medium 3.5 vom Judge 8,28 von 10 Punkten sowie 52,9 chrF++ und 32,0 BLEU gegenüber professionellen Referenzübersetzungen. Das ist statistisch gleichauf mit GLM 5.2 mit aktiviertem Reasoning, bei einer Median-Latenz von unter einer Sekunde.

Welches Modell ist besser für Chinesisch, Japanisch oder Arabisch? GLM lag in diesem Lauf bei Chinesisch, Koreanisch, Thai, Hindi, Bengali, Arabisch und Persisch vorn. Japanisch war die einzige nicht-lateinische Sprache, in der Mistral vorn lag, mit 5 zu 3. Keine Sprache hatte mehr als elf entschiedene Vergleiche, behandeln Sie eine einzelne Sprache also als Hinweis für eigene Tests, nicht als gesichertes Ergebnis.

Warum ist GLM 5.2 langsamer als Mistral? Wir haben GLM mit aktiviertem Reasoning laufen lassen, seiner Standardeinstellung, also erzeugt es vor der Antwort verborgene Reasoning-Token. Mistral Medium 3.5 lief ohne Reasoning. Der Median verschiebt sich kaum, 1.082 ms gegenüber 987 ms, aber am 95. Perzentil brauchte GLM 34.191 ms und Mistral 2.113 ms.

Was ist LLM-as-Judge bei der Übersetzungsbewertung? Ein drittes LLM vergleicht zwei Übersetzungen desselben Quelltexts und wählt die bessere aus. Wir haben jeden Vergleich zweimal mit vertauschter Reihenfolge ausgeführt, und der Judge widersprach sich in 92 von 375 Fällen (25 %) selbst. Ein einzelnes Urteil eines LLM-Judge ist verrauschte Evidenz, und Sie sollten es nicht als gesicherte Wahrheit behandeln.

Wie testet man ein Übersetzungsmodell? Wählen Sie eine feste Menge an Quellsätzen mit professionellen Referenzübersetzungen, lassen Sie jedes Modell sie in Ihre Zielsprachen übersetzen und vergleichen Sie die Ausgaben. Wir haben 15 FLORES-200-Sätze verwendet, 25 Zielsprachen, paarweise LLM-Bewertung mit vertauschter Reihenfolge sowie chrF++- und BLEU-Werte gegenüber den Referenzen.

Was ist chrF++? Ein Maß, das eine Übersetzung danach bewertet, wie viele Zeichen-n-Gramme sie mit einer Referenz teilt, ergänzt um Wort-Unigramme und -Bigramme (das "++"). Der Großteil des Signals kommt aus den Zeichen, daher funktioniert es auch für Chinesisch, Japanisch und Thai, die Wörter nicht durch Leerzeichen trennen. BLEU zählt Wörter, weshalb dieser Lauf für einige Sprachen keinen BLEU-Wert hat.