LLM-Übersetzungsbenchmark

Jede Angabe auf dieser Seite stammt aus dem oben genannten Durchlauf. Die Methode und ihre Grenzen im Detail:

Datensatz

15 englische Ausgangssätze aus dem FLORES-200-devtest-Split, entnommen aus Wikinews, Wikibooks und Wikivoyage, übersetzt in 25 Zielsprachen. Die Schwierigkeit ergibt sich allein aus der Satzlänge: leicht unter 15 Wörter, mittel 15 bis 30, schwer über 30. FLORES-200 ist ein öffentlicher Datensatz, wir können also nicht ausschließen, dass diese Sätze in den Trainingsdaten der Modelle vorkamen.

Bewertung

Jedes Übersetzungspaar wird dem Bewertermodell zweimal vorgelegt, beim zweiten Mal in vertauschter Reihenfolge. Der Bewerter sieht außerdem die professionelle FLORES-200-Referenzübersetzung dieses Satzes, ausdrücklich als eine gültige Fassung und nicht als einzig richtige Lösung, damit er die Bedeutung des Ausgangstextes daran prüfen kann, statt allein über 25 Sprachen urteilen zu müssen. Der Bewerter darf nur A, B oder Unentschieden antworten. Ein Modell gewinnt einen Vergleich nur, wenn beide Reihenfolgen übereinstimmen. Widersprechen sich die beiden Reihenfolgen, wird das Paar ein zweites Mal in beiden Reihenfolgen gelesen: stimmt dieser Durchgang überein, gilt sein Urteil, andernfalls wird das Paar als Unentschieden verbucht, denn ein Bewerter, der zwei Übersetzungen über vier Lesungen hinweg nicht auseinanderhalten kann, sagt uns damit, dass sie gleichwertig sind. Diese Regel steht vorab fest, sie kann ein strittiges Paar also zu einem Unentschieden machen, aber niemals einen Sieger erfinden. Wie oft sich der erste Durchgang selbst widersprochen hat, ist oben als Positionsverzerrung ausgewiesen. Die Punktwerte werden über alle Lesungen gemittelt.

Automatische Metriken

chrF++ und BLEU werden gegen die professionellen FLORES-200-Referenzübersetzungen berechnet. chrF++ ist hier vorzuziehen: Es arbeitet auf Zeichen-n-Grammen und bleibt für Sprachen aussagekräftig, die Wörter nicht durch Leerzeichen trennen. BLEU wird nur für Sprachen ausgewiesen, in denen die Worttokenisierung klar definiert ist, und sonst unterdrückt.

Bekannte Grenzen

15 Sätze pro Sprache sind eine kleine Stichprobe, und alle Ausgangstexte sind englisch und stammen aus dem Wikipedia-Umfeld. Über Übersetzungen ins Englische oder über die E-Mail-, Oberflächen- und Dokumenttexte, die Menschen tatsächlich übersetzen, sagt das hier nichts aus. Ein einziges Bewertermodell beurteilt alle Paare, ohne menschliche Validierung. Die Latenz wird von Europa aus Ende zu Ende gemessen und spiegelt die Reasoning-Konfiguration des jeweiligen Modells wider, nicht dessen rohe Geschwindigkeit.