LLM翻訳ベンチマーク

このページのすべての数値は上記の実行から得られたものです。手法とその限界の詳細:

データセット

FLORES-200のdevtestスプリットから、Wikinews、Wikibooks、Wikivoyage由来の英語原文15文を選び、25の対象言語に翻訳しました。難易度は文の長さのみで定義しています。易しいは15語未満、普通は15語から30語、難しいは30語超です。FLORES-200は公開データセットであるため、これらの文がモデルの学習データに含まれていた可能性は排除できません。

審査

各訳文ペアは判定モデルに二度提示され、二度目は順序を入れ替えます。判定者にはその文のFLORES-200プロ翻訳も示されますが、これは唯一の正解ではなく妥当な訳の一つという位置づけです。25言語について判定者が単独の権威となるのではなく、原文の意味を照合できるようにするためです。判定者はA、B、引き分けのいずれかしか答えられません。モデルがある比較に勝つのは、両方の順序が一致したときだけです。二つの順序が矛盾した場合、そのペアは両方の順序でもう一度読み直されます。その回で一致すればその判定を採用し、一致しなければそのペアは引き分けとして記録します。四回の読みを通じて二つの訳文を区別できない判定者は、両者が同等だと述べているに等しいからです。この規則は事前に定められているため、争点のあるペアを引き分けにすることはあっても、勝者を作り出すことはありません。一度目で自己矛盾が起きた割合は、位置バイアスとして上に公表しています。数値スコアはすべての読みで平均します。

自動評価指標

chrF++とBLEUは、プロによるFLORES-200の参照訳と照合して算出します。ここではchrF++を優先してください。文字n-gramに基づくため、単語を空白で区切らない言語でも意味のある値になります。BLEUは単語分割が明確に定義できる言語についてのみ報告し、それ以外では表示しません。

既知の限界

1言語あたり15文はサンプルとして小さく、原文はすべて英語でWikipedia系の文章です。したがって英語への翻訳や、実際に多くの人が翻訳しているメール、UI、文書のテキストについては何も述べていません。すべてのペアを単一の審査モデルが評価しており、人間による検証はありません。レイテンシはヨーロッパからエンドツーエンドで測定しており、各モデルの推論設定を反映したもので、素の速度ではありません。