Mistral 対 GLM：フランス製と中国製のモデルを分けたのは、文字体系だった

意見が割れた箇所を実際に見る #

パーセンテージは「勝ち」が何なのかを覆い隠します。そこで、1つの文を両モデルが4つの言語に訳したものと、判定モデルの見立てを並べます。原文は毎回同じ英文です。

This sediment was necessary for creating sandbars and beaches, which served as wildlife habitats.

大意：この堆積物は、野生生物の生息地となる砂州と砂浜をつくるために必要だった。

4言語、勝ちは2つずつ。そしてほとんどの場合、意見の相違はたった1つの内容語、sandbar（砂州）に集約されます。砂州とは、川の中や海岸沖にできる砂の高まりという特定のものです。砂浜でも、砂丘でも、「砂の棒」でもありません。

GLMは訳すのをあきらめ、sandbarを英語のまま残しました。Mistralは実際のインドネシア語であるgosong pasirを使っています。それ以外はほぼ同一で、後半の節は両者で一語一句同じです。

1文に2語の誤り。GLMのअवसादは実在する語ですが、地質学の用語ではなく主に「落ち込み、憂鬱」を意味します。रेतीली छड़ेंは直訳すると「砂の棒」です。Mistralのरेत के टीलोंも正確ではなく砂丘を意味しますが、砂丘は少なくとも海岸に実在するものです。

GLMは砂州にสันทราย、砂浜にหาดทรายを使いました。2つの地形に2つの語です。Mistralはหาดทรายとชายหาดを使いましたが、タイ語ではどちらもほぼ砂浜を指す同義語です。原文は異なる2つのものを挙げています。一方の訳は2つを挙げ、もう一方は同じものを二度挙げています。

GLMはবালুচরを選びました。プロの翻訳者が選んだのと同じ語です。Mistralはবালিয়াড়ি、またしても砂丘でした。ここではchrF++も判定モデルと一致しています。48.4対40.9です。

この4件のうち2件は文字体系の傾向どおりに、2件はそうならずに決着しました。23ポイントの差を間近で見ると、こう見えます。傾向であって、規則ではありません。ヒンディー語がその最も分かりやすい例です。Mistralは実行全体でヒンディー語を2対6で落としており、この文はたまたま勝った2件のうちの1つです。

2つの翻訳モデルをどう検証したか #

FLORES-200という、プロが翻訳したテキストの公開ベンチマークセットから英語の文を15文選び、当社アプリが本番で使っているのとまったく同じプロンプトで、両モデルがそれぞれ25言語に翻訳しました。これで750件の翻訳です。次に、第三のモデルであるClaude Sonnet 5が判定役として、各ペアを正確さ・流暢さ・適切さで比較し、さらに候補を入れ替えてもう一度同じ比較を実行しました。追加で750回の呼び出しです。合計1,500回、実時間で約1時間でした。

すべてはLLMベンチマークのページにあり、新しい実行を公開するたびに自動で更新されます。信頼区間つきの勝率、難易度別・言語別の内訳、そして375件すべての比較が、原文、両方の訳文、プロの参照訳、判定モデルの理由とともに載っています。判定が間違っていると思うものがあれば、実際に見に行けます。

LLMで翻訳する人にとっての意味 #

先ほどの4件に共通しているものを見てください。どれも、内容語を1つ選び間違えただけです。しかもその語は、それ以外は流暢で、文法的に正しく、まったく自信に満ちた文の中に収まっています。रेतीली छड़ेंもชายหาดも、紙の上では何もおかしく見えません。聞いても分からず、文の形からも分からず、その言語を読めなければ、それが起きたと知るすべがありません。LLMは毎回、流暢で自信に満ちた文章を出します。間違っているときも同じです。誤訳された専門用語、蒸発したニュアンス、フォーマルからくだけた調子へ滑った文体。どれも正しい翻訳とまったく同じようになめらかに読めます。比較対象がなければ読者には見えない種類の誤りであり、それはLLMがなぜ翻訳に強いのかという問いの答えの一部であると同時に、その流暢さが危険である理由でもあります。

Finkはまさにこの問題のために作られました。ブラックボックスを信じてくださいと頼む代わりに、Finkは訳文と、そこに至るすべての変更と、その理由を見せます。MQM品質チェックは二度目のパスを走らせ、正確さ・流暢さ・用語・文体の具体的な問題を指摘し、提案ごとに採用も却下もできます。Insightsパネルは、意味を検証するための逆翻訳、ニュアンスのための意味メモ、そして音読できない言語のための発音を示します。ベンチマークが教えてくれたのは、私たちのモデル選択が品質を犠牲にしていないということでした。製品が教えるのは、その翻訳が実際に何をしているかです。人々がそもそもどうやってこれらのモデルで翻訳するようになったのかという広い文脈については、利用データを別途まとめています。

よくある質問 #

翻訳に最適なLLMはどれですか？ 目標言語によります。今回のベンチマークでは、Mistral Medium 3.5もGLM 5.2も総合では有意に優れてはおらず、決着した162件で73対89でした（p = 0.21）。ただしラテン文字の言語へはMistralが55.8%、非ラテン文字へはGLMが67.1%を勝ち取っており、この差はp = 0.003で有意です。

翻訳にはMistralとGLMのどちらが良いですか？ 総合ではどちらでもありません。ドイツ語、フランス語、ポーランド語、インドネシア語などラテン文字の言語へはMistralが有力です。タイ語、ヒンディー語、ベンガル語、中国語、韓国語、アラビア語へはGLMが有力です。またGLMは既定で推論が有効なため、平均でおよそ6倍遅くなります。

Mistralは翻訳が得意ですか？ 得意です。判定モデルの総合評価で10点中8.28、プロの参照訳に対してchrF++が52.9、BLEUが32.0で、推論を有効にした競合と統計的に互角であり、しかも中央値レイテンシは1秒未満でした。FinkがEUインフラ上の本番環境で使っているモデルです。

中国語、日本語、アラビア語にはどちらのモデルが向いていますか？ 今回の実行では、中国語、韓国語、タイ語、ヒンディー語、ベンガル語、アラビア語、ペルシア語でGLMが優勢でした。日本語は非ラテン文字の中では例外で、Mistralが優勢でした。1言語あたりの決着した比較は10件未満なので、個々の言語は確定した結果ではなく、追いかける価値のある手がかりとして扱ってください。

なぜGLM 5.2はMistralより遅いのですか？ 既定で推論が有効になっており、回答の前に隠れたトークンを生成するためです。中央値はほとんど動きませんが（1,082 ms対987 ms）、裾は大きく動きます。95パーセンタイルでは34,191 ms対2,113 msです。

翻訳評価におけるLLM-as-judgeとは何ですか？ 第三のLLMが同じ原文の2つの訳文を比較し、優れているほうを選ぶ手法です。私たちは一貫性を確かめるため、順序を入れ替えて各比較を2回実行しました。判定モデルは25%の確率で自己矛盾しており、LLMの判定はノイズを含むものであって確定した真実ではないことを思い出させてくれます。

翻訳モデルはどう検証しますか？ 決まった原文の集合を多数の目標言語に翻訳し、出力を比較します。私たちはFLORES-200の文、25の目標言語、順序を入れ替える対照つきの対戦形式のLLM判定、そしてプロの参照訳に対するchrF++とBLEUのスコアを用いました。

chrF++とは何ですか？ 文字n-gramを見て、訳文を参照訳と比較する指標です。空白で区切るBLEUと違い、chrF++は中国語、日本語、タイ語のように単語を空白で区切らない言語でも機能します。