Mistral 対 GLM：フランス製と中国製のモデルを分けたのは、文字体系だった

意見が割れた箇所を実際に見る #

勝率からは、1つの「勝ち」がどんなものかは見えません。そこで原文を1つ選び、その目標言語のうち4つ（各モデルが2つずつ勝ったもの）を、判定モデルの評価とともに並べます。原文の英文は次のとおりです。

This sediment was necessary for creating sandbars and beaches, which served as wildlife habitats.

大意：この堆積物は、野生生物の生息地となる砂州と砂浜をつくるために必要だった。

ほとんどの場合、意見の相違は1つの内容語、sandbar（砂州）に行き着きます。川の中や海岸沖にできる砂の高まりのことです。以下の訳の中には、これを砂丘や「砂の棒」にしてしまったものがあります。

GLMはsandbarを英語のまま残しました。Mistralはインドネシア語の用語であるgosong pasirを使っています。それ以外の部分はほとんど変わらず、後半の節は両者で一語一句同じです。

GLMのअवसादは専門的なヒンディー語では堆積物の意味にもなりますが、多くの読者には「落ち込み、憂鬱」の意味で知られており、参照訳は日常語のगाद（沈泥）を使っています。GLMのより大きな誤りはरेतीली छड़ेंで、直訳すると「砂の棒」です。Mistralのरेत के टीलोंは砂丘を意味するのでこれも誤りですが、砂丘なら少なくとも海岸にあるものです。

GLMは砂州にสันทราย、砂浜にหาดทรายを使い、2つの地形を訳し分けています。Mistralはหาดทรายとชายหาดを使いましたが、タイ語ではどちらも砂浜を指すため、原文が2つのものを挙げているところで同じ地形を二度挙げています。

GLMはবালুচরを選びました。プロの翻訳者と同じ語です。Mistralはবালিয়াড়ি、ここでもまた砂丘でした。この例ではchrF++も判定モデルと一致しており、48.4対40.9です。

4件のうち3件は、文字体系の傾向どおりに決着しました。例外はヒンディー語です。Mistralは実行全体でヒンディー語を2対6で落としており、この文はそこで勝った2件のうちの1つです。23ポイントの差は1文ごとの勝ちやすさを変えますが、どの1文の結果も決めはしません。

2つの翻訳モデルをどう検証したか #

私たちの翻訳アプリFinkは、お客様のテキストをEU内にとどめるため、EUのインフラ上でMistralのモデルを使っています。このベンチマークでは、その選択が欧州外の強力なモデルと比べて翻訳品質の面で不利になっていないかを確かめました。

プロの翻訳が付いた公開ベンチマークセットであるFLORES-200から英語の文を15文選び、Finkが本番で使っているプロンプトで、両モデルにそれぞれ25言語へ翻訳させました。これで750件の翻訳です。次にClaude Sonnet 5が判定役として各ペアを正確さ・流暢さ・適切さで比較し、私たちは候補を入れ替えて同じ比較をもう一度実行しました。判定で750回の呼び出しが加わり、合計1,500回です。

LLMベンチマークのページには全結果が載っており、新しい実行を公開するたびに更新されます。信頼区間つきの勝率、難易度別・言語別の内訳、そして375件すべての比較を、原文、両方の訳文、プロの参照訳、判定モデルの理由とともに確認できます。判定が間違っていると思うものがあれば、自分で確かめられます。

LLMで翻訳する人にとっての意味 #

上の4つの例では、どれも誤りは内容語1つだけで、それ以外は流暢で文法的にも正しい文の中にあります。रेतीली छड़ेंもชายหาดも見た目には違和感がなく、その言語を読めなければ気づけません。専門用語が誤訳されていても、文体がフォーマルからくだけた調子へずれていても、LLMの出力は同じようになめらかに読めます。この流暢さはLLMがなぜ翻訳に強いのかの答えの一部であり、同時に、逆翻訳や、最初のモデルを別のモデルに見直させるといった、出力を照らし合わせる手段が必要な理由でもあります。人々がどのようにしてこれらのモデルで翻訳するようになったのかは、別の記事で取り上げています。

Finkでは、MQM品質チェックが正確さ・流暢さ・用語・文体の問題を指摘し、提案ごとに採用か却下かを選べます。Insightsパネルには逆翻訳、意味についてのメモ、そして音読できない言語のための発音が表示されます。

よくある質問 #

翻訳に最適なLLMはどれですか？ 訳す先の言語によります。今回のベンチマークでは、Mistral Medium 3.5もGLM 5.2も総合では有意に優れてはおらず、決着した162件で73対89でした（p = 0.21）。ラテン文字の言語へはMistralが55.8%、非ラテン文字へはGLMが67.1%を勝ち取りました。この差はp = 0.003で有意ですが、データを見てから見つけたものです。

翻訳にはMistralとGLMのどちらが良いですか？ 総合ではどちらでもありません。Mistralはドイツ語、チェコ語、インドネシア語など、ラテン文字の言語の多くで優勢でした。GLMはタイ語、ヒンディー語、ベンガル語、中国語、韓国語、アラビア語で優勢で、イタリア語、スペイン語、スウェーデン語でも勝ち越しました。GLMは既定の設定どおり推論を有効にして動かしたため、平均レイテンシはMistralのおよそ6倍でした。

Mistralは翻訳が得意ですか？ 今回の実行でMistral Medium 3.5は、判定モデルから10点中8.28、プロの参照訳に対してchrF++で52.9、BLEUで32.0を得ました。推論を有効にしたGLM 5.2と統計的に互角で、中央値レイテンシは1秒未満です。

中国語、日本語、アラビア語にはどちらのモデルが向いていますか？ 今回の実行では、中国語、韓国語、タイ語、ヒンディー語、ベンガル語、アラビア語、ペルシア語でGLMが優勢でした。非ラテン文字の言語でMistralが優勢だったのは日本語だけで、5対3です。決着した比較が11件を超える言語はなかったため、個々の言語は確定した結果ではなく、自分で試すための手がかりとして扱ってください。

なぜGLM 5.2はMistralより遅いのですか？ GLMは既定の設定どおり推論を有効にして動かしたため、回答の前に隠れた推論トークンを生成します。Mistral Medium 3.5は推論を無効にして動かしました。中央値はほとんど変わりませんが（1,082 ms対987 ms）、95パーセンタイルではGLMが34,191 ms、Mistralが2,113 msでした。

翻訳評価におけるLLM-as-judgeとは何ですか？ 第三のLLMが同じ原文の2つの訳文を比較し、優れているほうを選ぶ手法です。私たちは順序を入れ替えて各比較を2回実行し、判定モデルは375件中92件（25%）で自己矛盾しました。LLMの判定1件はノイズの多い証拠であり、確定した真実として扱うべきではありません。

翻訳モデルはどう検証しますか？ プロの参照訳がある決まった原文の集合を用意し、各モデルに目標言語へ翻訳させて、出力を比較します。私たちはFLORES-200の15文、25の目標言語、順序を入れ替える対戦形式のLLM判定、そして参照訳に対するchrF++とBLEUのスコアを用いました。

chrF++とは何ですか？ 訳文が参照訳と共有する文字n-gramに、単語のユニグラムとバイグラム（「++」の部分）を加えて採点する指標です。信号の大部分は文字から得られるため、中国語、日本語、タイ語のように単語を空白で区切らない言語でも機能します。BLEUは単語を数えるため、今回の実行ではいくつかの言語にBLEUのスコアがありません。