LLM-vertaalbenchmark: welk model vertaalt het best?

Mistral Small 4, Mistral Medium 3.5, Mistral Large 4, GLM 5.2, GLM 5.3 en DeepSeek 4.1 Flash vertalen dezelfde 1.000 zinnen uit het FLORES-200-dataset naar 25 talen. Elke vertaling wordt met chrF++, BLEU en TER gescoord tegen de professionele referentievertalingen van het dataset. Dit meet de modellen, geen vertaalproducten, en Fink doet niet mee.

Benchmarkresultaten laden

Ranglijst

Meest recente gepubliceerde run: 1.000 FLORES-200-samples per model, chrF++ met 95%-betrouwbaarheidsinterval uit gepaarde bootstrap ,2026-11-06
# Model chrF++ (95% CI)
1 DeepSeek 4.1 Flash deepseek-v4-1-flash-1017 56.9 (55.7–58.0)
2 GLM 5.2 zai-glm-5-2 56.2 (55.1–57.4)
3 GLM 5.3 zai-glm-5-3 56.2 (55.0–57.3)
4 Mistral Medium 3.5 mistral-medium-3.5 54.4 (53.2–55.6)
5 Mistral Large 4 mistral-large-4 54.4 (53.1–55.6)
6 Mistral Small 4 mistral-small-2603 51.5 (50.4–52.5)

Elk model is op zichzelf gescoord tegen de FLORES-200-referentievertalingen, op een vaste schaal van 0–100 en gesorteerd op de gekozen metriek. De whisker op elke balk is het gepaarde bootstrap-95%-betrouwbaarheidsinterval: waar whiskers overlappen, ligt het verschil binnen de ruis.

Run van november 2026: DeepSeek 4.1 Flash staat bovenaan met 56,9 chrF++ (95%-betrouwbaarheidsinterval 55,7–58,0), statistisch voor GLM 5.2 en GLM 5.3 (beide 56,2). Mistral Medium 3.5 en Mistral Large 4 delen een plek op 54,4; Mistral Small 4 sluit af met 51,5. 13 van de 15 modelparen verschillen significant (gepaarde bootstrap, p < 0,05); uitzonderingen zijn het GLM-paar en het paar Mistral Medium/Large.

Zet een model uit om het uit de grafiek en de analyses hieronder te verwijderen.

Hoe dit gemeten is

Elke bewering op deze pagina komt uit de hierboven genoemde run. De methode, en de grenzen ervan, in detail:

Dataset

40 Engelse (VS) bronzinnen uit de FLORES-200 devtest-split, bemonsterd met een vaste seed en gestratificeerd naar domein (Wikinews, Wikibooks, Wikivoyage) en zinslengte, elk vertaald naar alle 25 doeltalen, 1000 steekproeven per model. FLORES-200 is een openbare dataset, dus we kunnen niet uitsluiten dat deze zinnen in de trainingsdata van de modellen voorkwamen.

Automatische metrieken

Elke vertaling wordt gescoord tegen de professionele FLORES-200-referentievertaling. chrF++ is de primaire metriek, omdat het op teken-n-grammen werkt en betekenisvol blijft voor talen die woorden niet met spaties scheiden. BLEU wordt gerapporteerd als korpusscore in twee tokenisaties: woordniveau 13a voor talen met spaties als woordgrenzen, en tekenniveau voor alle 25 schriften uniform. TER (edit distance, lager is beter) wordt als derde signaal gerapporteerd.

Betrouwbaarheidsintervallen

Omdat elk model dezelfde zinnen heeft vertaald, zijn modelverschillen paired. Intervallen en p-waarden komen uit paired bootstrap-resampling over de 1000 steekproeven (Koehn 2004): hele steekproeven worden met teruglegging opnieuw bemonsterd en de korpusmetriek wordt per trekking herberekend, 1000 trekkingen. Een paar wordt alleen als significant verschillend aangemerkt als p < 0.05 op de primaire metriek.

Bekende beperkingen

Alle bronteksten zijn Engels en komen uit de Wikipedia-familie. Over vertalen naar het Engels, of over de e-mail-, interface- en documentteksten die mensen vertalen, zegt dit dus niets. Eén referentie per zin: geldige alternatieve formuleringen tellen als afwijkingen. 40 steekproeven per taal is een kleine cel, dus de cijfers per taal zijn textuur, geen ranglijst. Latentie wordt van begin tot eind vanuit Europa gemeten en weerspiegelt de reasoning-configuratie van elk model, niet de ruwe snelheid.

Naar taal

Score per doeltaal voor de geselecteerde metriek. De steekproef per taal is klein, lees dit als textuur, niet als ranglijst.

Elk voorbeeld

Doel Bron Moeilijkheid Categorie

Vragen over de benchmark

Welk LLM vertaalt in 2026 het best?

In deze benchmark: DeepSeek 4.1 Flash, met 56,9 chrF++ op 1.000 FLORES-200-zinnen, statistisch voor alle andere modellen. De volledige run kostte $ 0,27. Alleen Mistral Small 4 was goedkoper ($ 0,13), en het eindigde in elke metriek significant laatste.

Wat is chrF++ en waarom is dat de primaire metriek?

chrF++ beoordeelt vertalingen op karakter-n-grammen in plaats van woorden, waardoor het bruikbaar blijft voor talen zonder spaties tussen woorden, zoals Japans, Chinees en Thai, alle doeltalen hier. Daarnaast volgt chrF++ menselijke beoordelingen meestal dichter dan BLEU. BLEU (woord- en karakterniveau) en TER worden ernaast gerapporteerd; alle metrieken zijn het eens over de rangorde.

Wat is FLORES-200?

Een open benchmarkdataset van Meta AI: zinnen uit Wikipedia-bronnen, professioneel vertaald in ruim 200 talen. Wij trokken met een vaste seed 40 zinnen uit de devtest-split, gestratificeerd op domein en lengte, en lieten elke zin naar alle 25 doeltalen vertalen, waardoor elk model dezelfde 1.000 zinnen kreeg. Omdat FLORES-200 open is, kunnen deze zinnen in de trainingsdata van de modellen voorkomen; die beperking nemen we voor lief, want het alternatief is een privé-dataset die niemand kan controleren.

Hoe goed is Mistral in vertalen?

Mistral Medium 3.5 en Mistral Large 4 staan statistisch gelijk op 54,4 chrF++: op kwaliteit niet te onderscheiden, al antwoordt Large 4 met ingeschakeld reasoning zo’n tien keer langzamer (8,1 s tegen 0,9 s mediane latentie). Mistral Small 4 scoort 51,5 en ligt in elke metriek significant achter de andere twee. Alle drie de Mistral-modellen blijven achter bij beide GLM’s en DeepSeek 4.1 Flash.

Wat is beter voor vertalen, GLM 5.2 of 5.3?

Op kwaliteit is het een gelijkspel: allebei 56,2 chrF++ (p = 0,80). Het verschil zit in de werking: GLM 5.2 heeft een mediane latentie van 568 ms tegenover 3.488 ms voor GLM 5.3, en de run kostte $ 1,20 tegenover $ 6,92. Kies dus op snelheid en prijs, niet op de kwaliteitsscore.

Welke talen behandelt de benchmark?

1.000 vertalingen per model, allemaal uit Engelse (VS) bronnen naar 25 doeltalen: Arabisch, Bengaals, Chinees (vereenvoudigd), Chinees (traditioneel), Tsjechisch, Nederlands, Engels (VK), Frans, Duits, Grieks, Hindi, Indonesisch, Italiaans, Japans, Koreaans, Perzisch, Pools, Portugees, Roemeens, Spaans, Zweeds, Thai, Turks, Oekraïens en Vietnamees. Alle bronnen zijn Engels. Over vertalen naar het Engels zegt de benchmark niets.

Probeer de vertaler achter de benchmark

Fink vertaalt en legt daarna uit wat er veranderd is en waarom. Om te beginnen heb je geen account nodig.

App openen