Mistral tegen GLM: een Frans en een Chinees model, gesplitst door het schriftsysteem

Hoe de meningsverschillen er concreet uitzien #

Een winstpercentage verbergt hoe één overwinning eruitziet. We kozen één bronzin en vier van zijn doeltalen, twee gewonnen door elk model, telkens met het oordeel van de judge. De Engelse bronzin is:

This sediment was necessary for creating sandbars and beaches, which served as wildlife habitats.

Vrij vertaald: dit sediment was nodig om zandbanken en stranden te vormen, die dienstdeden als leefgebied voor wilde dieren.

Bijna altijd draait het meningsverschil om één inhoudswoord: sandbar, de zandbank, een zandrug in een rivier of voor een kust. Sommige vertalingen hieronder maken er een duin of een "zanderige staaf" van.

GLM liet sandbar in het Engels staan. Mistral gebruikte gosong pasir, de Indonesische term. Verder verschillen de twee vertalingen nauwelijks, en de tweede bijzin is woord voor woord gelijk.

GLM's अवसाद kan in vakmatig Hindi sediment betekenen, maar de meeste lezers kennen het als neerslachtigheid, en de referentie gebruikt het alledaagse गाद (slib). De grotere misser van GLM is रेतीली छड़ें, letterlijk "zanderige staven". Mistrals रेत के टीलों betekent zandduinen, wat ook fout is, al hoort een duin tenminste aan een kust.

GLM gebruikte สันทราย voor de zandbank en หาดทราย voor het strand, en noemt dus twee landvormen. Mistral gebruikte หาดทราย en ชายหาด, die in het Thai allebei strand betekenen, dus zijn zin noemt twee keer dezelfde landvorm waar de bronzin er twee noemt.

GLM koos বালুচর, hetzelfde woord als de professionele vertaling. Mistral koos বালিয়াড়ি, opnieuw een zandduin. chrF++ geeft de judge hier gelijk, 48,4 tegenover 40,9.

Drie van de vier liepen af zoals de splitsing naar schrift doet verwachten. Hindi niet: Mistral verloor Hindi over de hele run met 2 tegen 6, en deze zin is een van zijn twee overwinningen daar. Een voorsprong van 23 punten verschuift de kansen bij elke zin, maar beslist er geen enkele.

Zo hebben we twee vertaalmodellen getest #

Fink, onze vertaalapp, draait op Mistral-modellen op EU-infrastructuur, zodat klantteksten in de EU blijven. Met deze benchmark wilden we nagaan of die keuze vertaalkwaliteit kost tegenover een sterk model van buiten Europa.

We namen vijftien Engelse zinnen uit FLORES-200, een openbare benchmarkset met professionele vertalingen, en lieten beide modellen elke zin naar 25 talen vertalen met de prompt die Fink in productie gebruikt. Dat leverde 750 vertalingen op. Claude Sonnet 5 beoordeelde daarna als judge elk paar op nauwkeurigheid, vloeiendheid en gepastheid, en we lieten elke vergelijking een tweede keer lopen met de kandidaten verwisseld. Het beoordelen kostte nog eens 750 aanroepen, 1.500 in totaal.

De LLM-benchmarkpagina toont de volledige resultaten en wordt bij elke nieuwe run bijgewerkt. Je vindt er winstpercentages met betrouwbaarheidsintervallen, uitsplitsingen naar moeilijkheidsgraad en taal, en alle 375 vergelijkingen met de brontekst, beide vertalingen, de professionele referentie en de redenering van de judge. Denk je dat de judge er bij één naast zat, dan kun je het nakijken.

Wat dit betekent als je met een LLM vertaalt #

In elk van de vier voorbeelden hierboven is de fout één inhoudswoord in een zin die verder vloeiend en grammaticaal correct is. रेतीली छड़ें en ชายหาด zien er op de pagina onschuldig uit, en als je de taal niet leest, kun je ze niet opmerken. LLM-uitvoer leest even soepel wanneer een vakterm verkeerd vertaald is of het register van formeel naar amicaal afglijdt. Die vloeiendheid is deel van het antwoord op de vraag waarom LLM's zo goed vertalen, en ook de reden dat je iets nodig hebt om de uitvoer tegen te controleren, zoals een terugvertaling of een tweede model dat het eerste nakijkt. Hoe mensen er überhaupt toe kwamen met deze modellen te vertalen, hebben we in een apart artikel bekeken.

In Fink markeert een MQM-kwaliteitscontrole problemen in nauwkeurigheid, vloeiendheid, terminologie en stijl, en jij accepteert of verwerpt elke suggestie. Het insights-paneel voegt een terugvertaling toe, notities over betekenis en de uitspraak voor talen die je niet kunt uitspreken.

Veelgestelde vragen #

Welk LLM is het beste om mee te vertalen? Dat hangt af van de doeltaal. In deze benchmark was noch Mistral Medium 3.5 noch GLM 5.2 in totaal significant beter, met 73 tegen 89 overwinningen uit 162 beslissende vergelijkingen (p = 0,21). Mistral won 55,8 % van de vergelijkingen naar talen met een Latijns schrift en GLM 67,1 % naar niet-Latijnse schriften. Die splitsing is significant bij p = 0,003, al vonden we haar pas toen we naar de data keken.

Is Mistral of GLM beter om mee te vertalen? In totaal geen van beide. Mistral lag voor bij de meeste talen met een Latijns schrift, waaronder Duits, Tsjechisch en Indonesisch. GLM lag voor bij Thai, Hindi, Bengaals, Chinees, Koreaans en Arabisch, en ook bij Italiaans, Spaans en Zweeds. De gemiddelde latentie van GLM was ongeveer zes keer die van Mistral, omdat het met reasoning aan draaide, de standaardinstelling.

Is Mistral goed in vertalen? In deze run kreeg Mistral Medium 3.5 van de judge 8,28 van de 10, en 52,9 chrF++ en 32,0 BLEU tegenover professionele referentievertalingen. Dat is statistisch gelijk aan GLM 5.2 met reasoning aan, bij een mediane latentie van onder een seconde.

Welk model is beter voor Chinees, Japans of Arabisch? GLM lag in deze run voor bij Chinees, Koreaans, Thai, Hindi, Bengaals, Arabisch en Perzisch. Japans was de enige niet-Latijnse taal waarin Mistral voorlag, met 5 tegen 3. Geen enkele taal had meer dan elf beslissende vergelijkingen, dus behandel een losse taal als een spoor om zelf te testen, niet als een vaststaand resultaat.

Waarom is GLM 5.2 trager dan Mistral? We lieten GLM draaien met reasoning aan, de standaardinstelling, dus genereert het verborgen reasoning-tokens vóór het antwoord. Mistral Medium 3.5 draaide zonder reasoning. De mediaan verschuift nauwelijks, 1.082 ms tegenover 987 ms, maar op het 95e percentiel had GLM 34.191 ms nodig tegenover 2.113 ms voor Mistral.

Wat is LLM-as-judge bij vertaalevaluatie? Een derde LLM vergelijkt twee vertalingen van dezelfde brontekst en kiest de betere. Wij lieten elke vergelijking twee keer lopen met omgewisselde volgorde, en de judge sprak zichzelf tegen bij 92 van de 375 (25 %). Eén oordeel van een LLM-judge bevat dus veel ruis, en je moet het niet als vaststaande waarheid behandelen.

Hoe test je een vertaalmodel? Kies een vaste set bronzinnen met professionele referentievertalingen, laat elk model ze naar je doeltalen vertalen en vergelijk de uitvoer. Wij gebruikten 15 FLORES-200-zinnen, 25 doeltalen, paarsgewijze LLM-beoordeling met omgewisselde volgorde, en chrF++- en BLEU-scores tegenover de referenties.

Wat is chrF++? Een maat die een vertaling scoort op de teken-n-grammen die ze met een referentie deelt, aangevuld met woord-unigrammen en -bigrammen (de "++"). Het meeste signaal komt uit de tekens, dus de maat werkt ook voor Chinees, Japans en Thai, die woorden niet met spaties scheiden. BLEU telt woorden, en daarom heeft deze run voor sommige talen geen BLEU-score.