Mistral tegen GLM: een Frans en een Chinees model, gesplitst door het schriftsysteem

Hoe de meningsverschillen er concreet uitzien #

Percentages verbergen wat een overwinning eigenlijk is. Hier dus één zin, door beide modellen naar vier talen vertaald, met wat de judge ervan maakte. Het is elke keer dezelfde Engelse zin:

This sediment was necessary for creating sandbars and beaches, which served as wildlife habitats.

Vrij vertaald: dit sediment was nodig om zandbanken en stranden te vormen, die dienstdeden als leefgebied voor wilde dieren.

Vier talen, twee overwinningen per kant, en vrijwel steeds hangt het hele meningsverschil aan één inhoudswoord: sandbar, de zandbank. Dat is iets specifieks, een zandrug in een rivier of voor een kust. Het is geen strand, geen duin en geen zandstaaf.

GLM gaf het op en liet sandbar in het Engels staan. Mistral gebruikte gosong pasir, de echte Indonesische term. Al het andere is bijna identiek: de tweede bijzin is in beide woord voor woord hetzelfde.

Twee foute woorden in één zin. GLM's अवसाद is een bestaand woord, maar het betekent vooral neerslachtigheid en niet de geologische term, en रेतीली छड़ें betekent letterlijk "zandige staven". Mistrals रेत के टीलों klopt ook niet helemaal, het betekent zandduinen, maar een duin is tenminste iets dat aan een kust voorkomt.

GLM gebruikte สันทราย voor zandbank en หาดทราย voor strand: twee landvormen, twee woorden. Mistral gebruikte หาดทราย en ชายหาด, die in het Thai vrijwel synoniem zijn voor strand. De bronzin benoemt twee verschillende dingen. De ene vertaling benoemt twee dingen, de andere twee keer hetzelfde.

GLM koos বালুচর, precies het woord waar ook de professionele vertaler naar greep. Mistral koos বালিয়াড়ি, opnieuw een zandduin. chrF++ geeft de judge hier gelijk: 48,4 tegenover 40,9.

Twee van deze vier liepen af zoals het verschil in schriftsysteem doet verwachten, twee niet. Zo ziet een voorsprong van 23 punten er van dichtbij uit: als een tendens, niet als een regel. Hindi is daarvan het duidelijkste voorbeeld. Mistral verloor Hindi over de hele run met 2 tegen 6, en deze zin is toevallig een van de twee die het won.

Zo hebben we twee vertaalmodellen getest #

Vijftien Engelse zinnen uit FLORES-200, een openbare benchmarkset met professioneel vertaalde teksten, elk door beide modellen vertaald naar 25 talen met exact de prompt die onze app in productie gebruikt. Dat zijn 750 vertalingen. Vervolgens vergeleek een derde model, Claude Sonnet 5, als judge elk paar op nauwkeurigheid, vloeiendheid en gepastheid, en elke vergelijking liep een tweede keer met de kandidaten verwisseld. Nog eens 750 aanroepen. Vijftienhonderd in totaal, ongeveer een uur doorlooptijd.

Alles staat op de LLM-benchmarkpagina, die automatisch wordt bijgewerkt bij elke nieuwe run: winstpercentages met betrouwbaarheidsintervallen, uitsplitsingen naar moeilijkheidsgraad en taal, en elk van de 375 vergelijkingen met de brontekst, beide vertalingen, de professionele referentie en de redenering van de judge. Denkt u dat de judge er bij één de mist in ging, dan kunt u het nakijken.

Wat dit betekent als u met een LLM vertaalt #

Kijk naar wat die vier meningsverschillen gemeen hebben. Elk ervan is één verkeerd gekozen inhoudswoord, midden in een zin die verder vloeiend, grammaticaal en volstrekt zelfverzekerd is. Niets aan रेतीली छड़ें of ชายหาด oogt fout op de pagina. Je hoort het niet, je ziet het niet aan de vorm van de zin, en wie de taal niet leest heeft geen enkele manier om te weten dat het gebeurd is. LLM's produceren elke keer vloeiend, zelfverzekerd proza, ook wanneer ze het mis hebben. Een verkeerd vertaalde vakterm, een nuance die verdampt is, een register dat van formeel naar amicaal afglijdt: alles leest net zo soepel als een correcte vertaling. Dat zijn precies de fouten die een lezer niet kan zien zonder vergelijkingsmateriaal, wat deel uitmaakt van het antwoord op de vraag waarom LLM's zo goed vertalen en waarom die vloeiendheid tegelijk gevaarlijk is.

Dit is het probleem waarvoor Fink is gebouwd. In plaats van u te vragen een zwarte doos te vertrouwen, laat Fink de vertaling zien, elke wijziging onderweg en de redenering erachter. De MQM-kwaliteitscontrole voert een tweede ronde uit die concrete problemen markeert, in nauwkeurigheid, vloeiendheid, terminologie en stijl, en u accepteert of verwerpt elke suggestie. Het insights-paneel geeft een terugvertaling zodat u de betekenis kunt controleren, betekenisnotities voor nuance, en de uitspraak voor talen die u niet kunt uitspreken. De benchmark vertelde ons dat onze modelkeuze geen kwaliteit kost. Het product vertelt u wat de vertaling werkelijk doet. Wilt u de bredere context over hoe mensen er überhaupt toe kwamen met deze modellen te vertalen, dan hebben we de gebruikscijfers apart bekeken.

Veelgestelde vragen #

Welk LLM is het beste om mee te vertalen? Dat hangt af van de doeltaal. In deze benchmark was noch Mistral Medium 3.5 noch GLM 5.2 algemeen significant beter; de verhouding was 73 tegen 89 overwinningen uit 162 beslissende vergelijkingen (p = 0,21). Maar Mistral won 55,8 % naar talen met een Latijns schrift en GLM 67,1 % naar niet-Latijnse schriften, en dat verschil is significant bij p = 0,003.

Is Mistral of GLM beter om mee te vertalen? Algemeen geen van beide. Mistral is de sterkere keuze naar talen met een Latijns schrift zoals Duits, Frans, Pools en Indonesisch. GLM is de sterkere keuze naar Thai, Hindi, Bengaals, Chinees, Koreaans en Arabisch. GLM is bovendien gemiddeld ongeveer zes keer trager, omdat het standaard met reasoning aan draait.

Is Mistral goed in vertalen? Ja. Het scoorde 8,28 van de 10 op de totaalbeoordeling van de judge, 52,9 chrF++ en 32,0 BLEU tegenover professionele referentievertalingen, statistisch gelijk aan een concurrent met reasoning aan, en dat met een mediane latentie van onder een seconde. Het is het model dat Fink in productie gebruikt, op EU-infrastructuur.

Welk model is beter voor Chinees, Japans of Arabisch? GLM lag in deze run voor bij Chinees, Koreaans, Thai, Hindi, Bengaals, Arabisch en Perzisch. Japans was de uitzondering onder de niet-Latijnse schriften; daar lag Mistral voor. Met minder dan tien beslissende vergelijkingen per taal geldt elke afzonderlijke taal als een spoor om te volgen, niet als een vaststaand resultaat.

Waarom is GLM 5.2 trager dan Mistral? Het draait standaard met reasoning aan, wat verborgen tokens genereert vóór het antwoord. Dat verschuift de mediaan nauwelijks, 1.082 ms tegenover 987 ms, maar het verschuift de staart enorm: 34.191 ms tegenover 2.113 ms op het 95e percentiel.

Wat is LLM-as-judge bij vertaalevaluatie? Een derde LLM vergelijkt twee vertalingen van dezelfde brontekst en kiest de betere. Wij lieten elke vergelijking twee keer lopen met omgewisselde volgorde om de consistentie te toetsen. De judge sprak zichzelf in 25 % van de gevallen tegen, een nuttige herinnering dat LLM-oordelen ruis bevatten en geen vaststaande waarheid zijn.

Hoe test je een vertaalmodel? Je vertaalt een vaste set bronzinnen naar veel doeltalen en vergelijkt daarna de uitvoer. Wij gebruikten FLORES-200-zinnen, 25 doeltalen, paarsgewijze LLM-beoordeling met controle op de volgorde, en chrF++- en BLEU-scores tegenover professionele referentievertalingen.

Wat is chrF++? Een maat die een vertaling met een referentie vergelijkt door naar teken-n-grammen te kijken. Anders dan BLEU, dat op spaties splitst, werkt chrF++ ook voor talen als Chinees, Japans en Thai, die woorden niet met spaties scheiden.