Hoe weet men of een AI-vertaling klopt?
Men typt een bericht naar een verhuurder, drukt op vertalen, en de zin komt terug soepel, zelfverzekerd, natuurlijk. Het klinkt goed, en dat is precies het probleem: het is nog nooit zo moeilijk geweest om te weten of een AI-vertaling klopt, want goed klinken is precies wat vertalingen tegenwoordig doen, ook de verkeerde. De twijfel blijft hangen, want de inzet is hoog. Een verkeerd woord kan een huurclausule veranderen, een antwoord op een visumaanvraag, een zin in een paper die net wordt ingediend. De machine aarzelt niet, dus de afzender wel.
Die aarzeling is de nieuwe norm. Vroeger verraadde een gebroken zin, een grammaticale crash of een duidelijk litteken waar de betekenis weglekte. Tegenwoordig leest de output als door een mens geschreven, wat alleen maar betekent dat die mens het ook bij het verkeerde eind had kunnen hebben. Vloeiendheid is geen bewijs meer. De vraag is niet of het natief klinkt, maar of het zegt wat bedoeld was, in de toon die voor ogen stond, met de precisie die nodig is.
Het echte werk begint dus na de eerste versie. De vertaling ziet er af, maar de controle is nog maar net begonnen. Het antwoord op de vraag hoe men weet of een AI-vertaling klopt, is geen gevoel, maar een procedure: een stapel tests die elk de fouten vangen die de anderen missen.
Wat "correct" eigenlijk betekent
Een vertaling is correct als die de betekenis van de bron behoudt, natuurlijk klinkt in de doeltaal, past bij het beoogde register en rekening houdt met idiomatisch taalgebruik.
De klassieke verdeling in de evaluatieliteratuur is adequaatheid versus vloeiendheid: zegt het de juiste dingen, en zegt het dat op de manier waarop een moedertaalspreker dat zou doen? Die twee zijn niet genoeg. Een tekst kan accuraat zijn en toch stijf of te formeel overkomen voor de context, of prachtig lezen terwijl een cruciale nuance ontbreekt omdat het idioom niet meereist. Juliane House beschrijft in haar boek Translation Quality Assessment: Past and Present correctheid als gekoppeld aan functie: een vertaling die zijn doel dient in de nieuwe taal, is correct voor dat doel, ook als die afwijkt van de originele toon of structuur. Daarom kan een vertaling accuraat maar onnatuurlijk zijn, natuurlijk maar met het verkeerde register, grammaticaal correct maar idiomatisch onzin. En daarom is de vraag "is het correct?" zonder te specificeren welke as bedoeld wordt een vraag zonder antwoord.
De vloeiende leugen
De vertalingen die mensen zorgen baren, zijn precies diegene die er perfect uitzien. Ze komen gepolijst en zelfverzekerd binnen, zonder de oude littekens van machine-uitvoer, en dat is het probleem. Vloeiendheid is tegenwoordig makkelijk te produceren en onmogelijk voor de afzender om zonder hulp te controleren. Douglas Hofstadter demonstreerde dit in The Shallowness of Google Translate: een tweetalige auteur die zijn eigen werk in de vertaaltool stopte en zag hoe die alinea's teruggaf die soepel lazen, maar bijna niets van de oorspronkelijke betekenis bevatten. Vloeiend, zelfverzekerd, hol.
Het kantelpunt was 2016, toen Google zijn neurale systeem aankondigde in een blogpost getiteld Found in translation. Het bijbehorende GNMT-artikel meldde dat het nieuwe systeem vertaalfouten met gemiddeld 60 procent reduceerde ten opzichte van het frasegebaseerde systeem dat het verving, in een menselijke side-by-side-evaluatie. In sommige gevallen waren menselijke en machinevertalingen bijna niet van elkaar te onderscheiden op de geïsoleerde, eenvoudige zinnen die voor het experiment waren geselecteerd. Dat was het moment waarop vloeiendheid ophield een kwaliteitssignaal te zijn, omdat ook verkeerde vertalingen goed gingen klinken. Wil men de technische redenen weten waarom de uitvoer zo goed leest, dan leggen we dat uit in waarom LLMs goed zijn in vertalen; de korte versie is dat de modellen getraind zijn op plausibele uitvoer, dus hun fouten lezen als zelfverzekerd proza.
De foutmodus is niet hypothetisch. Een opmerking in de Hacker News-thread over Hofstadters stuk beschreef een jarenlange benchmark: "Het woord is 'χελιδόνι', wat 'zwaluw' (de vogel) betekent in het Grieks. Zolang ik dit kleine experimentje heb geprobeerd, heeft Google het vertaald naar het Franse woord 'avaler', het werkwoord 'slikken'." Perfect vloeiend Frans, verkeerde woordsoort, verkeerde betekenis, geen zichtbare naad. Denkt men dat eens door voor een zin die niet gecontroleerd kan worden, dan heeft men de vorm van het risico (thread).
Ook de bouwers van vertaaltools voelen dezelfde twijfel. De maker van Offline Translate schreef: "Ik was lange tijd bezorgd over het gebruik van vertaalapps bij het schrijven van e-mails aan mijn arts of openbare instanties, met persoonlijke informatie erin." De maker van Loqi, een lokale vertaaltool, beaamde dat: "Zelfs met alle opt-out-mogelijkheden en privacybeleid voelde het nooit goed, vooral niet voor sommige werkdocumenten, persoonlijke teksten of iets gevoeligs." En het gemeenschapsadvies is direct, zoals in de titel van een veel gedeelde PSA op r/languagelearning: "Controleer de vertaling altijd met een andere software en/of een leraar, want DeepL genereert af en toe willekeurige vertalingen die helemaal niets met je invoer te maken hebben." Kan men Google Translate, DeepL of welke tool dan ook vertrouwen? Voor informeel gebruik meestal wel, en hun vloeiendheid is echt. Voor alles met inzet is vloeiendheid geen bewijs, en het enige eerlijke antwoord is checks uit te voeren die niet afhangen van hoe de tekst klinkt.
Stuur het terug waar het vandaan kwam
Terugvertaling is de oudste verificatietruc die er is: de vertaling gaat terug naar de oorspronkelijke taal, en wat er terugkomt, wordt gelezen. Als de heen- en terugreis de betekenis teruggeeft waar mee begonnen werd, heeft de vertaling waarschijnlijk behouden wat ertoe deed. Als er iets terugkomt wat niet bedoeld was, is het probleem gevonden voordat een lezer dat doet. Het is precies de vraag die mensen in elke taalleergemeenschap stellen, in threads als "Hoe controleer ik of mijn vertaling correct is?" op r/Korean.
De check werkt omdat de twee richtingen van een vertaling zelden op dezelfde manier falen. Een fout die onderweg is geïntroduceerd, overleeft de terugreis meestal niet intact; die komt als een mismatch naar boven in de oorspronkelijke taal, waar niets verborgen blijft achter onvolledige beheersing van de doeltaal. Men voert de terugreis zo mogelijk uit met een andere tool dan de oorspronkelijke, zodat een gedeelde blinde vlek zich niet herhaalt, en leest het resultaat als een bewering over de betekenis, niet als proza om op stijl te beoordelen.
De beperking is eerlijk en de moeite waard om te kennen: een heen- en terugreis kan een fout witwassen als beide richtingen dezelfde verkeerde aanname delen, en de fout keert dan vermomd als bevestiging terug. Een onveranderde terugreis is bewijs, geen garantie, vandaar dat het één check in een stapel is, niet het hele antwoord. Er is ook een tweede, heel andere toepassing van dezelfde mechaniek, als leermethode voor taalleerders; de leermethode-versie van terugvertaling gaat daar dieper op in.
Lees het als een moedertaalspreker, hardop
Het is niet nodig de brontaal te kennen om veel vertaalproblemen op te merken. Dat is de aanname achter een langlopende discussie op r/books met de vraag "Hoe beoordeel je de kwaliteit van een vertaling zonder de oorspronkelijke taal te kennen?", en het antwoord waar de community steeds op uitkomt is de doeltekst op eigen merites te beoordelen. Een moedertaalspreker van de doeltaal die een vertaling leest, merkt onnatuurlijke ritmes, verkeerd register, idiomen die geen moedertaalspreker ooit zou gebruiken, een toon die midden in een alinea van formeel naar informeel schakelt. Daarvoor hoeft de bron niet te worden gezien.
Wat structureel niet kan worden opgemerkt, is of de betekenis klopt. Een moedertaalspreker van de doeltaal checkt vloeiendheid, register en idiomatiek, de assen die volledig in de doeltaal leven. Accuraatheid zit in de relatie tussen twee teksten, en iemand die er maar één van leest, is per definitie blind voor die relatie. Deze asymmetrie is precies de reden waarom de eentalige check en de terugvertaling in dezelfde routine thuis horen: elk dekt de blinde vlek van de ander af.
De taakverdeling kan zelfs productief zijn. Een opmerking in een Hacker News-thread over door mensen gecorrigeerde machinevertalingen vatte het precies samen: "Ik kan geen woord Chinees vertalen, maar ik kan meestal een goede machinevertaling redelijk corrigeren" (thread). De machine handelt de richting af die de afzender niet aankan, de moedertaalspreker controleert het resultaat in de taal die perfect wordt beheerst. En de goedkoopste versie van deze check vereist niet eens een tweede persoon. Leest men de vertaling hardop voor, dan hoort het oor wat het oog mist: een ritme dat niet klopt, een zin die niemand zou zeggen, een woord dat technisch correct is maar in de praktijk nooit wordt gebruikt.
Probeer Fink voor je volgende vertaling
Zie de vertaling, elke wijziging en het waarom op één scherm.
App openenDe checks die professionals daadwerkelijk uitvoeren
Professionals gokken niet; ze voeren een benoemde foutentypologie uit. De industriestandaard is het Multidimensional Quality Metrics-kader (MQM), beschreven in een artikel uit 2014 van Lommel, Uszkoreit en Burchardt en onderhouden op themqm.org. In plaats van te vragen of een vertaling "correct" is, telt MQM fouten per type, zoals nauwkeurigheid, vloeiendheid, terminologie, stijl en register, en weegt ze af op ernst, zodat kwaliteit meetbaar, vergelijkbaar en bespreekbaar wordt op basis van feiten in plaats van smaak. Latere studies, zoals de Multi-Range Theory of Translation Quality Measurement, laten zien hoe die foutenaantallen omgezet worden in scores.
Verificatie is ook in de professionele wereld niet optioneel. ISO 17100, de internationale norm voor vertaaldiensten, vereist een afzonderlijke revisiestap in de workflow: een vertaling die niet door een tweede paar ogen is gecontroleerd, is volgens de norm zelf per definitie een onafgemaakt product. Zelfs professionals discussiëren over de nuances, in threads als "Hoe weet ik of mijn vertaling goed is?" en "Als een vertaling 'correct' is maar toch niet goed voelt, hoe train je die vaardigheid?" op r/TranslationStudies. Het punt voor iedereen met een tekst die ertoe doet, is eenvoudiger dan de discussie: de vraag "is het correct?" heeft een professioneel antwoord, en dat is een checklist met benoemde fouttypen, geen gevoel.
Wat Fink hiermee doet
Hierop hebben we Fink gebouwd. Elke vertaling doorloopt standaard een MQM-kwaliteitscheck, met problemen die inline worden gemarkeerd en een kwaliteitsscore naast de uitvoer. Een verkeerd formaliteitsniveau is een van de probleemtypen die worden genoemd, omdat registerfouten precies het soort zijn dat soepel leest en ongemerkt doorglipt. Een terugvertaling verschijnt automatisch bij elke vertaling, zodat de heen- en terugreis plaatsvindt, of men eraan denkt of niet. Betekenisnotities leggen nuance, dubbelzinnigheid, toon, idiomatiek en alternatieve lezingen uit, en dat zijn aantekeningen over betekenis, geen grammaticacorrecties. Een woordenlijst houdt de terminologie consistent binnen een project, met vergrendelbare termen, en de formaliteitsinstelling (Formeel, Neutraal, Informeel) wordt voor de vertaling gekozen, zodat de toon een bewuste keuze is in plaats van een gok. Het ondersteunt 25 talen.
De eerlijke beperking is duidelijk: Fink markeert problemen en toont de terugvertaling, maar bewijst geen correctheid. De checks verminderen twijfel, ze schaffen hem niet af, en de moedertaalspreker blijft de laatste schakel. Wat de automatisering oplevert, is geen zekerheid, maar dekking: de checks die de meeste mensen van plan zijn uit te voeren en zelden doen, worden standaard uitgevoerd, bij elke vertaling. Men kan het als gast proberen met ongeveer vijftig gratis vertalingen, zonder account en zonder creditcard, op app.fink-translate.com, of de prijzen bekijken voor het volledige pakket functies.
Een routine voor alles wat ertoe doet
De routine verloopt op dezelfde manier, met elke tool, op elke tekst. Het register wordt vóór de vertaling ingesteld, zodat de toon bij de context past en niet gewoon een gok is. Daarna voert men de terugvertaling uit, leest wat er terugkomt en checkt de betekenis tegen wat bedoeld was. Het resultaat wordt hardop voorgelezen in de doeltaal, of men geeft het aan iemand die dat kan, om te horen wat niet klopt. Men controleert of sleuteltermen elke keer op dezelfde manier zijn vertaald. Voor alles met echte inzet leest een moedertaalspreker de definitieve versie als laatste. Fink automatiseert het midden van deze routine; de eerste keuze en de laatste check blijven voor de gebruiker.
Voor een uitgewerkt voorbeeld van de hele routine onder echte druk, zie een sollicitatiebrief vertalen, waar dezelfde checks worden toegepast op een document dat een wervingsmanager binnen seconden beoordeelt. Het doel is niet zekerheid. Het doel is weten wat er gecontroleerd is en wat niet.
Vragen die mensen hierover stellen
Hoe weet men of een vertaling accuraat is? Niet aan de hand van hoe het klinkt, want moderne vertalingen klinken bijna altijd goed. Het antwoord is een stapel checks: een terugvertaling om de betekenis te testen, een eentalige hardop-voorleescheck voor vloeiendheid en register, een terminologiecheck voor consistentie, en een moedertaalspreker voor de laatste controle. Elke check is blind voor iets wat de anderen wel vangen.
Wat maakt een vertaling "correct"? Correct is geen enkele eigenschap, maar een set ervan: adequaat ten opzichte van de bron, vloeiend in de doeltaal, passend register en idiomatisch natuurlijk. Elk kan afzonderlijk falen, dus een vertaling kan accuraat maar stijf zijn, natuurlijk maar met de verkeerde toon, of idiomatisch maar met een afwijkende betekenis. Juliane House voegt toe dat correctheid afhangt van de functie van de vertaling: correct voor een huurcontract is niet dezelfde lat als correct voor een gedicht.
Kan men Google Translate vertrouwen voor belangrijke documenten? Voor informeel gebruik zijn Google Translate en DeepL vaak vloeiend genoeg, en die vloeiendheid is echt. Voor alles met inzet is vloeiendheid geen bewijs van correctheid: het GNMT-artikel achter moderne machinevertaling meldde dat menselijke en machine-uitvoer soms bijna niet van elkaar te onderscheiden waren, en dat mes snijdt aan twee kanten. Men voert de checks uit, en voor documenten die ertoe doen leest een moedertaalspreker de definitieve versie.
Wat is terugvertaling en bewijst het accuraatheid? Terugvertaling betekent dat men de vertaling terugvertaalt naar de oorspronkelijke taal en het resultaat vergelijkt met wat bedoeld was. Het is nuttig bewijs, maar bewijst geen accuraatheid, omdat een gedeelde verkeerde aanname in beide richtingen een fout kan witwassen: de heen- en terugreis geeft de bedoeling terug om de verkeerde reden, en de fout keert vermomd als bevestiging terug.
Heeft men een moedertaalspreker nodig om een vertaling te checken? Voor alles wat ertoe doet: ja. Een moedertaalspreker vangt onnatuurlijke formuleringen, verkeerd register en idiomatische missers die geautomatiseerde checks missen. Ze kunnen de betekenis niet controleren ten opzichte van een bron die ze niet kunnen lezen, dus ze zijn één check in de stapel, niet het hele antwoord.
Wat gebruiken professionele vertalers om kwaliteit te checken? Het Multidimensional Quality Metrics-kader (MQM), dat fouten telt per type (nauwkeurigheid, vloeiendheid, terminologie, stijl, register) en ze weegt op ernst, zodat kwaliteit meetbaar wordt. ISO 17100 vereist een afzonderlijke revisiestap in professionele workflows, en tools als Fink passen dezelfde typologie automatisch toe, met problemen die inline worden gemarkeerd en een kwaliteitsscore.
Bronnen en verdere lectuur
De vloeiende leugen wordt het best gedemonstreerd door Douglas Hofstadter in The Shallowness of Google Translate, waar een tweetalige auteur de tool test op zijn eigen werk. Googles overstap naar neurale vertaling in 2016 is gedocumenteerd in het GNMT-artikel en Googles aankondiging Found in translation. Het professionele antwoord op kwaliteit is het MQM-kader, beschreven in het LREC 2014-artikel van Lommel, Uszkoreit en Burchardt, met scoringsmethoden die verder zijn uitgewerkt in The Multi-Range Theory of Translation Quality Measurement. Het boek Translation Quality Assessment: Past and Present van Juliane House vormt de academische basis voor correctheid afhankelijk van functie, en ISO 17100 legt de afzonderlijke revisiestap vast. De praktijkervaring komt naar voren in Hacker News-threads van de makers van Offline Translate en Loqi, een opmerking over door mensen gecorrigeerde machinevertaling, en de Grieks-Franse benchmark van een lezer, en in Reddit-discussies op r/books, r/Korean, r/languagelearning en r/TranslationStudies. Zie voor gerelateerde lectuur een vertaaltool gebruiken om een taal te leren en een sollicitatiebrief vertalen.