Waarom zijn LLM's zo goed in vertalen?
Iedereen die vijftien jaar geleden machinevertaling gebruikte, herinnert zich hoe het voelde. Je plakte een zin in een veld en kreeg iets terug dat technisch leesbaar en af en toe hilarisch was: een aaneenschakeling van woorden die elkaar duidelijk nog nooit hadden ontmoet. Tegenwoordig produceren grote taalmodellen vertalingen die lezen alsof een zorgvuldig mens ze heeft geschreven, met de juiste toon, de juiste idioomuitdrukkingen en het ritme van de doeltaal. Daartussen is iets ingrijpends gebeurd, en het is de moeite waard om dat te begrijpen, want het verhaal verklaart niet alleen waarom moderne vertaling zo goed werkt, maar ook waarom het soms faalt op manieren die moeilijk te zien zijn.
Hier komt het vreemde deel: niemand is gaan zitten om deze modellen te leren vertalen. Er waren geen woordenschatoefeningen, geen grammaticalessen, geen tweetalige flashcards. Het vermogen verscheen simpelweg toen de modellen groot genoeg werden, en dat maakt de vraag in de titel van dit artikel interessanter dan ze op het eerste gezicht lijkt. Het antwoord komt in drie bedrijven: een knelpunt, een doorbraak en een toevalstreffer.
Het geheugenknelpunt
De eerste praktische machinevertaalsystemen waren in wezen gigantische woordenboeken. Statistische machinevertaling, die Google Translate in zijn eerste decennium aandreef, hakte zinnen in fragmenten en sloeg elk fragment op in enorme tabellen met tekst die eerder door mensen was vertaald. Als jouw zin op iets in de tabellen leek, kon het resultaat best redelijk zijn. Zo niet, als hij een zeldzaam woord of een lange, kronkelige structuur bevatte, struikelde het systeem, omdat het geen echt model van de zin als geheel had. Het wist hoe stukjes zin meestal werden vertaald. Het wist niet wat de zin betekende.
In 2014 introduceerde een team onder leiding van Ilya Sutskever een fundamenteel andere aanpak, nu bekend als sequence-to-sequence learning. Eén neuraal netwerk, de encoder, leest de hele bronzin en perst die samen tot één enkele numerieke samenvatting van vaste grootte, een soort gedestilleerde gedachte. Een tweede netwerk, de decoder, pakt die samenvatting uit en schrijft de vertaling woord voor woord. Voor het eerst vertaalden machines vanuit betekenis in plaats vanuit frasentabellen, en de kwaliteit maakte een sprong. Google schakelde zijn vertaaldienst in 2016 over op deze neurale aanpak.
Maar het ontwerp kende twee gebreken die de onderzoekers niet weg konden engineeren. Het eerste was de samenvatting zelf: een hele zin in één gedachte van vaste grootte persen is als een vriend vragen een alinea samen te vatten in tien woorden en vervolgens vanuit die samenvatting te vertalen. Lange zinnen verloren hun begin voordat hun einde bereikt was. Het tweede gebrek was snelheid. Woord voor woord lezen en schrijven, in strikte volgorde, betekende dat de modellen niet parallel getraind konden worden, wat een plafond legde op hoe groot ze konden worden. Een ander paper uit 2014, van Dzmitry Bahdanau en collega's, bood een gedeeltelijke oplossing met een idee genaamd attention: in plaats van alleen op de samenvatting te vertrouwen, mocht de decoder terugblikken op de bronzin en zich bij elke stap richten op de woorden die er op dat moment het meest toe deden. Attention werkte opmerkelijk goed. Binnen drie jaar zou het het hele spel blijken te zijn.
De doorbraak van 2017
In 2017 publiceerden acht onderzoekers bij Google een paper met een titel die inmiddels een leus is geworden: Attention Is All You Need. Hun voorstel was radicaal in zijn eenvoud. Als terugblikken op de zin zo goed werkt, waarom dan überhaupt sequentieel lezen? Hun nieuwe architectuur, de transformer, gooide de woord-voor-woord lopende band volledig overboord. In plaats daarvan kijkt elk woord in een zin direct naar elk ander woord, allemaal tegelijk, en beslist welke woorden ertoe doen om het te begrijpen.
Bedenk wat dat oplevert. In de zin "Het dier stak de straat niet over omdat het te moe was" moet je, om te begrijpen waar "het" naar verwijst, een voornaamwoord verbinden met een zelfstandig naamwoord enkele woorden eerder, terwijl je een verleidelijk fout antwoord negeert, "straat", dat dichterbij staat. Een sequentieel model geeft dit probleem door langs een keten van geheugencellen en hoopt dat er niets verloren gaat. Een transformer lost het in één enkele stap op, omdat "het" rechtstreeks terug kan kijken naar "dier", hoe ver ze ook uit elkaar staan. Beter nog: het model doet dit met vele attention heads die parallel werken en elk gevoelig zijn voor een ander soort relatie: de een volgt de grammatica, de ander de betekenis, een derde verwijzingen, als een kamer vol lezers die elk op iets anders letten. Een wiskundige truc genaamd positionele codering houdt de woordvolgorde bij, zodat het systeem niet alleen weet welke woorden aanwezig zijn, maar ook waar ze staan.
De praktische gevolgen waren enorm. Omdat elk woord gelijktijdig in plaats van achtereenvolgens wordt verwerkt, kon de training worden verdeeld over duizenden parallel werkende chips, en groeiden de modellen van miljoenen naar honderden miljarden parameters. Op de standaardbenchmarks WMT 2014 versloeg de oorspronkelijke transformer de bestaande systemen al met meer dan twee BLEU-punten, een grote marge in een vakgebied waar vooruitgang doorgaans in fracties wordt gemeten. En de architectuur bleek universeel: BERT, GPT, T5 en elk groot taalmodel sindsdien is in de kern een transformer.
Probeer Fink voor je volgende vertaling
Zie de vertaling, elke wijziging en het waarom op één scherm.
App openenDe toevalstreffer: vertalen dat niemand trainde
Hier neemt het verhaal zijn vreemdste wending. Moderne grote taalmodellen worden getraind op precies één taak: het volgende woord in een tekst voorspellen. Ze zien een halve zin en raden wat er daarna komt, miljarden en nog eens miljarden keren, over honderden miljarden woorden aan boeken, artikelen en websites. Niemand reikt ze paren van vertaalde zinnen aan om te bestuderen. Niemand definieert vertalen überhaupt als taak.
Toch herbergen de trainingsdata een stil geheim. Ze zijn grotendeels Engels, maar een betekenisvol deel ervan, een paar procent, is in andere talen geschreven, en overal verspreid liggen pagina's die twee talen tegelijk noemen: een citaat in het Frans met de Engelse weergave ernaast, een handleiding in parallel Duits, een forumpost die halverwege de zin wisselt tussen Spaans en Engels. Deze incidentele tweetalige signalen, vermenigvuldigd met een trainingscorpus ter grootte van een bibliotheek, waren genoeg. Vanaf een bepaalde schaal verscheen het vertaalvermogen, abrupt, in modellen die er nooit om gevraagd hadden. Onderzoekers noemen dit een emergent vermogen, en vertalen is het klassieke voorbeeld, gedocumenteerd in systematische overzichtsstudies van meertalige modellen.
Waarom het gebeurt, wordt duidelijker nu wetenschappers in deze modellen kunnen kijken. Recent werk dat de interne circuits van meertalige modellen traceert, heeft ontdekt dat ze gedeelde representaties vormen: het concept "hond", of "rechtvaardigheid", of "gisteren", activeert grotendeels dezelfde interne machinerie, of het nu in het Engels, Duits of Japans arriveert; de taalspecifieke aankleding wordt pas vlak voor de uitvoer toegevoegd. Het Engels fungeert vaak als intern ontmoetingspunt, een draaischijf waar het model doorheen gaat op weg tussen andere talen. In een heel letterlijke zin bouwt het model een ruimte waarin eerst de betekenis leeft en pas daarna de woorden. Zodra de betekenis op een taalneutrale plek zit, is vertalen minder een speciale vaardigheid dan een natuurlijk gevolg van hoe het model denkt.
Waarom de output beter leest
Het mechanisme verklaart de ervaring. Omdat attention een hele passage in één keer bestrijkt, houden moderne modellen de volledige context in beeld: een voornaamwoord verwijst nog steeds correct naar een naam die twee alinea's eerder werd genoemd, een werkwoord congrueert met zijn verre onderwerp, en een ambigu woord haalt zijn betekenis uit de omliggende zinnen in plaats van uit het eerste woordenboeklemma. De oude faalmodus, waarin elke zin in eenzame isolatie werd vertaald, is grotendeels verdwenen.
Net zo belangrijk: een taalmodel is een schrijver voordat het een vertaler is. Het heeft de doeltaal opgezogen uit bibliotheken vol goed geschreven tekst, dus draagt de output de vloeiendheid, de idiomatiek en het register van iets gecomponeerds in plaats van iets in elkaar gezets. Het heeft bovendien jouw vakgebied gelezen, wat het ook is: handleidingen, contracten, medische artikelen, romans. Onderzoek naar mensachtige vertaalstrategieën heeft aangetoond dat deze modellen zelfs door dezelfde voorbereidende stappen kunnen worden geleid die een professionele vertaler neemt: sleutelwoorden, onderwerp en context afwegen voordat men zich op een formulering vastlegt, wat fouten zoals miskende betekenissen en weglatingen meetbaar vermindert. En voor gespecialiseerd werk kan fine-tuning of een handvol voorbeeldvertalingen in de prompt een algemeen model aanpassen aan de terminologie van een bepaald bedrijf, zonder het helemaal opnieuw te trainen.
Waar LLM's toch nog struikelen
Niets hiervan betekent dat vertalen een opgelost probleem is. Dezelfde onevenwichtigheid in de trainingsdata die van het Engels de interne draaischijf maakt, zorgt ook voor ongelijke kwaliteit: talen met weinig tekst op het web zijn dun vertegenwoordigd in de training, en vertalingen waarbij ze betrokken zijn, blijven meetbaar zwakker, zoals brede overzichtsstudies van het veld duidelijk maken. De prestaties zijn het sterkst wanneer het Engels aan één kant van het taalpaar staat, en nemen af voor richtingen die de draaischijf overslaan. Zelfs tussen grote talen vinden evaluaties over gespecialiseerde domeinen dat de kwaliteit daalt zodra teksten langer worden, dichter van terminologie, of verder van alledaagse proza verwijderd.
Het diepere probleem is hoe deze modellen falen: geruisloos. Een ouder systeem kondigde zijn verwarring aan met onbegrijpelijke output die je vanuit de verte herkende. Een taalmodel produceert elke keer weer vloeiend, zelfverzekerd proza, ook in de gevallen waarin het fout zit. Een verkeerd vertaalde technische term, een nuance die is verdwenen, een register dat van formeel naar hartelijk is weggedreven: het leest allemaal net zo soepel als een correcte vertaling. De overgebleven fouten zijn precies de fouten die een lezer niet kan zien zonder iets om mee te vergelijken.
Het korte antwoord
Grote taalmodellen zijn goed in vertalen omdat, vanaf een bepaalde schaal, taal begrijpen en taal vertalen hetzelfde probleem bleken te zijn. Zodra een model een greep op betekenis opbouwt die boven elke afzonderlijke taal zweeft, komt het schakelen tussen talen bijna vanzelf. Dat is waarom wij bij Fink Translate bouwen op de krachtigste beschikbare LLM's: het zijn simpelweg de sterkste vertaalmachines die er bestaan.
En juist omdat zelfs de sterkste machines die stille fouten maken, bestaat Fink. In plaats van je te vragen een black box te vertrouwen, laat Fink je de vertaling zien, elke wijziging onderweg, en het waarom erachter, zodat een geruisloze fout een zichtbare wordt. Hoe dat precies werkt, lees je op onze pagina over hoe Fink werkt. En als je benieuwd bent hoe honderden miljoenen mensen überhaupt met deze modellen zijn gaan vertalen, hebben we de gebruikscijfers apart bekeken.
Bronnen en verder lezen
De keerpunten die hierboven zijn verteld, berusten op drie klassieke papers: Sutskever en collega's over sequence-to-sequence learning uit 2014, Bahdanau en collega's over het eerste attention-mechanisme, eveneens uit 2014, en Vaswani en collega's Attention Is All You Need uit 2017, dat de transformer introduceerde. Voor de meertalige kant van het verhaal brengen twee overzichtsstudies het territorium in kaart, Multilingual Large Language Models: A Systematic Survey en A Survey on Large Language Models with Multilingualism, terwijl Tracing Multilingual Representations in LLMs een kijkje biedt in de hierboven beschreven gedeelde interne circuits. Over vertaalkwaliteit in het bijzonder heeft Exploring Human-Like Translation Strategy with Large Language Models, gepubliceerd in TACL, de passage over de voorbereiding van een vertaler geïnspireerd, How Well Do Large Reasoning Models Translate? levert de domeinoverschrijdende evaluatie, en Bridging the Linguistic Divide geeft een overzicht van de resterende uitdagingen voor talen met weinig bronnen. En als je liever één toegankelijke uitleg leest dan een stapel papers, is IBM's What is a Transformer Model? het beste enkele startpunt.