Waarom zijn LLM's zo goed in vertalen?
Als je vijftien jaar geleden machinevertaling gebruikte, herinner je je de uitvoer: hier en daar leesbaar, soms grappig en vol woorden die niets naast elkaar te zoeken hadden. Tegenwoordig geeft een groot taalmodel je een vertaling met het juiste register en de juiste uitdrukkingen, een tekst die klinkt alsof iemand hem direct in de doeltaal schreef. Drie ontwikkelingen hebben ons hier gebracht, en dezelfde geschiedenis verklaart waarom deze modellen nog steeds fouten maken die je makkelijk over het hoofd ziet.
Een basismodel leert door in een enorme berg tekst steeds het volgende token te voorspellen. Het krijgt geen woordjes of grammaticales, en het leert vertalen als bijeffect van die training. De eerdere systemen voor machinevertaling laten zien welke problemen die training uiteindelijk oploste.


Het geheugenknelpunt
Google Translate begon in 2006 met een regelgebaseerd systeem en stapte in 2007 over op een eigen statistisch systeem. Frasegebaseerde statistische machinevertaling, die de dienst tot 2016 aandreef, hakte zinnen in fragmenten en zocht elk fragment op in tabellen die uit menselijke vertalingen waren geleerd. Leek een zin op de trainingsdata, dan kwam er iets redelijks uit. Een zeldzaam woord of een lange, geneste bijzin bracht het systeem van de wijs, omdat het geen model van de zin als geheel had. Het wist hoe fragmenten meestal werden vertaald en had geen representatie van wat de zin betekende.
In 2014 publiceerden Ilya Sutskever, Oriol Vinyals en Quoc Le bij Google sequence-to-sequence learning. Ze bouwden daarbij voort op encoder-decoderwerk van Kalchbrenner en Blunsom en van Cho en collega's. Eén recurrent netwerk, de encoder, leest de bronzin en perst die samen tot één vector van vaste grootte. Een tweede netwerk, de decoder, maakt daaruit woord voor woord de vertaling. Het hele systeem leert van begin tot eind uit zinsparen, zonder frasentabellen.
Het ontwerp had twee zwakke punten. Een zin van willekeurige lengte in één vector van vaste grootte persen kostte informatie, en de vertaalkwaliteit daalde naarmate zinnen langer werden. De training was bovendien traag: een recurrent netwerk verwerkt een zin positie voor positie, dus je kunt het werk binnen een zin niet over veel processors verdelen. Dzmitry Bahdanau, Kyunghyun Cho en Yoshua Bengio pakten in 2014 het eerste probleem aan met attention. Bij elke uitvoerstap berekent de decoder een weging over alle toestanden van de encoder en richt zich op de bronwoorden die relevant zijn voor het volgende woord. Toen Google Translate in 2016 overstapte op neurale vertaling, combineerde het nieuwe systeem (GNMT) recurrente netwerken met dit soort attention.
De doorbraak van 2017
In 2017 publiceerden acht onderzoekers, de meesten van hen bij Google, Attention Is All You Need. Als attention het zware werk doet, vroegen ze zich af, waarom dan nog recurrentie? Hun architectuur, de transformer, laat die weg. In elke laag kijkt elk token tegelijk naar alle andere tokens in de reeks (in de decoder alleen naar de eerdere) en bouwt zijn nieuwe representatie op uit de tokens die het het zwaarst weegt.
Neem de Engelse zin "The animal didn't cross the street because it was too tired." Om "it" naar het Nederlands te vertalen, moet het model weten of het dier ("het") of de straat ("ze") bedoeld is. Een recurrent model moet "animal" door elke tussenstap meeslepen en hopen dat de informatie overleeft. In een transformer kan "it" binnen één laag op "animal" letten, hoe ver de woorden ook uit elkaar staan. Het model gebruikt meerdere attention heads parallel, en onderzoekers die getrainde modellen bekijken, vinden heads die zich specialiseren, bijvoorbeeld in syntactische relaties of in het koppelen van voornaamwoorden aan zelfstandige naamwoorden. Veel heads laten zich niet netjes duiden. Omdat attention zelf de woordvolgorde negeert, voegt de transformer positionele coderingen toe, zodat het model weet waar elk token staat.


Zonder recurrentie werd de training parallel. Tijdens de training ziet het model de volledige doelzin en berekent het alle posities tegelijk. Bij gebruik genereert het de uitvoer nog steeds token voor token. Door die parallelliteit konden labs op duizenden accelerators trainen, en de modellen groeiden in drie jaar van de 65 tot 213 miljoen parameters van de oorspronkelijke transformer naar de 175 miljard van GPT-3. Op de WMT 2014-benchmark Engels-Duits haalde de grote transformer 28,4 BLEU, meer dan twee punten boven de beste eerdere resultaten, ensembles inbegrepen. Voor Engels-Frans vestigde hij een nieuw record voor losse modellen, tegen een fractie van de trainingskosten. BERT, GPT en T5 gebruiken de transformer, net als bijna alle grote taalmodellen van nu.
Probeer Fink voor je volgende vertaling
Zie de vertaling, elke wijziging en het waarom op één scherm.
App openenVertalen als bijeffect van pretraining
Een basismodel wordt voorgetraind op één doel: het volgende token voorspellen. Het leest honderden miljarden woorden uit boeken, artikelen en websites. Voor de klassieke basismodellen heeft niemand een parallel corpus samengesteld of vertalen als trainingstaak gedefinieerd. De chatmodellen die je vandaag gebruikt, krijgen daarna nog training op instructies, en die data bevat vaak vertaalverzoeken. Het vermogen verschijnt echter al vóór die stap.
De data voor de voortraining is grotendeels Engels. In de trainingsdata van GPT-3 was ongeveer 93 procent van de woorden Engels, wat zo'n 7 procent overliet voor alle andere talen samen. Dat deel bevat veel toevallig tweetalige tekst: een Frans citaat met de Engelse vertaling erbij, een handleiding die in twee talen is gedrukt, een forumpost die halverwege de zin van Spaans naar Engels wisselt. Eleftheria Briakou, Colin Cherry en George Foster maten dit in 2023 voor Googles PaLM ("Searching for Needles in a Haystack") en vonden meer dan 30 miljoen vertaalparen in minstens 44 talen, die niemand er bewust in had gestopt. In hun kleinschalige ablaties ging de vertaalkwaliteit achteruit als ze dat materiaal weghaalden, al werd het effect kleiner naarmate de modellen groeiden. Het GPT-3-paper had al laten zien dat few-shot-vertaling gestaag beter wordt met de modelgrootte. Met 175 miljard parameters versloeg GPT-3 eerdere ongesuperviseerde vertaalsystemen bij vertalingen naar het Engels. Overzichtsstudies van meertalige modellen (Zhu et al., Huang et al.) behandelen dit vermogen over veel taalparen.
Interpreteerbaarheidsonderzoek geeft een gedeeltelijk antwoord op de vraag naar het mechanisme. Modellen die op meerdere talen zijn getraind, vormen gedeelde representaties: het concept "hond" activeert vergelijkbare interne kenmerken, of het nu in het Engels, Duits of Japans binnenkomt, en taalspecifieke kenmerken nemen pas in de laatste lagen het over, waar het model zijn uitvoerwoorden kiest. Dezelfde studie vond die gedeelde structuur ook in modellen die helemaal zonder Engels waren getraind. Bij modellen met overwegend Engelse trainingsdata, zoals Llama 2, vonden Wendler en collega's ("Do Llamas Work in English?", 2024) dat de middelste lagen dichter bij het Engels liggen dan bij de invoer- of uitvoertaal. Zodra een model betekenis weergeeft in een ruimte die meerdere talen delen, kost vertalen een stap minder: het model leest de invoer in die ruimte in en schrijft de uitvoer van daaruit.


Waarom de output beter leest
Met attention houdt een model een hele passage in beeld. Een voornaamwoord kan zo verwijzen naar een naam van twee alinea's eerder, een werkwoord congrueert met een ver onderwerp en een ambigu woord haalt zijn betekenis uit de omliggende zinnen. Oudere systemen vertaalden elke zin afzonderlijk en gingen in zulke gevallen de mist in.
Een taalmodel heeft de doeltaal bovendien geleerd uit enorme hoeveelheden tekst die in die taal is geschreven. Daardoor volgt de uitvoer de idiomatiek en het register van die taal, in plaats van de zinsbouw van het origineel na te bootsen. Het heeft ook tekst uit de meeste vakgebieden gezien, van handleidingen en contracten tot medische artikelen en romans. He en collega's (MAPS, TACL) lieten modellen eerst de voorbereiding van een vertaler doorlopen, dus sleutelwoorden eruit halen, het onderwerp bepalen en vergelijkbare voorbeeldvertalingen zoeken, en pas daarna vertalen. Dat verminderde fouten zoals verkeerde vertalingen en weglatingen. Voor vakteksten kunnen een paar voorbeeldvertalingen in de prompt of een ronde fine-tuning een algemeen model de terminologie van een bedrijf leren, zonder het helemaal opnieuw te trainen.
Waar LLM's toch nog struikelen
De kwaliteit hangt af van hoeveel tekst er in een taal bestaat. Talen met weinig aanwezigheid op het web krijgen weinig trainingsdata, en vertalingen waarbij ze betrokken zijn, blijven meetbaar zwakker, zoals het overzicht van Gain en collega's laat zien. Modellen presteren het best als het Engels aan één kant van het taalpaar staat, en slechter tussen twee niet-Engelse talen. Zelfs voor grote talen vond een evaluatie over meerdere vakgebieden dat de kwaliteit daalt naarmate een tekst langer is, meer vaktermen bevat of verder van alledaags proza af staat.
De fouten zijn moeilijk te zien. Een frasegebaseerd systeem leverde woordsalade die je in één oogopslag herkende. Neurale systemen schrijven sinds 2016 vloeiende zinnen, ook als ze de betekenis missen, en LLM's zetten dat patroon voort. Een verkeerd vertaalde vakterm, een verloren nuance of een register dat van formeel naar amicaal glijdt, leest net zo soepel als een correcte vertaling. Zulke fouten vind je alleen als je de uitvoer met de brontekst of een tweede bron vergelijkt. Wie bron en vertaling bewust vergelijkt, maakt van een vertaler ook een studiehulpmiddel. Daarover gaat een vertaler gebruiken om een taal te leren.
Waar Fink past
Fink vertaalt met LLM's en laat je zien wat het heeft veranderd en waarom, zodat je een vertaling aan de brontekst kunt toetsen in plaats van haar op goed vertrouwen over te nemen. Meer details staan op de pagina over hoe Fink werkt.
Bronnen en verder lezen
De geschiedenis hierboven steunt op drie papers: Sutskever, Vinyals en Le over sequence-to-sequence learning (2014), Bahdanau, Cho en Bengio over het attention-mechanisme (2014, gepubliceerd op ICLR 2015) en Attention Is All You Need van Vaswani en collega's (2017), dat de transformer introduceerde. Over meertalige modellen brengen twee overzichtsstudies het veld in kaart, Multilingual Large Language Models: A Systematic Survey en A Survey on Large Language Models with Multilingualism. Tracing Multilingual Representations in LLMs with Cross-Layer Transcoders onderzoekt gedeelde interne kenmerken. "Searching for Needles in a Haystack" van Briakou, Cherry en Foster (ACL 2023) meet toevallig tweetalige data in PaLM, en het GPT-3-paper van Brown en collega's (2020) geeft de taalverdeling van de trainingsdata en de vertaalresultaten per modelgrootte. Over vertaalkwaliteit beschrijft Exploring Human-Like Translation Strategy with Large Language Models (TACL) de voorbereidende stappen van hierboven, levert How Well Do Large Reasoning Models Translate? de evaluatie over meerdere vakgebieden en vat Bridging the Linguistic Divide de open problemen voor talen met weinig bronnen samen. Voor één leesbare inleiding is IBM's What is a Transformer Model? een goed startpunt. Hoeveel mensen met deze modellen vertalen, bekeken we in een apart stuk over de gebruikscijfers.