Summio

PDF

Aandacht is alles wat je nodig hebt

Dit artikel introduceert de Transformer, een baanbrekende neurale netwerkarchitectuur die recurrentie verving door aandacht, waarmee sequentiemodellering werd gerevolutioneerd.

27 min leestijd

Beschikbaar in

Voorbeeld van de samenvatting

De Transformer: Hoe 'Attention Is All You Need' Alles Veranderde

Hey daar! Je hebt vast al van alles gehoord over AI de laatste tijd, toch? Modellen die kunnen schrijven, coderen, vertalen en zelfs kunst maken. Nou, een enorm deel van die revolutie is terug te voeren op één enkel paper dat in 2017 werd gepubliceerd, genaamd "Attention Is All You Need". Het introduceerde een nieuw soort neuraal netwerkarchitectuur genaamd de Transformer, en eerlijk gezegd, het blies alle deuren wijd open voor wat AI kon doen, vooral met taal. Voordat de Transformer bestond, waren de standaardmodellen voor sequentietaken zoals machinale vertaling Recurrente Neurale Netwerken (RNN's), inclusief hun wat chiquere neven, LSTMs en GRUs. Zie RNN's als het lezen van een boek woord voor woord, waarbij je probeert te onthouden wat ervoor kwam om het huidige woord te begrijpen. Deze sequentiële aard is intuïtief, maar heeft een enorm nadeel: het is traag. Je kunt niet het hele boek tegelijk verwerken; je moet woord voor woord gaan, wat het trainen van deze modellen een echte kwelling maakt en beperkt hoe complex ze kunnen worden. Dit paper, geschreven door een droomteam van Google Brain, Google Research en de Universiteit van Toronto (Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser en Illia Polosukhin), stelde een radicaal idee voor: wat als we de recurrentie helemaal konden weglaten? Wat als we een model konden bouwen dat alle woorden in een zin tegelijk bekijkt en uitzoekt welke het belangrijkst zijn voor het begrijpen van elk individueel woord? Dat is waar attention-mechanismen om de hoek komen kijken, en de Transformer is volledig rond deze mechanismen gebouwd. Stel je voor dat je een zin aan het vertalen bent. In plaats van alleen naar het direct voorafgaande woord te kijken, stelt een attention-mechanisme het model in staat om direct te focussen op elk woord in de bronzin dat relevant is voor het woord dat het op dat moment probeert te vertalen. Het is alsof je de belangrijkste delen van een tekst markeert voor een specifieke taak. De Transformer neemt dit concept tot het uiterste, met behulp van een vorm van attention die self-attention heet, waarbij het model het belang van alle andere woorden in dezelfde zin weegt bij het verwerken van een bepaald woord. Hierdoor kan het langeafstands-afhankelijkheden vastleggen – zoals begrijpen hoe een voornaamwoord aan het einde van een alinea verband houdt met een zelfstandig naamwoord aan het begin – veel effectiever dan RNN's. Het resultaat? De Transformer is niet alleen veel beter paralleliseerbaar (wat betekent dat het veel, veel sneller getraind kan worden op moderne hardware zoals GPU's), maar het behaalde ook state-of-the-art resultaten in machinale vertaling, en versloeg eerdere records met een aanzienlijke marge. We praten over het behalen van topklasse Engelse-naar-Duitse en Engelse-naar-Franse vertaalscores in slechts een paar dagen training, een prestatie die voorheen veel langer duurde of enorme ensembles van modellen

Het Probleem met de Oude Garde: Waarom RNN's Ons Vertraagden

Voordat we te enthousiast worden over de Transformer, is het super belangrijk om te begrijpen waarom het zo'n grote deal was. Jarenlang waren de koningen van sequentiemodellering – taken zoals talen vertalen, tekst samenvatten of zelfs het volgende woord in een zin voorspellen – Recurrente Neurale Netwerken (RNN's). Denk aan LSTMs (Long Short-Term Memory) en GRUs (Gated Recurrent Units). Ze waren behoorlijk goed, maar ze hadden een fundamentele beperking: ze verwerkten informatie sequentieel. Stel je een zin voor: "De snelle bruine vos springt over de luie hond." Een RNN zou het als volgt verwerken: 1. Leest "De", werkt het interne geheugen (verborgen toestand) bij. 2. Leest "snelle", werkt het geheugen bij op basis van "De" en "snelle". 3. Leest "bruine", werkt het geheugen bij op basis van de vorige toestand en "bruine". 4. ...enzovoort, helemaal tot aan "hond". Elke stap is afhankelijk van de output van de vorige stap. Dit creëert een kettingreactie, en als je de betekenis van "springt" wilt weten, moet de RNN de informatie van "De snelle bruine vos" correct hebben verwerkt en onthouden. Deze sequentiële afhankelijkheid is het kernprobleem. Het maakt parallellisatie – het tegelijkertijd verwerken van meerdere delen van de input – erg moeilijk, zo niet onmogelijk. Waarom? Omdat je de toestand voor "springt" niet kunt berekenen totdat je de toestand voor "vos" hebt berekend, en dat kun je niet doen totdat je "bruine" hebt gedaan, enzovoort. Dit is een belangrijke bottleneck voor training. Het trainen van deep learning-modellen vereist enorme hoeveelheden rekenkracht, en dit sequentieel doen duurt eeuwen. Als je een enorme dataset en een complex model hebt, kun je dagen, weken of zelfs maanden wachten op één enkele trainingsrun. Bovendien, naarmate sequenties langer worden, wordt het onthouden van informatie van het begin steeds uitdagender voor RNN's. Informatie kan onderweg verwaterd of verloren gaan – het gevreesde "vanishing gradient"-probleem, hoewel LSTMs en GRUs zijn ontworpen om dit te verzachten, hebben ze het niet volledig geëlimineerd. Nu, andere architecturen zoals Convolutional Neural Networks (CNN's) hadden al de kracht van parallelle verwerking aangetoond op gebieden zoals beeldherkenning. Er werden pogingen gedaan om CNN-achtige structuren toe te passen op sequenties (zoals ByteNet of ConvS2S), en ze lieten meer parallellisatie toe dan RNN's. Ze hadden echter vaak hun eigen problemen. Om afhankelijkheden tussen woorden die ver uit elkaar staan in een zin vast te leggen, moesten deze convolutionele modellen zeer diepe stapels lagen of zeer grote filters (kernels) gebruiken. Dit betekende dat het "padlengte" – het aantal stappen dat informatie nodig heeft om van het ene deel van de sequentie naar het andere te reizen – nog steeds behoorlijk groot kon zijn, wat het leren van langeafstands-afhankelijkheden belemmerde. Dus, de situatie vóór de Transformer was in feite een afweging: RNN's waren goed in het vastleggen van sequentiële

Enter de Transformer: Een Nieuwe Hoop Gebouwd op 'Attention'

De auteurs van "Attention Is All You Need" keken naar dit landschap en vroegen zich af: kunnen we het beste van twee werelden krijgen? Kunnen we een model hebben dat afhankelijkheden vastlegt, ongeacht hun afstand in de sequentie (zoals 'attention' belooft) en zeer paralleliseerbaar is? Hun antwoord was een volmondig ja, en de sleutel was om recurrentie en convoluties volledig te laten vallen en uitsluitend te vertrouwen op attention-mechanismen.

Wat IS 'Attention' Precies?

Voordat we duiken in de architectuur van de Transformer, laten we 'attention' onder de knie krijgen. Simpel gezegd, een attention-mechanisme stelt een model in staat om zich te concentreren op specifieke delen van de input bij het verwerken van een bepaald stuk informatie. Denk aan hoe jij leest: wanneer je een woord als "het" tegenkomt, kijkt je brein automatisch terug om te achterhalen waar "het" naar verwijst. Attention-mechanismen proberen dit na te bootsen. In de context van neurale netwerken omvat attention doorgaans drie componenten: Queries (Q): Vertegenwoordigt het huidige stuk informatie waarop je je concentreert (bijv. het woord dat je probeert te vertalen). Keys (K): Vertegenwoordigt de beschikbare informatie in de inputsequentie waar je mogelijk aandacht aan wilt besteden. Values (V): Vertegenwoordigt de daadwerkelijke inhoud of representatie die aan elke Key is gekoppeld. Het attention-mechanisme berekent hoe goed elke Key overeenkomt met de Query. Deze match score (vaak berekend met een dot product) wordt vervolgens gebruikt om gewichten te creëren. Deze gewichten bepalen hoeveel van elke corresponderende Value moet worden gecombineerd om de uiteindelijke output te produceren. In wezen is het een manier om dynamisch het belang van verschillende delen van de input te wegen op basis van de huidige context (de Query).

Self-Attention: De Ster van de Show

De game-changer van de Transformer is self-attention. In tegenstelling tot traditionele attention, waarbij je misschien aandacht besteedt aan een andere sequentie (zoals aandacht besteden aan de bronzin tijdens het decoderen van de doelzin), relateert self-attention verschillende posities van een enkele sequentie om een representatie van die sequentie te berekenen. Simpeler gezegd, voor elk woord in een zin stelt self-attention het model in staat om naar alle andere woorden in dezelfde zin te kijken en te beslissen welke het meest relevant zijn voor het begrijpen van dat specifieke woord. Laten we teruggaan naar "De snelle bruine vos springt over de luie hond." Wanneer de Transformer het woord "springt" verwerkt, staat self-attention het toe om "De", "snelle", "bruine", "vos", "over", "de", "luie" en "hond" tegelijkertijd te overwegen. Het kan bijvoorbeeld leren dat "vos" zeer relevant is voor "springt", omdat vossen dieren zijn die springen. Het kan ook leren dat "over" relevant is omdat het beschrijft hoe het springen plaatsvindt ten opzichte van de "hond". Dit vermogen om direct relaties tussen twee willekeurige woorden in de sequentie te modelleren, ongeacht hun afstand, is ongelooflijk krachtig. Het omzeilt de sequentiële bottleneck van RNN's en de beperkingen van de padlengte van CNN's.

De Transformer Architectuur: Alles Samenbrengen

De Transformer is niet zomaar één self-attention laag; het is een zorgvuldig ontworpen architectuur gebouwd op deze attention-mechanismen. Het bestaat uit twee hoofdonderdelen: een Encoder en een Decoder. Encoder: Zijn taak is om de inputsequentie (bijv. de Engelse zin) te verwerken en er een rijke, contextbewuste representatie van te genereren. Het is als het diep lezen en begrijpen van de bronzin. Decoder: Zijn taak is om de representatie van de encoder te nemen en de outputsequentie (bijv. de Franse vertaling) woord voor woord te genereren. Zowel de encoder als de decoder bestaan uit stapels identieke lagen. Het oorspronkelijke paper gebruikte N=6 lagen voor beide. Binnen een Encoder Laag: Elke encoderlaag heeft twee hoofdonderlagen: 1. Multi-Head Self-Attention: Hier gebeurt de magie. Het stelt elke positie in de encoder in staat om aandacht te besteden aan alle posities in de vorige laag van de encoder. 2. Position-wise Feed-Forward Network: Een eenvoudig, volledig verbonden feed-forward netwerk dat onafhankelijk op elke positie wordt toegepast. Cruciaal is dat de output van elke sublaag wordt doorgegeven via residual connections (het toevoegen van de input van de sublaag aan zijn output) gevolgd door layer normalization. Deze technieken zijn essentieel voor het stabiliseren van de training en het mogelijk maken van diepere netwerken. Binnen een Decoder Laag: Elke decoderlaag heeft drie hoofdonderlagen: 1. Masked Multi-Head Self-Attention: Vergelijkbaar met de self-attention van de encoder, maar met een cruciaal verschil: het is "gemaskeerd". Dit masker voorkomt dat posities aandacht besteden aan volgende posities. Waarom? Omdat je bij het genereren van een vertaling alleen de woorden kunt gebruiken die je al hebt gegenereerd, niet de woorden die later in de doelzin komen (dit heet de auto-regressieve eigenschap). 2. Multi-Head Encoder-Decoder Attention: Dit is waar de decoder interageert met de output van de encoder. Queries komen uit de vorige decoderlaag, terwijl Keys en Values afkomstig zijn van de output van de encoderstapel. Hierdoor kan elke positie in de decoder alle posities in de inputsequentie overzien, en bepalen welke delen van de bronzin het meest relevant zijn voor het genereren van het huidige doelwoord. 3. Position-wise Feed-Forward Network: Net als in de encoder. Opnieuw worden residual connections en layer normalization gebruikt rond elke sublaag. Deze architectuur, die uitsluitend steunt op deze attention-mechanismen en feed-forward netwerken, was de kerninnovatie. Het elimineerde volledig de noodzaak van sequentiële verwerking die inherent is aan RNN's.