Summio

PDF

Alt du trenger er oppmerksomhet

Denne artikkelen introduserer Transformer, en banebrytende nevral nettverksarkitektur som erstattet rekursjon med oppmerksomhet, og revolusjonerte sekvensmodellering.

27 min lesing

Tilgjengelig på

Forhåndsvisning

Oppgjør med den Gamle Garderoben: Hvorfor 'Attention Is All You Need' Endret Alt

Hei folkens! Har dere hørt snakk om AI i det siste? Maskiner som kan skrive, kode, oversette, og til og med lage kunst. Vel, en stor del av denne revolusjonen kan spores tilbake til en enkelt artikkel publisert i 2017 med tittelen "Attention Is All You Need". Den introduserte en ny type nevralt nettverksarkitektur kalt Transformer, og ærlig talt, den sprengte alle rammer for hva AI kunne oppnå, spesielt med språk. Før Transformer var standardmodellene for sekvensoppgaver som maskinoversettelse Rekurrente Nevrale Nettverk (RNN-er), inkludert deres finere fettere, LSTMs og GRUs. Tenk på RNN-er som å lese en bok ett ord om gangen, og prøve å huske alt som kom før for å forstå det nåværende ordet. Denne sekvensielle naturen er intuitiv, men har en massiv ulempe: den er treg. Du kan ikke behandle hele boken på en gang; du må gå ord for ord, noe som gjør trening av disse modellene til en skikkelig prøvelse og begrenser hvor komplekse de kan bli. Denne artikkelen, skrevet av et drømmeteam fra Google Brain, Google Research og University of Toronto (Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser og Illia Polosukhin), foreslo en radikal idé: Hva om vi kunne fjerne rekursjonen helt? Hva om vi kunne bygge en modell som ser på alle ordene i en setning samtidig og finner ut hvilke som er viktigst for å forstå hvert enkelt ord? Det er her oppmerksomhetsmekanismer kommer inn, og Transformer er bygget utelukkende rundt dem. Se for deg at du oversetter en setning. I stedet for bare å se på det umiddelbart foregående ordet, lar en oppmerksomhetsmekanisme modellen direkte fokusere på ethvert ord i kildesetningen som er relevant for ordet den prøver å oversette. Det er som å markere de viktigste delene av en tekst for en spesifikk oppgave. Transformer tar dette konseptet til det ekstreme, ved å bruke en form for oppmerksomhet kalt selvoppmerksomhet (self-attention) der modellen vekter viktigheten av alle andre ord i samme setning når den behandler et gitt ord. Dette lar den fange opp langtrekkende avhengigheter – som å forstå hvordan et pronomen på slutten av et avsnitt relaterer seg til et substantiv i begynnelsen – mye mer effektivt enn RNN-er. Resultatet? Transformer er ikke bare mye mer paralleliserbar (noe som betyr at den kan trenes mye, mye raskere på moderne maskinvare som GPU-er), men den oppnådde også state-of-the-art-resultater innen maskinoversettelse, og slo tidligere rekorder med en betydelig margin. Vi snakker om å oppnå toppresultater for engelsk-til-tysk og engelsk-til-fransk oversettelse på bare noen få dagers trening, en bragd som tidligere tok mye lengre tid eller krevde massive samlinger av modeller. Dette handler ikke bare om oversettelse, altså. Artikkelen viser også hvordan Transformer kan generaliseres til andre oppgaver som engelsk konstituentparsing, noe som demonstrerer dens kraft og fleksibilitet. Det er en grunnleggende artikkel som la grunnlaget for modeller som BERT, GPT og mange

Problemet med den Gamle Garderoben: Hvorfor RNN-er Bremset Oss Ned

Før vi blir for ivrige på Transformer, er det superviktig å forstå hvorfor den var en så stor greie. I årevis var kongene av sekvensmodellering – oppgaver som å oversette språk, oppsummere tekst, eller til og med forutsi neste ord i en setning – Rekurrente Nevrale Nettverk (RNN-er). Tenk LSTMs (Long Short-Term Memory) og GRUs (Gated Recurrent Units). De var ganske gode, men de hadde en fundamental begrensning: de behandlet informasjon sekvensielt. Tenk deg at du har en setning: "Den raske brune reven hopper over den late hunden." En RNN ville behandlet den slik: 1. Leser "Den", oppdaterer sin interne hukommelse (skjult tilstand). 2. Leser "raske", oppdaterer sin hukommelse basert på "Den" og "raske". 3. Leser "brune", oppdaterer sin hukommelse basert på forrige tilstand og "brune". 4. ...og så videre, helt til "hunden". Hvert trinn avhenger av resultatet fra forrige trinn. Dette skaper en kjedereaksjon, og hvis du vil vite betydningen av "hopper", må RNN-en ha behandlet og husket informasjonen fra "Den raske brune reven" korrekt. Denne sekvensielle avhengigheten er kjerneproblemet. Den gjør parallellisering – behandling av flere deler av inputen samtidig – veldig vanskelig, om ikke umulig. Hvorfor? Fordi du ikke kan beregne tilstanden for "hopper" før du har beregnet tilstanden for "reven", og du kan ikke gjøre det før du har gjort "brune", og så videre. Dette er en stor flaskehals for trening. Trening av dyp læringsmodeller krever enorme mengder beregninger, og å gjøre det sekvensielt tar evigheter. Hvis du har et stort datasett og en kompleks modell, kan du vente dager, uker eller til og med måneder på en enkelt treningsrunde. I tillegg, etter hvert som sekvensene blir lengre, blir det stadig mer utfordrende for RNN-er å huske informasjon fra begynnelsen. Informasjon kan bli fortynnet eller tapt underveis – det fryktede "vanishing gradient"-problemet, selv om LSTMs og GRUs var designet for å redusere dette, eliminerte de det ikke helt. Nå, andre arkitekturer som Konvolusjonelle Nevrale Nettverk (CNN-er) hadde allerede vist kraften i parallell prosessering innen områder som bildegjenkjenning. Noen forsøk ble gjort for å anvende CNN-lignende strukturer på sekvenser (som ByteNet eller ConvS2S), og de tillot mer parallellisering enn RNN-er. Imidlertid hadde de ofte egne problemer. For å fange opp avhengigheter mellom ord som er langt fra hverandre i en setning, trengte disse konvolusjonelle modellene å bruke veldig dype lagstabler eller veldig store filtre (kernels). Dette betydde at "stien-lengden" – antall trinn det tar for informasjon å reise fra én del av sekvensen til en annen – fortsatt kunne være ganske stor, noe som hindret læring av langtrekkende avhengigheter. Så, situasjonen før Transformer var i utgangspunktet et kompromiss: RNN-er var gode til å fange opp sekvensielle avhengigheter, men forferdelige for parallellisering og hastighet. CNN-baserte tilnærminger ga mer parallellisering, men slet med veldig langtrekkende avhengigheter uten

Møt Transformer: Et Nytt Håp Bygget på Oppmerksomhet

Forfatterne av 'Attention Is All You Need' så på dette landskapet og spurte: Kan vi få det beste fra begge verdener? Kan vi ha en modell som fanger opp avhengigheter uavhengig av deres avstand i sekvensen (som oppmerksomhet lover) og er høyt paralleliserbar? Svaret deres var et rungende ja, og nøkkelen var å dumpe rekursjon og konvolusjoner helt og stole utelukkende på oppmerksomhetsmekanismer.

Hva ER Egentlig Oppmerksomhet?

Før vi dykker ned i Transformerens arkitektur, la oss få taket på oppmerksomhet. Enkelt sagt, en oppmerksomhetsmekanisme lar en modell fokusere på spesifikke deler av inputen når den behandler en bestemt informasjonsbit. Tenk på hvordan du leser: når du støter på et ord som 'den', ser hjernen din automatisk tilbake for å finne ut hva 'den' refererer til. Oppmerksomhetsmekanismer prøver å etterligne dette. I sammenheng med nevrale nettverk involverer oppmerksomhet vanligvis tre komponenter: Spørringer (Queries, Q): Representerer den nåværende informasjonsbiten du fokuserer på (f.eks. ordet du prøver å oversette). Nøkler (Keys, K): Representerer informasjonen som er tilgjengelig i input-sekvensen som du kanskje vil være oppmerksom på. Verdier (Values, V): Representerer det faktiske innholdet eller representasjonen knyttet til hver Nøkkel. Oppmerksomhetsmekanismen beregner hvor mye hver Nøkkel matcher Spørringen. Denne matchende poengsummen (ofte beregnet ved et prikkprodukt) brukes deretter til å lage vekter. Disse vektene bestemmer hvor mye av hver tilsvarende Verdi som skal kombineres for å produsere det endelige resultatet. Essensielt er det en måte å dynamisk vekte viktigheten av forskjellige deler av inputen basert på den nåværende konteksten (Spørringen).

Selvoppmerksomhet: Stjernen i Showet

Transformerens game-changer er selvoppmerksomhet. I motsetning til tradisjonell oppmerksomhet hvor du kanskje retter oppmerksomhet mot en annen sekvens (som å rette oppmerksomhet mot kildesetningen under dekoding av måletsetningen), relaterer selvoppmerksomhet forskjellige posisjoner i en enkelt sekvens for å beregne en representasjon av den sekvensen. Enklere sagt, for hvert ord i en setning, lar selvoppmerksomhet modellen se på alle andre ord i samme setning og bestemme hvilke som er mest relevante for å forstå det spesifikke ordet. La oss gå tilbake til "Den raske brune reven hopper over den late hunden." Når Transformer behandler ordet "hopper", tillater selvoppmerksomhet at den vurderer "Den", "raske", "brune", "reven", "over", "den", "late" og "hunden" samtidig. Den kan lære, for eksempel, at "reven" er svært relevant for "hopper" fordi rever er dyr som hopper. Den kan også lære at "over" er relevant fordi det beskriver hvordan hoppingen skjer i forhold til "hunden". Denne evnen til direkte å modellere relasjoner mellom ethvert to ord i sekvensen, uavhengig av deres avstand, er utrolig kraftig. Den omgår den sekvensielle flaskehalsen til RNN-er og begrensningene i lag-stier til CNN-er.

Transformer Arkitekturen: Setter Alt Sammen

Transformer er ikke bare et enkelt selvoppmerksomhetslag; det er en nøye designet arkitektur bygget på disse oppmerksomhetsmekanismene. Den består av to hoveddeler: en enkoder (Encoder) og en dekoder (Decoder). Enkoder: Dens jobb er å behandle input-sekvensen (f.eks. den engelske setningen) og generere en rik, kontekstbevisst representasjon av den. Det er som å lese og dypt forstå kildesetningen. Dekoder: Dens jobb er å ta enkoderens representasjon og generere output-sekvensen (f.eks. den franske oversettelsen), ett element om gangen. Både enkoderen og dekoderen består av stabler med identiske lag. Den opprinnelige artikkelen brukte N=6 lag for begge. Inne i et Enkoderlag: Hvert enkoderlag har to hovedunderlag: 1. Multi-Head Selvoppmerksomhet: Her skjer magien. Det lar hver posisjon i enkoderen rette oppmerksomhet mot alle posisjoner i forrige lag av enkoderen. 2. Posisjonsvis Feed-Forward Nettverk: Et enkelt, fullt tilkoblet feed-forward nettverk brukt uavhengig på hver posisjon. Avgjørende er at utgangen fra hvert underlag passerer gjennom residualkoblinger (legger til inputen til underlaget til dens utgang) etterfulgt av lag-normalisering. Disse teknikkene er avgjørende for å stabilisere trening og la nettverket gå dypere. Inne i et Dekoderlag: Hvert dekoderlag har tre hovedunderlag: 1. Maskert Multi-Head Selvoppmerksomhet: Ligner på enkoderens selvoppmerksomhet, men med en avgjørende forskjell: den er "maskert". Denne masken forhindrer posisjoner fra å rette oppmerksomhet mot påfølgende posisjoner. Hvorfor? Fordi når du genererer en oversettelse, kan du bare bruke ordene du allerede har generert, ikke de som kommer senere i måletsetningen (dette kalles den auto-regressive egenskapen). 2. Multi-Head Enkoder-Dekoder Oppmerksomhet: Dette er der dekoderen samhandler med enkoderens utgang. Spørringer kommer fra forrige dekoderlag, mens Nøkler og Verdier kommer fra utgangen av enkoderstabelen. Dette lar hver posisjon i dekoderen rette oppmerksomhet over alle posisjoner i input-sekvensen, og finne ut hvilke deler av kildesetningen som er mest relevante for å generere det nåværende målordet. 3. Posisjonsvis Feed-Forward Nettverk: Akkurat som i enkoderen. Igjen, residualkoblinger og lag-normalisering brukes rundt hvert underlag. Denne arkitekturen, som utelukkende er basert på disse oppmerksomhetsmekanismene og feed-forward nettverk, var den kjerneinnovasjonen. Den fjernet fullstendig behovet for sekvensiell prosessering som er iboende i RNN-er.