Summio

PDF

Allt du behöver är uppmärksamhet

Denna artikel presenterar Transformer, en banbrytande neural nätverksarkitektur som övergav rekurens till förmån för uppmärksamhet, vilket revolutionerade sekvensmodellering.

27 min läsning

Tillgänglig på

Förhandsvisning

Transformer-revolutionen: Varför 'Attention Is All You Need' Ändrade Allt

Hallå där! Har du hört en massa om AI på sistone? Modeller som kan skriva, koda, översätta och till och med skapa konst. Jo, en stor del av den här revolutionen kan spåras tillbaka till ett enda papper som publicerades 2017 med titeln "Attention Is All You Need". Det introducerade en ny typ av neural nätverksarkitektur kallad Transformer, och ärligt talat, det sprängde alla dörrar för vad AI kan göra, speciellt med språk. Innan Transformern var de vanligaste modellerna för sekvensuppgifter som maskinöversättning Recurrent Neural Networks (RNNs), inklusive deras lite finare kusiner, LSTMs och GRUs. Tänk dig RNNs som att läsa en bok ett ord i taget, och försöka komma ihåg allt som kom före för att förstå det nuvarande ordet. Den här sekventiella naturen är intuitiv men har en enorm nackdel: den är långsam. Du kan inte bearbeta hela boken på en gång; du måste gå ord för ord, vilket gör träningen av dessa modeller till en riktig plåga och begränsar hur komplexa de kan bli. Papperet, författat av ett drömteam från Google Brain, Google Research och University of Toronto (Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser och Illia Polosukhin), föreslog en radikal idé: tänk om vi kunde bli av med rekurrenten helt och hållet? Tänk om vi kunde bygga en modell som tittar på alla ord i en mening samtidigt och räknar ut vilka som är viktigast för att förstå varje enskilt ord? Det är där attention-mekanismer kommer in, och Transformern är byggd helt kring dem. Föreställ dig att du översätter en mening. Istället för att bara titta på det omedelbart föregående ordet, tillåter en attention-mekanism modellen att direkt fokusera på vilket ord som helst i källmeningen som är relevant för ordet den försöker översätta just nu. Det är som att markera de viktigaste delarna av en text för en specifik uppgift. Transformern tar detta koncept till sin spets och använder en form av attention kallad self-attention, där modellen väger vikten av alla andra ord i samma mening när den bearbetar ett givet ord. Detta gör att den kan fånga långväga beroenden – som att förstå hur ett pronomen i slutet av ett stycke relaterar till ett substantiv i början – mycket mer effektivt än RNNs. Resultatet? Transformern är inte bara mycket mer paralleliserbar (vilket innebär att den kan tränas mycket, mycket snabbare på modern hårdvara som GPUs) utan den uppnådde också toppmoderna resultat inom maskinöversättning, och slog tidigare rekord med en betydande marginal. Vi pratar om att uppnå toppresultat i engelsk-tysk och engelsk-fransk översättning på bara några dagars träning, en bedrift som tidigare tog mycket längre tid eller krävde massiva ensembler av modeller. Det här handlar inte bara om översättning. Papperet visar också hur Transformern kan generaliseras till andra uppgifter som engelsk kontextuell parsning (constituency parsing), vilket demonstrerar dess kraft och flexibilitet. Det är ett grundläggande papper som lade grunden för

Problemet med Gamla Gardet: Varför RNNs Saknade Fart

Innan vi blir alltför exalterade över Transformern är det superviktigt att förstå varför den var en så stor grej. I åratal var kungarna av sekvensmodellering – uppgifter som att översätta språk, sammanfatta text eller till och med förutsäga nästa ord i en mening – Recurrent Neural Networks (RNNs). Tänk LSTMs (Long Short-Term Memory) och GRUs (Gated Recurrent Units). De var ganska bra, men de hade en fundamental begränsning: de bearbetade information sekventiellt. Föreställ dig att du har en mening: "Den snabba bruna räven hoppar över den lata hunden." En RNN skulle bearbeta den så här: 1. Läser "Den", uppdaterar sitt interna minne (hidden state). 2. Läser "snabba", uppdaterar sitt minne baserat på "Den" och "snabba". 3. Läser "bruna", uppdaterar sitt minne baserat på föregående tillstånd och "bruna". 4. ...och så vidare, ända till "hunden". Varje steg är beroende av resultatet från föregående steg. Detta skapar en kedjereaktion, och om du vill veta innebörden av "hoppar", måste RNN:en ha lyckats bearbeta och komma ihåg informationen från "Den snabba bruna räven" korrekt. Detta sekventiella beroende är kärnfrågan. Det gör parallellisering – att bearbeta flera delar av indatan samtidigt – riktigt svårt, om inte omöjligt. Varför? För du kan inte beräkna tillståndet för "hoppar" förrän du har beräknat tillståndet för "räven", och du kan inte göra det förrän du har gjort "bruna", och så vidare. Detta är en stor flaskhals för träning. Träning av djupinlärningsmodeller kräver enorma mängder beräkningar, och att göra det sekventiellt tar evigheter. Om du har en enorm datamängd och en komplex modell, kan du vänta dagar, veckor eller till och med månader på en enda träningskörning. Dessutom, när sekvenserna blir längre, blir det allt svårare för RNNs att komma ihåg information från början. Information kan spädas ut eller gå förlorad längs vägen – det fruktade "vanishing gradient"-problemet, även om LSTMs och GRUs designades för att mildra detta, eliminerade de det inte helt. Nu hade andra arkitekturer som Convolutional Neural Networks (CNNs) redan visat kraften i parallell bearbetning inom områden som bildigenkänning. Vissa försök gjordes att applicera CNN-liknande strukturer på sekvenser (som ByteNet eller ConvS2S), och de tillät mer parallellisering än RNNs. Men de hade ofta egna problem. För att fånga beroenden mellan ord som är långt ifrån varandra i en mening, behövde dessa faltningsbaserade modeller använda mycket djupa lagerstackar eller mycket stora filter (kärnor). Detta innebar att "väglängden" – antalet steg det tar för information att färdas från en del av sekvensen till en annan – fortfarande kunde vara ganska stor, vilket hindrade inlärningen av långväga beroenden. Så, situationen före Transformern var i princip en avvägning: RNNs var bra på att fånga sekventiella beroenden men fruktansvärda för parallellisering och hastighet. CNN-baserade metoder erbjöd mer parallellitet men kämpade med mycket långväga beroenden utan att bli

Möt Transformern: Ett Nytt Hopp Byggt på Attention

Författarna till "Attention Is All You Need" tittade på detta landskap och frågade: Kan vi få det bästa av två världar? Kan vi ha en modell som fångar beroenden oavsett deras avstånd i sekvensen (som attention lovar) och är mycket paralleliserbar? Deras svar var ett rungande ja, och nyckeln var att helt skrota rekurrenten och faltningarna och enbart förlita sig på attention-mekanismer.

Vad är Attention Egentligen?

Innan vi dyker in i Transformerns arkitektur, låt oss greppa vad attention är. Enkelt uttryckt, en attention-mekanism tillåter en modell att fokusera på specifika delar av indatan när den bearbetar en viss information. Tänk på hur du läser: när du stöter på ett ord som "det", letar din hjärna automatiskt tillbaka för att förstå vad "det" syftar på. Attention-mekanismer försöker efterlikna detta. I samband med neurala nätverk involverar attention vanligtvis tre komponenter: Queries (Frågor - Q): Representerar den aktuella informationen du fokuserar på (t.ex. ordet du försöker översätta). Keys (Nycklar - K): Representerar den tillgängliga informationen i indatasekvensen som du kanske vill uppmärksamma. Values (Värden - V): Representerar det faktiska innehållet eller representationen associerad med varje Nyckel. Attention-mekanismen beräknar hur mycket varje Nyckel matchar Frågan. Denna matchningspoäng (ofta beräknad med en skalärprodukt) används sedan för att skapa vikter. Dessa vikter bestämmer hur mycket av varje motsvarande Värde som ska kombineras för att producera slutresultatet. I grund och botten är det ett sätt att dynamiskt väga vikten av olika delar av indatan baserat på det aktuella sammanhanget (Frågan).

Self-Attention: Stjärnan i Föreställningen

Transformerns game-changer är self-attention. Till skillnad från traditionell attention där du kanske uppmärksammar en annan sekvens (som att uppmärksamma källmeningen medan du avkodar målsatsen), relaterar self-attention olika positioner i en enda sekvens för att beräkna en representation av den sekvensen. Enklare uttryckt, för varje ord i en mening, tillåter self-attention modellen att titta på alla andra ord i samma mening och bestämma vilka som är mest relevanta för att förstå det specifika ordet. Låt oss gå tillbaka till "Den snabba bruna räven hoppar över den lata hunden." När Transformern bearbetar ordet "hoppar", tillåter self-attention den att samtidigt överväga "Den", "snabba", "bruna", "räven", "över", "den", "lata" och "hunden". Den kan lära sig, till exempel, att "räven" är mycket relevant för "hoppar" eftersom rävar är djur som hoppar. Den kan också lära sig att "över" är relevant eftersom det beskriver hur hoppandet sker i förhållande till "hunden". Denna förmåga att direkt modellera relationer mellan två ord i sekvensen, oavsett deras avstånd, är otroligt kraftfull. Den kringgår den sekventiella flaskhalsen i RNNs och de lagerbundna vägbegränsningarna i CNNs.

Transformer-arkitekturen: Sätter Allt Samman

Transformern är inte bara ett enda self-attention-lager; det är en noggrant designad arkitektur byggd på dessa attention-mekanismer. Den består av två huvuddelar: en Encoder och en Decoder. Encoder: Dess jobb är att bearbeta indatasekvensen (t.ex. den engelska meningen) och generera en rik, kontextmedveten representation av den. Det är som att läsa och djupt förstå källmeningen. Decoder: Dess jobb är att ta encoders representation och generera utdatasekvensen (t.ex. den franska översättningen), ett element i taget. Både encodern och decodern består av staplar av identiska lager. Det ursprungliga papperet använde N=6 lager för båda. Inuti ett Encoder-lager: Varje encoder-lager har två huvudunderlager: 1. Multi-Head Self-Attention: Här händer magin. Det tillåter varje position i encodern att uppmärksamma alla positioner i föregående lager av encodern. 2. Position-wise Feed-Forward Network: Ett enkelt, fullt anslutet framåtriktat nätverk som appliceras oberoende på varje position. Viktigt är att utgången från varje underlager passerar genom residual connections (att lägga till indatan till underlagret till dess utdata) följt av layer normalization. Dessa tekniker är avgörande för att stabilisera träningen och låta nätverket bli djupare. Inuti ett Decoder-lager: Varje decoder-lager har tre huvudunderlager: 1. Masked Multi-Head Self-Attention: Liknar encoderns self-attention, men med en avgörande skillnad: den är "maskerad". Denna mask förhindrar positioner från att uppmärksamma efterföljande positioner. Varför? För när du genererar en översättning kan du bara använda de ord du redan har genererat, inte de som kommer senare i målsatsen (detta kallas den auto-regressiva egenskapen). 2. Multi-Head Encoder-Decoder Attention: Detta är där decodern interagerar med encoderns utdata. Queries kommer från föregående decoder-lager, medan Keys och Values kommer från utdatan från encoder-stapeln. Detta tillåter varje position i decodern att uppmärksamma alla positioner i indatasekvensen och räkna ut vilka delar av källmeningen som är mest relevanta för att generera det aktuella målordet. 3. Position-wise Feed-Forward Network: Precis som i encodern. Återigen används residual connections och layer normalization runt varje underlager. Denna arkitektur, som enbart förlitar sig på dessa attention-mekanismer och framåtriktade nätverk, var den centrala innovationen. Den eliminerade helt behovet av sekventiell bearbetning som är inneboende i RNNs.