Náhled shrnutí
Transformer: Pozornost změnila všechno
Čau lidi! Slyšeli jste poslední dobou spoustu o umělé inteligenci, že? Modely, co umí psát, kódovat, překládat, nebo dokonce tvořit umění. Víte, velká část téhle revoluce má kořeny v jediném článku z roku 2017 s názvem „Attention Is All You Need“. Představil nový typ neuronové sítě, architekturu Transformer, a upřímně, otevřel dveře tomu, co všechno AI dokáže, hlavně s jazykem. Před Transformerem byly pro sekvenční úlohy jako strojový překlad hlavními hráči Rekurentní Neuronové Sítě (RNN), včetně jejich vylepšených verzí LSTMs a GRUs. Představte si RNN jako čtení knihy slovo po slově, kde se snažíte zapamatovat všechno předchozí, abyste pochopili to aktuální. Tenhle sekvenční přístup je sice intuitivní, ale má obrovskou nevýhodu: je pomalý. Nemůžete zpracovat celou knihu najednou, musíte jít slovo po slově, což dělá trénink těchto modelů dřinu a omezuje jejich složitost. Tento článek, sepsaný snem týmů z Google Brain, Google Research a Univerzity v Torontu (Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser a Illia Polosukhin), navrhl radikální myšlenku: co kdybychom se zbavili té rekurence úplně? Co kdybychom mohli postavit model, který se podívá na všechna slova ve větě najednou a zjistí, která jsou pro pochopení každého jednotlivého slova nejdůležitější? Tady přicházejí na řadu mechanismy pozornosti a Transformer je postavený celý na nich. Představte si, že překládáte větu. Místo abyste se dívali jen na bezprostředně předchozí slovo, mechanismus pozornosti dovolí modelu přímo se zaměřit na jakékoli slovo ve zdrojové větě, které je relevantní pro slovo, které právě překládáte. Je to jako zvýrazňování nejdůležitějších částí textu pro konkrétní úkol. Transformer bere tento koncept do extrému a používá formu pozornosti zvanou self-attention (vlastní pozornost), kde model váží důležitost všech ostatních slov ve stejné větě při zpracování daného slova. To mu umožňuje zachytit dlouhodobé závislosti – jako pochopení toho, jak se zájmeno na konci odstavce vztahuje k podstatnému jménu na začátku – mnohem efektivněji než RNN. Výsledek? Transformer je nejen mnohem lépe paralelizovatelný (což znamená, že se dá mnohem, mnohem rychleji trénovat na moderním hardwaru jako jsou GPU), ale také dosáhl špičkových výsledků ve strojovém překladu, čímž překonal předchozí rekordy o značný kus. Mluvíme o dosažení nejlepších skóre v překladu z angličtiny do němčiny a z angličtiny do francouzštiny během pouhých několika dnů tréninku, což dříve trvalo mnohem déle nebo vyžadovalo obrovské soubory modelů. A nejde jen o překlad. Článek také ukazuje, jak se Transformer dokáže zobecnit na jiné úlohy, jako je anglické konstituentní parsování, což demonstruje jeho sílu a flexibilitu. Je to základní práce, která položila základy pro modely jako BERT, GPT a mnoho dalších, které dnes formují náš svět. Takže se připoutejte, protože se ponoříme hluboko do toho, co dělá tuto architekturu tak speciální, od jejích základních komponent
Problém se starou gardou: Proč nás RNN zpomalovaly
Než se příliš nadchneme pro Transformer, je super důležité pochopit, proč to byl takový průlom. Roky byly králi modelování sekvencí – úloh jako překlad jazyků, sumarizace textu nebo předvídání dalšího slova ve větě – Rekurentní Neuronové Sítě (RNN). Myslete na LSTMs (Long Short-Term Memory) a GRUs (Gated Recurrent Units). Byly docela dobré, ale měly zásadní omezení: zpracovávaly informace sekvenčně. Představte si větu: „Rychlá hnědá liška skáče přes líného psa.“ RNN by ji zpracovala takto: 1. Přečte „Rychlá“, aktualizuje svou vnitřní paměť (skrytý stav). 2. Přečte „hnědá“, aktualizuje paměť na základě „Rychlá“ a „hnědá“. 3. Přečte „liška“, aktualizuje paměť na základě předchozího stavu a „liška“. 4. ...a tak dále, až k „pes“. Každý krok závisí na výstupu předchozího kroku. To vytváří řetězovou reakci a pokud chcete znát význam slova „skáče“, RNN musí úspěšně zpracovat a zapamatovat si informace z „Rychlá hnědá liška“ správně. Tahle sekvenční závislost je hlavní problém. Znesnadňuje paralelizaci – zpracování více částí vstupu najednou – prakticky nemožným. Proč? Protože nemůžete spočítat stav pro „skáče“, dokud jste nespočítali stav pro „liška“, a to nemůžete udělat, dokud jste neudělali „hnědá“, a tak dále. To je hlavní brzda tréninku. Trénink deep learning modelů vyžaduje obrovské množství výpočtů a dělat to sekvenčně trvá věčnost. Pokud máte obrovský dataset a složitý model, můžete čekat dny, týdny nebo dokonce měsíce na jeden tréninkový běh. Navíc, jak se sekvence prodlužují, zapamatování informací z úplného začátku se pro RNN stává stále náročnějším. Informace se mohou rozmělnit nebo ztratit po cestě – obávaný problém „mizejících gradientů“, i když LSTMs a GRUs byly navrženy tak, aby ho zmírnily, zcela ho neodstranily. Nyní, jiné architektury jako Konvoluční Neuronové Sítě (CNN) už ukázaly sílu paralelního zpracování v oblastech jako rozpoznávání obrazu. Byly učiněny pokusy aplikovat CNN-like struktury na sekvence (jako ByteNet nebo ConvS2S) a umožnily více paralelizace než RNN. Nicméně, často měly své vlastní problémy. Aby zachytily závislosti mezi slovy, která jsou daleko ve větě, tyto konvoluční modely potřebovaly velmi hluboké vrstvy nebo velmi velké filtry (jádra). To znamenalo, že „délka cesty“ – počet kroků, které informace potřebuje k cestě z jedné části sekvence do druhé – mohla být stále velká, což bránilo učení dlouhodobých závislostí. Takže situace před Transformerem byla v podstatě kompromis: RNN byly dobré v zachycování sekvenčních závislostí, ale hrozné pro paralelizaci a rychlost. Přístupy založené na CNN nabídly více paralelizace, ale bojovaly s velmi dlouhodobými závislostmi, aniž by se staly výpočetně složitými nebo vyžadovaly hluboké vrstvy.
Představujeme Transformer: Nová naděje postavená na pozornosti
Autoři „Attention Is All You Need“ se podívali na tuto krajinu a zeptali se: Můžeme získat to nejlepší z obou světů? Můžeme mít model, který zachycuje závislosti bez ohledu na jejich vzdálenost v sekvenci (jak slibuje pozornost) a zároveň je vysoce paralelizovatelný? Jejich odpověď byla hlasité ano a klíčem bylo zbavit se rekurence a konvolucí úplně a spoléhat se výhradně na mechanismy pozornosti.
Co přesně je pozornost?
Než se ponoříme do architektury Transformeru, pojďme si ujasnit, co je to ta pozornost. Jednoduše řečeno, mechanismus pozornosti umožňuje modelu zaměřit se na specifické části vstupu při zpracování konkrétní informace. Vzpomeňte si, jak čtete: když narazíte na slovo jako „to“, váš mozek automaticky hledá, na co se „to“ vztahuje. Mechanismy pozornosti se to snaží napodobit. V kontextu neuronových sítí pozornost obvykle zahrnuje tři komponenty: Dotazy (Queries - Q): Reprezentují aktuální informaci, na kterou se zaměřujeme (např. slovo, které překládáme). Klíče (Keys - K): Reprezentují dostupné informace ve vstupní sekvenci, kterým bychom mohli věnovat pozornost. Hodnoty (Values - V): Reprezentují skutečný obsah nebo reprezentaci spojenou s každým Klíčem. Mechanismus pozornosti počítá, jak moc se každý Klíč shoduje s Dotazem. Toto skóre shody (často počítané pomocí skalárního součinu) se pak používá k vytvoření vah. Tyto váhy určují, jak velká část každé odpovídající Hodnoty by měla být zkombinována k vytvoření konečného výstupu. V podstatě je to způsob, jak dynamicky vážit důležitost různých částí vstupu na základě aktuálního kontextu (Dotazu).
Self-Attention: Hvězda pořadu
Změnou hry u Transformeru je self-attention. Na rozdíl od tradiční pozornosti, kde můžete věnovat pozornost jiné sekvenci (například věnovat pozornost zdrojové větě při dekódování cílové věty), self-attention spojuje různé pozice jediné sekvence k výpočtu reprezentace této sekvence. Jednodušeji řečeno, pro každé slovo ve větě umožňuje self-attention modelu podívat se na všechna ostatní slova ve stejné větě a rozhodnout, která jsou pro pochopení daného slova nejrelevantnější. Vraťme se k „Rychlá hnědá liška skáče přes líného psa.“ Když Transformer zpracovává slovo „skáče“, self-attention mu umožňuje současně zvážit „Rychlá“, „hnědá“, „liška“, „přes“, „líného“, „psa“. Může se například naučit, že „liška“ je vysoce relevantní pro „skáče“, protože lišky jsou zvířata, která skáčou. Může se také naučit, že „přes“ je relevantní, protože popisuje, jak skákání probíhá vzhledem k „psu“. Tato schopnost přímo modelovat vztahy mezi jakýmikoli dvěma slovy v sekvenci, bez ohledu na jejich vzdálenost, je neuvěřitelně silná. Obchází sekvenční úzké hrdlo RNN a omezení vrstvených cest CNN.
Architektura Transformeru: Všechno dohromady
Transformer není jen jedna vrstva self-attention; je to pečlivě navržená architektura postavená na těchto mechanismech pozornosti. Skládá se ze dvou hlavních částí: Encoderu a Decoderu. Encoder: Jeho úkolem je zpracovat vstupní sekvenci (např. anglickou větu) a vygenerovat její bohatou, kontextově uvědomělou reprezentaci. Je to jako hluboce číst a chápat zdrojovou větu. Decoder: Jeho úkolem je vzít reprezentaci z encoderu a generovat výstupní sekvenci (např. francouzský překlad), jeden prvek po druhém. Oba, encoder i decoder, jsou složeny ze zásobníků identických vrstev. Původní článek použil N=6 vrstev pro oba. Uvnitř vrstvy Encoderu: Každá vrstva encoderu má dvě hlavní podvrstvy: 1. Multi-Head Self-Attention: Zde se děje kouzlo. Umožňuje každé pozici v encoderu věnovat pozornost všem pozicím v předchozí vrstvě encoderu. 2. Position-wise Feed-Forward Network: Jednoduchá, plně propojená dopředná síť aplikovaná nezávisle na každé pozici. Klíčové je, že výstup každé podvrstvy prochází reziduálními spojeními (přidání vstupu podvrstvy k jejímu výstupu) následovanými normalizací vrstvy. Tyto techniky jsou životně důležité pro stabilizaci tréninku a umožnění sítě jít hlouběji. Uvnitř vrstvy Decoderu: Každá vrstva decoderu má tři hlavní podvrstvy: 1. Masked Multi-Head Self-Attention: Podobně jako self-attention encoderu, ale s klíčovým rozdílem: je „maskovaná“. Tato maska brání pozicím věnovat pozornost následujícím pozicím. Proč? Protože při generování překladu můžete použít pouze slova, která jste již vygenerovali, ne ta, která následují v cílové větě (to se nazývá auto-regresivní vlastnost). 2. Multi-Head Encoder-Decoder Attention: Zde decoder interaguje s výstupem encoderu. Dotazy pocházejí z předchozí vrstvy decoderu, zatímco Klíče a Hodnoty pocházejí z výstupu zásobníku encoderu. To umožňuje každé pozici v decoderu věnovat pozornost všem pozicím ve vstupní sekvenci a zjistit, které části zdrojové věty jsou nejrelevantnější pro generování aktuálního cílového slova. 3. Position-wise Feed-Forward Network: Stejně jako v encoderu. Opět, reziduální spojení a normalizace vrstvy se používají kolem každé podvrstvy. Tato architektura, spoléhající výhradně na tyto mechanismy pozornosti a dopředné sítě, byla hlavní inovací. Úplně odstranila potřebu sekvenčního zpracování inherentního v RNN.
