Summio

PDF

Kailangan Mo Lang ng Atensyon

Ang papel na ito ay nagpapakilala sa Transformer, isang rebolusyonaryong arkitektura ng neural network na tinalikuran ang pag-uulit para sa atensyon, na nagpabago sa pagmomodelo ng mga sunud-sunod na datos.

27 min basahin

Available sa

Preview ng buod

Ang Transformer: Kung Paano Binago ng 'Attention' ang AI at ang Mundo ng Wika

Uy, kumusta! Sigurado akong napapansin mo kung gaano ka-trending ang Artificial Intelligence (AI) ngayon. Mga models na kayang magsulat, mag-code, magsalin, at kahit gumawa ng art! Alam mo ba, malaking bahagi ng rebolusyong ito ay nagsimula sa isang research paper noong 2017 na ang pamagat ay "Attention Is All You Need." Dito ipinakilala ang isang bagong uri ng neural network architecture na tinawag na Transformer, at grabe, binuksan nito ang pinto para sa mga bagong posibilidad sa AI, lalo na sa pagproseso ng wika. Bago pa man natin naimbento ang Transformer, ang mga sikat na models para sa mga 'sequence tasks' tulad ng machine translation ay ang Recurrent Neural Networks (RNNs), kasama na ang mga mas advanced na bersyon nito tulad ng LSTMs at GRUs. Isipin mo ang RNNs na parang nagbabasa ka ng libro, isang salita bawat pagkakataon, at sinusubukan mong tandaan lahat ng nabasa mo para maintindihan ang kasalukuyang salita. Intuitive ito, pero ang malaking problema, ang bagal! Hindi mo pwedeng basahin lahat nang sabay-sabay; kailangan mo talagang isa-isahin, kaya ang tagal mag-train at limitado ang kaya nitong gawin. Ang papel na ito, na sinulat ng mga henyo mula sa Google Brain, Google Research, at University of Toronto (Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, at Illia Polosukhin), ay nagbigay ng isang radikal na ideya: paano kung tanggalin na natin ang 'recurrence'? Paano kung gumawa tayo ng model na kayang tingnan ang lahat ng salita sa isang pangungusap nang sabay-sabay at alamin kung alin ang pinakamahalaga para maintindihan ang bawat salita? Dito pumapasok ang attention mechanisms, at ang Transformer ay buong-buo na nakasalalay dito. Isipin mo, nagta-translate ka ng pangungusap. Imbes na tumingin lang sa mga naunang salita, ang 'attention mechanism' ay nagbibigay-daan sa model na direktang tumutok sa kahit anong salita sa source sentence na may kaugnayan sa salitang kasalukuyan nitong tinatranslate. Parang nagha-highlight ka lang ng pinakamahalagang parte ng text para sa isang partikular na gawain. Ang Transformer, ginawa niyang 'extreme' ang konsepto na ito gamit ang self-attention, kung saan ang model ay tumitimbang sa kahalagahan ng lahat ng ibang salita sa parehong pangungusap kapag pinoproseso ang isang salita. Dahil dito, kaya nitong unawain ang mga 'long-range dependencies' – yung tipong ugnayan ng isang pronoun sa dulo ng paragraph sa isang noun sa simula – nang mas epektibo kaysa sa mga RNN. Ang resulta? Ang Transformer ay hindi lang mas mabilis i-parallelize (ibig sabihin, mas mabilis i-train gamit ang modernong hardware tulad ng GPUs) kundi nakakuha rin ito ng state-of-the-art na resulta sa machine translation, na nalampasan ang mga dating record nang malaki. Pinag-uusapan natin dito ang pagkuha ng pinakamataas na English-to-German at English-to-French translation scores sa loob lang ng ilang araw na training, isang bagay na dati ay matagal bago gawin o nangangailangan

Ang Problema sa Lumang Sistema: Bakit Mabagal ang mga RNN?

Bago tayo masyadong magsaya sa Transformer, napaka-importante na maintindihan natin kung bakit ito naging big deal. Sa loob ng maraming taon, ang mga hari ng 'sequence modeling' – mga gawain tulad ng pagsasalin ng wika, pagbubuod ng text, o kahit paghula ng susunod na salita – ay ang Recurrent Neural Networks (RNNs). Isipin ang LSTMs (Long Short-Term Memory) at GRUs (Gated Recurrent Units). Magaling sila, pero mayroon silang isang fundamental na limitasyon: pinoproseso nila ang impormasyon nang sunod-sunod (sequentially). Isipin mo ang pangungusap: "Ang mabilis na kayumangging soro ay lumundag sa ibabaw ng tamad na aso." Ganito ipoproseso ito ng isang RNN: 1. Binabasa ang "Ang", ina-update ang internal memory (hidden state). 2. Binabasa ang "mabilis", ina-update ang memory batay sa "Ang" at "mabilis". 3. Binabasa ang "na", ina-update ang memory batay sa nakaraang state at "na". 4. ...at tuloy-tuloy hanggang sa "aso". Ang bawat hakbang ay nakadepende sa output ng naunang hakbang. Lumilikha ito ng chain reaction, at kung gusto mong malaman ang kahulugan ng "lumundag", kailangan munang matagumpay na naproseso at natandaan ng RNN ang impormasyon mula sa "Ang mabilis na kayumangging soro" nang tama. Ang 'sequential dependency' na ito ang ugat ng problema. Pinapahirapan nito ang 'parallelization' – ang pagproseso ng maraming bahagi ng input nang sabay-sabay – na halos imposible. Bakit? Dahil hindi mo makakalkula ang state para sa "lumundag" hangga't hindi mo nakakalkula ang state para sa "aso", at hindi mo magagawa iyon hangga't hindi mo nagagawa ang para sa "soro", at iba pa. Ito ay isang malaking bottleneck sa training. Ang pag-train ng 'deep learning models' ay nangangailangan ng napakalaking computation, at ang paggawa nito nang sunod-sunod ay umaabot ng napakatagal. Kung mayroon kang malaking dataset at kumplikadong model, maaari kang maghintay ng araw, linggo, o buwan para sa isang training run. Dagdag pa, habang humahaba ang mga sequence, mas nagiging mahirap para sa mga RNN na maalala ang impormasyon mula sa simula. Maaaring mawala o lumabo ang impormasyon sa daan – ang tinatawag na "vanishing gradient" problem, bagaman ang LSTMs at GRUs ay ginawa para mapagaan ito, hindi nila ito tuluyang naalis. Ngayon, ang ibang architectures tulad ng Convolutional Neural Networks (CNNs) ay naipakita na ang lakas ng parallel processing sa mga larangan tulad ng image recognition. May mga pagtatangka na gamitin ang mga 'CNN-like structures' sa mga sequence (tulad ng ByteNet o ConvS2S), at pinayagan nila ang mas maraming parallelization kaysa sa RNNs. Gayunpaman, madalas silang may sariling problema. Para makuha ang dependencies sa pagitan ng mga salitang malayo sa isang pangungusap, kailangan ng mga convolutional models na gumamit ng napakalalalim na 'stacks of layers' o napakalalaking 'filters' (kernels). Ibig sabihin, ang "path length" – ang bilang ng mga hakbang para makapaglakbay ang impormasyon mula sa isang bahagi ng sequence patungo sa iba – ay maaari

Ang Pagdating ng Transformer: Bagong Pag-asa na Nakabatay sa 'Attention'

Ang mga may-akda ng "Attention Is All You Need" ay tumingin sa sitwasyong ito at nagtanong: Pwede ba nating makuha ang pinakamaganda sa dalawang mundo? Pwede ba tayong magkaroon ng model na nakakakuha ng dependencies kahit gaano pa kalayo ang pagitan nila sa sequence (tulad ng pangako ng attention) at na highly parallelizable? Ang sagot nila ay isang malakas na oo, at ang susi ay ang pagtanggal ng recurrence at convolution nang buo at pag-asa lamang sa attention mechanisms.

Ano Nga Ba ang 'Attention'?

Bago tayo lumalim sa architecture ng Transformer, intindihin muna natin ang attention. Sa simpleng salita, ang 'attention mechanism' ay nagbibigay-daan sa isang model na tumutok sa mga partikular na bahagi ng input kapag nagpoproseso ng isang partikular na piraso ng impormasyon. Isipin mo kung paano ka magbasa: kapag nakakita ka ng salitang tulad ng "ito", awtomatikong lilingon ang utak mo para malaman kung ano ang tinutukoy ng "ito". Sinusubukan ng mga 'attention mechanisms' na gayahin ito. Sa konteksto ng neural networks, ang attention ay karaniwang may tatlong bahagi: Queries (Q): Kumakatawan sa kasalukuyang piraso ng impormasyon na tinitingnan mo (hal., ang salitang tinatranslate mo). Keys (K): Kumakatawan sa impormasyong available sa input sequence na maaaring gustuhin mong bigyan ng pansin. Values (V): Kumakatawan sa aktwal na nilalaman o representasyon na nauugnay sa bawat Key. Kinakalkula ng 'attention mechanism' kung gaano kalaki ang tugma ng bawat Key sa Query. Ang 'match score' na ito (na karaniwang kinakalkula gamit ang dot product) ay ginagamit para gumawa ng mga weights. Ang mga weights na ito ang magdidikta kung gaano karami sa bawat katumbas na Value ang pagsasamahin para mabuo ang final output. Sa esensya, ito ay isang paraan para dynamic na timbangin ang kahalagahan ng iba't ibang bahagi ng input batay sa kasalukuyang konteksto (ang Query).

Self-Attention: Ang Bida

Ang game-changer ng Transformer ay ang self-attention. Hindi tulad ng tradisyonal na attention kung saan maaari kang mag-attend sa ibang sequence (tulad ng pag-attend sa source sentence habang nagde-decode ng target sentence), ang self-attention ay nag-uugnay ng iba't ibang posisyon ng isang sequence para makabuo ng representasyon ng sequence na iyon. Sa mas simpleng salita, para sa bawat salita sa isang pangungusap, pinapayagan ng self-attention ang model na tingnan ang lahat ng ibang salita sa parehong pangungusap at magpasya kung alin ang pinaka-relevant para maintindihan ang partikular na salitang iyon. Balik tayo sa "Ang mabilis na kayumangging soro ay lumundag sa ibabaw ng tamad na aso." Kapag pinoproseso ng Transformer ang salitang "lumundag", pinapayagan nito ang self-attention na isaalang-alang ang "Ang," "mabilis," "na," "kayumangging," "soro," "sa," "ibabaw," "ng," "tamad," "na," at "aso" nang sabay-sabay. Maaari nitong matutunan, halimbawa, na ang "soro" ay napaka-relevant sa "lumundag" dahil ang mga soro ay mga hayop na lumulundag. Maaari rin nitong matutunan na ang "ibabaw" ay relevant dahil ito ay naglalarawan kung paano nangyayari ang paglundag kaugnay sa "aso". Ang kakayahang direktang i-model ang mga relasyon sa pagitan ng kahit anong dalawang salita sa sequence, gaano man kalayo ang pagitan nila, ay napakalakas. Nilalampasan nito ang sequential bottleneck ng RNNs at ang mga limitasyon ng path ng CNNs.

Ang Transformer Architecture: Pagsasama-sama ng Lahat

Ang Transformer ay hindi lang isang simpleng self-attention layer; ito ay isang maingat na dinisenyong architecture na nakabatay sa mga 'attention mechanisms' na ito. Binubuo ito ng dalawang pangunahing bahagi: isang Encoder at isang Decoder. Encoder: Ang trabaho nito ay iproseso ang input sequence (hal., ang English sentence) at bumuo ng mayaman at context-aware na representasyon nito. Parang malalim na pagbabasa at pag-unawa sa source sentence. Decoder: Ang trabaho nito ay kunin ang representasyon mula sa encoder at bumuo ng output sequence (hal., ang French translation), paisa-isang elemento. Parehong ang encoder at decoder ay binubuo ng mga 'stacks' ng magkakaparehong layers. Ang orihinal na papel ay gumamit ng N=6 layers para sa pareho. Sa Loob ng Isang Encoder Layer: Ang bawat encoder layer ay may dalawang pangunahing sub-layers: 1. Multi-Head Self-Attention: Dito nangyayari ang magic. Pinapayagan nito ang bawat posisyon sa encoder na mag-attend sa lahat ng posisyon sa nakaraang layer ng encoder. 2. Position-wise Feed-Forward Network: Isang simpleng, 'fully connected' feed-forward network na inilalapat nang independiyente sa bawat posisyon. Mahalaga, ang output ng bawat sub-layer ay dumadaan sa residual connections (pagdagdag ng input ng sub-layer sa output nito) na sinusundan ng layer normalization. Ang mga teknik na ito ay kritikal para patatagin ang training at payagan ang network na maging mas malalim. Sa Loob ng Isang Decoder Layer: Ang bawat decoder layer ay may tatlong pangunahing sub-layers: 1. Masked Multi-Head Self-Attention: Katulad ng self-attention ng encoder, pero may isang mahalagang pagkakaiba: ito ay "masked." Pinipigilan ng mask na ito ang mga posisyon na mag-attend sa mga susunod na posisyon. Bakit? Dahil kapag nagge-generate ng translation, maaari mo lang gamitin ang mga salitang naisalin mo na, hindi ang mga susunod pa sa target sentence (ito ang tinatawag na auto-regressive property). 2. Multi-Head Encoder-Decoder Attention: Dito nakikipag-ugnayan ang decoder sa output ng encoder. Ang Queries ay galing sa nakaraang decoder layer, habang ang Keys at Values ay galing sa output ng encoder stack. Pinapayagan nito ang bawat posisyon sa decoder na mag-attend sa lahat ng posisyon sa input sequence, na malalaman kung aling mga bahagi ng source sentence ang pinaka-relevant para sa pagbuo ng kasalukuyang target word. 3. Position-wise Feed-Forward Network: Tulad ng nasa encoder. Muli, ginagamit ang residual connections at layer normalization sa paligid ng bawat sub-layer. Ang architecture na ito, na nakasalalay lamang sa mga attention mechanisms at feed-forward networks na ito, ang siyang pangunahing inobasyon. Ganap nitong inalis ang pangangailangan para sa sequential processing na likas sa mga RNNs.