Summio

PDF

Назар аудару жеткілікті

Бұл мақалада Transformer, рекурренттілікті назар аударуға ауыстырып, тізбекті модельдеуді революциялаған жаңалықшыл нейрондық желі архитектурасы таныстырылады.

27 мин оқу

Қолжетімді тілдер

Саммари үзіндісі

Трансформер: 'Attention Is All You Need' қалай бәрін өзгертті

Сәлеметсің бе! Соңғы кездері жасанды интеллект (ЖИ) туралы көп естіп жүрсің ғой, иә? Жаза алатын, код жаза алатын, аудара алатын, тіпті сурет сала алатын модельдер туралы. Міне, осы революцияның үлкен бір бөлігі 2017 жылы жарық көрген 'Attention Is All You Need' атты бір мақалаға тіреледі. Онда Трансформер деп аталатын жаңа нейрондық желі архитектурасы ұсынылды, және шынын айтсақ, бұл ЖИ-дың, әсіресе тілмен жұмыс істеудегі мүмкіндіктерінің есігін кең ашты. Трансформерге дейін машиналық аударма сияқты тізбекті тапсырмалар үшін Рекурренттік Нейрондық Желілер (RNN), олардың танымал түрлері LSTM және GRU қолданылатын. RNN-ді кітапты бір сөзден оқып, ағымдағы сөзді түсіну үшін бұрынғының бәрін есте сақтауға тырысатын процесс деп елестетіп көріңіз. Бұл тізбекті сипат интуитивті болғанымен, оның үлкен кемшілігі бар: баяулығы. Кітапты бірден қарай алмайсың; сөзден-сөзге баруға тура келеді, бұл модельдерді жаттықтыруды өте қиын етеді және олардың күрделілігін шектейді. Google Brain, Google Research және Торонто университетінің мықты командасы (Ашиш Васвани, Ноам Шазир, Ники Пармар, Якоб Узкореит, Лион Джонс, Эйдан Н. Гомес, Лукаш Кайзер және Иллия Полосухин) жазған бұл мақалада радикалды идея ұсынылды: егер біз рекурренттілікті мүлдем алып тастасақ ше? Егер біз сөйлемдегі барлық сөздерді бірден қарайтын және әр сөзді түсіну үшін қайсысы маңызды екенін анықтайтын модель құра алсақ ше? Міне, осында назар аудару механизмдері (attention mechanisms) пайда болады, және Трансформер тұтасымен соларға негізделген. Аударма жасап отырғаныңызды елестетіңіз. Тек алдыңғы сөзді қараудың орнына, назар аудару механизмі модельге аударып жатқан сөзге қатысты бастапқы сөйлемдегі кез келген сөзге тікелей назар аударуға мүмкіндік береді. Бұл белгілі бір тапсырма үшін мәтіннің ең маңызды бөліктерін бөлектеп көрсету сияқты. Трансформер бұл тұжырымдаманы шегіне жеткізеді, өзін-өзі бақылау (self-attention) деп аталатын назар аудару түрін қолданып, онда модель берілген сөзді өңдеу кезінде сол сөйлемдегі басқа барлық сөздердің маңыздылығын бағалайды. Бұл оған қашықтағы байланыстарды – мысалы, абзацтың соңындағы сілтеу есімдігінің басындағы зат есімге қалай қатысты екенін түсінуді – RNN-дерге қарағанда әлдеқайда тиімдірек түсінуге мүмкіндік береді. Нәтижесінде? Трансформер тек әлдеқайда параллельдендірілген (заманауи жабдықтарда, мысалы, GPU-ларда әлдеқайда жылдам жаттықтыруға болатынын білдіреді), сонымен қатар машиналық аудармада мемлекеттік-өнер (state-of-the-art) нәтижелерге қол жеткізіп, бұрынғы рекордтарды елеулі дәрежеде арттырды. Біз бірнеше күн жаттығу арқылы ағылшын-неміс және ағылшын-француз аудармаларында жоғары деңгейдегі көрсеткіштерге қол жеткізу туралы айтып отырмыз, бұл бұрын әлдеқайда ұзақ уақытты алған немесе модельдердің үлкен жиынтықтарын қажет еткен. Бұл тек аударма туралы емес. Мақалада Трансформердің ағылшын тілінің конституциялық талдауы сияқты басқа да тапсырмаларға қалай жалпыланатыны көрсетілген, бұл оның күшін және икемділігін көрсетеді. Бұл бүгінгі күні

Ескі padrõesмен мәселе: Неліктен RNN-дер бізді баяулатты?

Трансформерге тым қатты қуанбас бұрын, оның неліктен соншалықты маңызды болғанын түсіну өте маңызды. Көп жылдар бойы тізбекті модельдеудің (тілдерді аудару, мәтінді қысқарту немесе тіпті сөйлемдегі келесі сөзді болжау сияқты тапсырмалар) патшалары Рекурренттік Нейрондық Желілер (RNN) болды. LSTM (Long Short-Term Memory) және GRU (Gated Recurrent Unit) сияқтыларын ойлаңыз. Олар жақсы болды, бірақ олардың негізгі шектеуі бар еді: олар ақпаратты тізбекті түрде өңдеді. Сөйлемді елестетіп көріңіз: "The quick brown fox jumps over the lazy dog." RNN оны былай өңдеген болар еді: 1. "The" сөзін оқиды, ішкі жадын (жасырын күйін) жаңартады. 2. "quick" сөзін оқиды, "The" және "quick" негізінде жадын жаңартады. 3. "brown" сөзін оқиды, алдыңғы күй мен "brown" негізінде жадын жаңартады. 4. ...осылай "dog" сөзіне дейін. Әр қадам алдыңғы қадамның нәтижесіне байланысты. Бұл тізбекті реакцияны жасайды, және егер сіз "jumps" сөзінің мағынасын білгіңіз келсе, RNN "The quick brown fox" ақпаратын дұрыс өңдеп, есте сақтағанын білуі керек. Бұл тізбекті тәуелділік - негізгі мәселе. Ол параллельдендіруді – кірістің бірнеше бөліктерін бір уақытта өңдеуді – өте қиын, тіпті мүмкін емес етеді. Неліктен? Себебі сіз "fox" үшін күйді есептемейінше, "jumps" үшін күйді есептей алмайсыз, ал оны "brown" жасамайынша жасай алмайсыз, және т.с.с. Бұл жаттығу үшін үлкен кедергі. Терең оқыту модельдерін жаттықтыру үшін көп көлемді есептеу қажет, ал оны тізбекті түрде жасау ғасырлар алады. Егер сізде үлкен деректер жинағы мен күрделі модель болса, бір жаттығу үшін күндер, апталар немесе тіпті айлар күтуіңіз мүмкін. Сонымен қатар, тізбектер ұзарған сайын, басынан ақпаратты есте сақтау RNN-дер үшін қиындай түседі. Ақпарат жол бойында сұйылтылуы немесе жоғалуы мүмкін – қорқынышты "жоғалып бара жатқан градиент" мәселесі, дегенмен LSTM және GRU мұны азайту үшін жасалған, бірақ олар оны толығымен жоя алмады. Енді, кескіндемелік нейрондық желілер (CNN) сияқты басқа архитектуралар кескін тану саласында параллельді өңдеудің күшін көрсеткен болатын. Тізбектерге CNN- тәрізді құрылымдарды қолдану әрекеттері жасалды (ByteNet немесе ConvS2S сияқты), және олар RNN-дерге қарағанда көбірек параллельдендіруге мүмкіндік берді. Дегенмен, олардың өз мәселелері болды. Сөйлемде алыс орналасқан сөздер арасындағы байланыстарды түсіну үшін, бұл кескіндемелік модельдер өте терең қабаттарды немесе өте үлкен сүзгілерді (ядроларды) қолдануды қажет етті. Бұл "жол ұзындығы" – ақпараттың тізбектің бір бөлігінен екіншісіне өтуі үшін қажетті қадамдар саны – әлі де үлкен болуы мүмкін еді, бұл ұзақ мерзімді байланыстарды оқытуды қиындатады. Сонымен, Трансформерге дейінгі жағдай негізінен таңдау болды: RNN-дер тізбекті байланыстарды түсінуде жақсы болды, бірақ параллельдендіру мен жылдамдық үшін нашар болды. CNN- негізді әдістер көбірек параллельдендіруді ұсынды, бірақ есептеу күрделілігін немесе терең қабаттарды қажет етпей, өте ұзақ мерзімді байланыстармен қиналды.

Трансформердің келуі: Назар аударуға негізделген жаңа үміт

"Attention Is All You Need" мақаласының авторлары бұл жағдайға қарап: Екеуінің де жақсы жақтарын ала аламыз ба? деп сұрады. Біз қашықтығына қарамастан байланыстарды түсінетін модельге ие бола аламыз ба (назар аудару уәде ететіндей) және ол жоғары параллельдендірілген бола ала ма? Олардың жауабы дауыстап "иә" болды, және кілті рекурренттілікті және кескіндеуді тұтасымен тастап, тек назар аудару механизмдеріне сену болды.

Назар аудару дегеніміз не?

Трансформер архитектурасына тереңірек кірмес бұрын, назар аударуды түсініп алайық. Қарапайым сөзбен айтқанда, назар аудару механизмі модельге белгілі бір ақпаратты өңдеу кезінде кірістің белгілі бөліктеріне шоғырлануға мүмкіндік береді. Сіз қалай оқитыныңызды ойлаңыз: "it" сияқты сөзді кездестіргенде, миыңыз "it" нені білдіретінін анықтау үшін артқа қарайды. Назар аудару механизмдері мұны имитациялауға тырысады. Нейрондық желілер контекстінде назар аудару әдетте үш компонентті қамтиды: Сұраулар (Queries - Q): Сіз шоғырланған ағымдағы ақпаратты білдіреді (мысалы, аударып жатқан сөз). Кілттер (Keys - K): Назар аударуға болатын кіріс тізбегіндегі қолжетімді ақпаратты білдіреді. Мәндер (Values - V): Әрбір Кілтпен байланысты нақты мазмұнды немесе өкілдікті білдіреді. Назар аудару механизмі әрбір Кілттің Сұраумен қаншалықты сәйкес келетінін есептейді. Бұл сәйкестік ұпайы (көбінесе нүктелік көбейту арқылы есептеледі) салмақтарды жасау үшін қолданылады. Бұл салмақтар сәйкес Мәндердің қанша бөлігі біріктіріліп, соңғы нәтижені өндіру керектігін анықтайды. Негізінде, бұл ағымдағы контекстке (Сұрау) негізделген кірістің әртүрлі бөліктерінің маңыздылығын динамикалық түрде бағалау әдісі.

Өзін-өзі бақылау: Шоудағы жұлдыз

Трансформердің ойынды өзгертетіні - өзін-өзі бақылау (self-attention). Кіріс тізбегінің әртүрлі позициялары арасындағы байланыстарды есептеу үшін қолданылатын дәстүрлі назар аударудан айырмашылығы, өзін-өзі бақылау сол тізбектің өкілдігін есептеу үшін бір тізбектің әртүрлі позицияларын байланыстырады. Қарапайым сөзбен айтқанда, сөйлемдегі әр сөз үшін, өзін-өзі бақылау модельге сол сөйлемдегі басқа барлық сөздерді қарауға және сол сөзді түсіну үшін қайсылары ең маңызды екенін шешуге мүмкіндік береді. "The quick brown fox jumps over the lazy dog" сөйлеміне қайта оралайық. Трансформер "jumps" сөзін өңдегенде, өзін-өзі бақылау оған "The," "quick," "brown," "fox," "over," "the," "lazy," және "dog" сөздерін бірден қарауға мүмкіндік береді. Мысалы, "fox" сөзінің "jumps" сөзіне өте қатысты екенін үйрене алады, себебі түлкілер секіретін жануарлар. Сондай-ақ, "over" сөзінің маңызды екенін үйрене алады, себебі ол "dog"-қа қатысты қалай секіретінін сипаттайды. Кез келген екі сөз арасындағы тізбектегі қашықтығына қарамастан байланыстарды тікелей модельдеу мүмкіндігі өте қуатты. Ол RNN-дердің тізбекті кедергісін және CNN-дердің қабаттық жол шектеулерін айналып өтеді.

Трансформер архитектурасы: Бәрін біріктіру

Трансформер тек бір өзін-өзі бақылау қабаты емес; бұл осы назар аудару механизмдеріне негізделген мұқият жобаланған архитектура. Ол екі негізгі бөліктен тұрады: Кодер (Encoder) және Декодер (Decoder). Кодер: Оның міндеті кіріс тізбегін (мысалы, ағылшын сөйлемін) өңдеп, оның бай, контекстке бағытталған өкілдігін жасау. Бұл бастапқы сөйлемді терең оқып, түсіну сияқты. Декодер: Оның міндеті кодердің өкілдігін алып, шығыс тізбегін (мысалы, француз аудармасын) бір элементтен екіншісіне генерациялау. Кодер де, декодер де бірдей қабаттардың жинақтарынан тұрады. Түпнұсқа мақалада екеуі үшін де N=6 қабат қолданылды. Кодер қабатының ішінде: Әрбір кодер қабатында екі негізгі кіші қабат бар: 1. Көпбасты өзін-өзі бақылау (Multi-Head Self-Attention): Міне, мұнда сиқыр орын алады. Ол кодердегі әр позицияға кодердің алдыңғы қабатындағы барлық позицияларға назар аударуға мүмкіндік береді. 2. Позицияға негізделген Feed-Forward желі: Әр позицияға тәуелсіз қолданылатын қарапайым, толық байланысқан feed-forward желі. Маңыздысы, әр кіші қабаттың шығысы қалдық қосылымдардан (кіші қабаттың кірісін оның шығысына қосу) және қабаттық нормализациядан өтеді. Бұл әдістер жаттығуды тұрақтандыру және желінің тереңірек кетуіне мүмкіндік беру үшін өте маңызды. Декодер қабатының ішінде: Әрбір декодер қабатында үш негізгі кіші қабат бар: 1. Маскаланған көпбасты өзін-өзі бақылау (Masked Multi-Head Self-Attention): Кодердің өзін-өзі бақылауына ұқсас, бірақ маңызды айырмашылығы бар: ол "маскаланған". Бұл маска позициялардың келесі позицияларға назар аударуын болдырмайды. Неліктен? Себебі аударма жасау кезінде сіз тек сіз бұрыннан жасаған сөздерді ғана қолдана аласыз, нысана сөйлемінің кейінгі сөздерін емес (бұл авторегрессивті қасиет деп аталады). 2. Көпбасты Кодер-Декодер Бақылау (Multi-Head Encoder-Decoder Attention): Міне, мұнда декодер кодердің шығысымен өзара әрекеттеседі. Сұраулар алдыңғы декодер қабатынан келеді, ал Кілттер мен Мәндер кодер жинағының шығысынан келеді. Бұл декодердегі әр позицияға кіріс тізбегіндегі барлық позицияларға назар аударуға, ағымдағы нысана сөзін жасау үшін бастапқы сөйлемнің қай бөліктері ең маңызды екенін анықтауға мүмкіндік береді. 3. Позицияға негізделген Feed-Forward желі: Кодердегі сияқты. Тағы да, әр кіші қабаттың айналасында қалдық қосылымдар мен қабаттық нормализация қолданылады. Бұл архитектура, тек осы назар аудару механизмдері мен feed-forward желілеріне сүйенетін, RNN-дердегі тізбекті өңдеу қажеттілігін толығымен жойды.