Summio

PDF

Diqqatning o'zi kifoya

Ushbu maqolada Transformer, takrorlanishni o'rniga diqqatni jalb qilgan, ketma-ketlikni modellashtirishda inqilob qilgan, yangi neyron tarmoq arxitekturasi taqdim etiladi.

27 daq. o‘qish

Mavjud tillar

Qisqacha mazmun parchasi

Transformer: 'Attention Is All You Need' Haqiqatan Nima uchun Hamma Narsani O'zgartirdi?

Assalomu alaykum! Hozirgi paytda sun'iy intellekt (SI) haqida juda ko'p gapirilyapti, to'g'rimi? Matn yozadigan, kod yozadigan, tarjima qiladigan va hatto san'at asarlarini yaratadigan modellar. Mana shu inqilobning katta qismi 2017-yilda chop etilgan 'Attention Is All You Need' nomli bitta maqolaga borib taqaladi. Unda Transformer deb nomlangan yangi neyron tarmoq arxitekturasi taqdim etilgan va bu, chinini aytsam, SI qila oladigan narsalar, ayniqsa til bilan bog'liq vazifalarda chegaralarni kengaytirib yubordi. Transformerdan oldin, mashinani tarjima qilish kabi ketma-ketlik vazifalari uchun eng ko'p ishlatiladigan modellar Takroriy Neyron Tarmoqlar (RNNlar) edi, ularning qulayroq turlari LSTMl va GRUlar ham shular jumlasidandir. RNNlarni xuddi kitobni birma-bir so'zlab o'qishdek tasavvur qiling, har bir so'zni tushunish uchun avvalgi barcha ma'lumotlarni yodda saqlashga harakat qilasiz. Bu ketma-ketlik tabiati tushunarli bo'lsa-da, uning katta kamchiligi bor: u juda sekin. Butun kitobni bir vaqtda qayta ishlay olmaysiz; so'zma-so'z borishingiz kerak, bu esa bu modellarini o'qitishni juda qiyinlashtiradi va ularning murakkabligini cheklaydi. Google Brain, Google Research va Toronto universiteti (Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser va Illia Polosukhin) olimlaridan iborat bir guruh tomonidan yozilgan ushbu maqola, radikal bir g'oyani taklif qildi: agar biz takrorlanishni (recurrence) umuman olib tashlasak-chi? Agar biz biror modelni yaratishimiz mumkinki, u biror gapdagi barcha so'zlarga bir vaqtning o'zida qarab, har bir alohida so'zni tushunish uchun qaysilari eng muhimligini aniqlay oladi? Mana shu yerda 'attention' mexanizmlari paydo bo'ladi va Transformer to'liq shu mexanizmlar atrofida qurilgan. Tasavvur qiling, siz bir gapni tarjima qilyapsiz. Faqat oldingi so'zga qarash o'rniga, 'attention' mexanizmi modelga tarjima qilishga harakat qilayotgan so'zga tegishli bo'lgan manba gapidagi istalgan so'zga to'g'ridan-to'g'ri e'tibor qaratish imkonini beradi. Bu, ma'lum bir vazifa uchun matndagi eng muhim qismlarni belgilashga o'xshaydi. Transformer bu konsepsiyani eng yuqori cho'qqiga olib chiqadi, o'z-o'ziga e'tibor (self-attention) deb nomlangan 'attention' shaklini ishlatadi, bu yerda model ma'lum bir so'zni qayta ishlayotganda bir xil gapdagi boshqa barcha so'zlarning ahamiyatini baholaydi. Bu esa uzoq masofadagi bog'liqliklarni – masalan, paragraf oxiridagi olmoshning boshidagi ot bilan qanday bog'liqligini tushunishni – RNNlardan ancha samaraliroq tutib olishga imkon beradi. Natija nima? Transformer nafaqat ko'proq parallel ishlay oladi (ya'ni, GPU kabi zamonaviy apparatlarda ancha tezroq o'qitilishi mumkin), balki u mashinani tarjima qilishda eng yaxshi natijalarga erishdi, avvalgi rekordlarni sezilarli darajada ortda qoldirdi. Bir necha kunlik mashg'ulotlarda eng yaxshi ingliz-nemis va ingliz-frantsuz tarjima ballarini qo'lga kiritish haqida gap ketyapti, bu avvaliga ancha

Eski Qo'riqchilar bilan Muammo: Nima Uchun RNNlar Bizni Sekinlashtirardi?

Transformer haqida ko'p hayajonlanishdan oldin, nega u bunchalik katta ish bo'lganini tushunishimiz juda muhim. Yillar davomida ketma-ketlikni modellashtirish – tilni tarjima qilish, matnni qisqartirish yoki hatto gapdagi keyingi so'zni bashorat qilish kabi vazifalar uchun – Takroriy Neyron Tarmoqlar (RNNlar) qirol bo'lgan. LSTM (Uzoq Qisqa Muddatli Xotira) va GRU (Darvozalangan Takroriy Blok)larni o'ylang. Ular yaxshi edi, lekin ularning fundamental cheklovi bor edi: ular ma'lumotni ketma-ket qayta ishlaydilar. Bir gapni tasavvur qiling: 'Tezkor jigarrang tulki yalqov it ustidan sakradi.' RNN uni quyidagicha qayta ishlaydi: 1. 'Tezkor' so'zini o'qiydi, ichki xotirasini (yashirin holatini) yangilaydi. 2. 'jigarrang' so'zini o'qiydi, 'Tezkor' va 'jigarrang' asosida xotirasini yangilaydi. 3. 'tulki' so'zini o'qiydi, avvalgi holat va 'tulki' asosida xotirasini yangilaydi. 4. ...va hokazo, 'it' so'zigacha. Har bir qadam avvalgi qadamning natijasiga bog'liq. Bu zanjirli reaksiya hosil qiladi va agar siz 'sakradi' so'zining ma'nosini bilmoqchi bo'lsangiz, RNN 'Tezkor jigarrang tulki' qismini muvaffaqiyatli qayta ishlashi va eslab qolishi kerak. Ushbu ketma-ket bog'liqlik asosiy muammodir. Bu parallelizmni – bir vaqtning o'zida bir nechta qismlarni qayta ishlashni – juda qiyin, hatto imkonsiz qiladi. Nima uchun? Chunki siz 'sakradi' uchun holatni hisoblashingizdan oldin, 'tulki' uchun holatni hisoblashingiz kerak, va buni 'jigarrang'ni qilmasdan qila olmaysiz va hokazo. Bu o'qitish uchun katta to'siqdir. Chuqur o'rganish modellarini o'qitish uchun juda ko'p hisoblash kuchi talab etiladi va buni ketma-ket bajarish asrlarni oladi. Agar sizda katta ma'lumotlar to'plami va murakkab model bo'lsa, bir martalik o'qitish uchun kunlar, haftalar yoki oylar kutishingiz mumkin. Bundan tashqari, ketma-ketliklar uzaygan sari, boshidan ma'lumotni eslab qolish RNNlar uchun tobora qiyinlashib boradi. Ma'lumot suyulib ketishi yoki yo'qolishi mumkin – mashhur 'yo'qolgan gradient' muammosi, garchi LSTMlar va GRUlar buni kamaytirish uchun ishlab chiqilgan bo'lsa-da, uni to'liq yo'q qilmadi. Hozirda Konvolutsion Neyron Tarmoqlar (CNNlar) kabi boshqa arxitekturalar tasvirni aniqlash sohalarida parallel ishlovchi kuchini allaqachon ko'rsatgan edi. Ketma-ketliklarga CNNga o'xshash tuzilmalarni qo'llashga urinishlar bo'lgan (ByteNet yoki ConvS2S kabi), va ular RNNlardan ko'ra ko'proq parallelizmni ta'minlagan. Biroq, ularning o'z muammolari bor edi. Gap ichidagi uzoq masofadagi so'zlar orasidagi bog'liqliklarni tutib olish uchun, bu konvolyutsion modellar juda chuqur qatlamlar yoki juda katta filtrlar (kernel) ishlatishi kerak edi. Bu shuni anglatadiki, 'yo'l uzunligi' – ma'lumotning ketma-ketlikning bir qismidan boshqa qismiga sayohat qilishi uchun zarur bo'lgan qadamlar soni – hali ham katta bo'lishi mumkin edi, bu uzoq masofadagi bog'liqliklarni o'rganishni qiyinlashtirardi. Shunday qilib, Transformerdan oldingi vaziyat asosan bir kompromiss edi: RNNlar ketma-ket

Transformer Kiritiladi: 'Attention'ga Asoslangan Yangi Umid

'Attention Is All You Need' maqolasining mualliflari bu manzaraga qarashdi va savol berishdi: ikkala dunyoning eng yaxshisini olishimiz mumkinmi? Biror modelni yaratishimiz mumkinki, u ketma-ketlikdagi masofadan qat'i nazar bog'liqliklarni tutib oladi ('attention' taklif qilganidek) va yuqori darajada parallel ishlay oladi? Ularning javobi qat'iy ha edi, va kalit takrorlanish va konvolyutsiyalarni to'liq tashlab, faqat 'attention' mexanizmlariga tayanish edi.

'Attention' Nima Axloqi?

Transformer arxitekturasiga chuqurroq kirishdan oldin, 'attention'ni tushunib olaylik. Oddiy qilib aytganda, 'attention' mexanizmi modelga ma'lum bir ma'lumotni qayta ishlayotganda, uning ma'lum qismlariga e'tibor qaratish imkonini beradi. Siz qanday o'qishingizni o'ylang: 'bu' kabi so'zga duch kelganingizda, miyangiz avtomatik ravishda 'bu' nimani nazarda tutayotganini bilish uchun orqaga qaraydi. 'Attention' mexanizmlari buni taqlid qilishga harakat qiladi. Neyron tarmoqlar kontekstida, 'attention' odatda uchta komponentni o'z ichiga oladi: So'rovlar (Queries - Q): Siz e'tibor qaratayotgan joriy ma'lumotni ifodalaydi (masalan, tarjima qilayotgan so'z). Kalitlar (Keys - K): Siz e'tibor qaratmoqchi bo'lgan ma'lumotlar ketma-ketligini ifodalaydi. Qiymatlar (Values - V): Har bir Kalit bilan bog'liq haqiqiy tarkibni yoki vakillikni ifodalaydi. 'Attention' mexanizmi har bir Kalit So'rovga qancha mos kelishini hisoblaydi. Ushbu moslik balli (ko'pincha nuqtali ko'paytma yordamida hisoblanadi) og'irliklarni yaratish uchun ishlatiladi. Ushbu og'irliklar har bir mos keladigan Qiymatning qancha qismi yakuniy natijani ishlab chiqarish uchun birlashtirilishini belgilaydi. Asosan, bu joriy kontekstga (So'rovga) asoslanib, kirishning turli qismlarining ahamiyatini dinamik ravishda tortish usuli.

O'z-o'ziga E'tibor: Shouni Yulduzi

Transformerning o'yinni o'zgartiruvchisi o'z-o'ziga e'tibor (self-attention)dir. An'anaviy 'attention'dan farqli o'laroq, bu yerda siz boshqa ketma-ketlikka e'tibor qaratishingiz mumkin (masalan, maqsadli gapni dekodlashda manba gapiga e'tibor qaratish), o'z-o'ziga e'tibor bitta yakuniy ketma-ketlikning turli pozitsiyalarini shu ketma-ketlik vakilligini hisoblash uchun bog'laydi. Oddiy qilib aytganda, gapdagi har bir so'z uchun, o'z-o'ziga e'tibor modelga bir xil gapdagi boshqa barcha so'zlarga qarab, o'sha alohida so'zni tushunish uchun qaysilari eng mos kelishini aniqlash imkonini beradi. 'Tezkor jigarrang tulki yalqov it ustidan sakradi' gapiga qaytamiz. Transformer 'sakradi' so'zini qayta ishlayotganda, o'z-o'ziga e'tibor 'Tezkor', 'jigarrang', 'tulki', 'ustidan', 'yalqov', 'it' va 'sakradi'ni bir vaqtning o'zida ko'rib chiqishga imkon beradi. U, masalan, 'tulki' 'sakradi'ga juda mos kelishini o'rganishi mumkin, chunki tulkilar sakraydigan hayvonlardir. Shuningdek, u 'ustidan' bog'lanishli ekanligini o'rganishi mumkin, chunki u qanday sakrayotganini itga nisbatan tasvirlaydi. Bu har qanday ikki so'z orasidagi bog'liqliklarni, ularning ketma-ketlikdagi masofasidan qat'i nazar, to'g'ridan-to'g'ri modellashtirish qobiliyati juda kuchli. U RNNlarning ketma-ket bottleneckini va CNNlarning qatlamli yo'l cheklovlarini chetlab o'tadi.

Transformer Arxitekturasi: Hammasini Bir Joyga Qo'yish

Transformer bitta o'z-o'ziga e'tibor qatlami emas; u bu 'attention' mexanizmlari asosida qurilgan ehtiyotkorlik bilan ishlab chiqilgan arxitekturadir. U ikkita asosiy qismdan iborat: Kodlovchi (Encoder) va Dekoder (Decoder). Kodlovchi: Uning vazifasi kirish ketma-ketligini (masalan, inglizcha gap) qayta ishlash va uni boy, kontekstga sezgir vakilligini yaratish. U manba gapini chuqur o'qish va tushunishga o'xshaydi. Dekoder: Uning vazifasi kodlovchining vakilligini olib, maqsadli ketma-ketlikni (masalan, frantsuzcha tarjima) bir elementdan iborat qilib yaratish. Ham kodlovchi, ham dekoder bir xil qatlamlar to'plamidan iborat. Asosiy maqolada har ikkalasi uchun ham N=6 qatlam ishlatilgan. Kodlovchi Qatlam Ichida: Har bir kodlovchi qatlami ikkita asosiy kichik qatlamga ega: 1. Ko'p Boshli O'z-o'ziga E'tibor (Multi-Head Self-Attention): Bu yerda sehr sodir bo'ladi. U kodlovchining har bir pozitsiyasiga kodlovchining avvalgi qatlamidagi barcha pozitsiyalarga e'tibor qaratish imkonini beradi. 2. Pozitsiyaga Qarab To'yinlanish Tarmoqlari (Position-wise Feed-Forward Network): Har bir pozitsiyaga mustaqil ravishda qo'llaniladigan oddiy, to'liq ulangan to'yinlanish tarmoqlari. Muhimi, har bir kichik qatlamning natijasi qoldiq ulanishlar (residual connections) (kichik qatlamning kirishini uning chiqishiga qo'shish) va keyin qatlam normalizatsiyasi (layer normalization) orqali o'tkaziladi. Ushbu usullar o'qitishni barqarorlashtirish va tarmoqning chuqurroq ketishiga imkon berish uchun juda muhimdir. Dekoder Qatlam Ichida: Har bir dekoder qatlami uchta asosiy kichik qatlamga ega: 1. Maskalangan Ko'p Boshli O'z-o'ziga E'tibor (Masked Multi-Head Self-Attention): Kodlovchining o'z-o'ziga e'tibori kabi, lekin muhim farq bilan: u 'maskalangan'. Bu maska pozitsiyalarning keyingi pozitsiyalarga e'tibor qaratishini oldini oladi. Nima uchun? Chunki tarjima yaratayotganda, siz faqat siz allaqachon yaratgan so'zlarni ishlata olasiz, maqsadli gapdagi keyingi keladigan so'zlarni emas (bu avto-regressiv xususiyat deb ataladi). 2. Ko'p Boshli Kodlovchi-Dekoder E'tibori (Multi-Head Encoder-Decoder Attention): Bu yerda dekoder kodlovchining natijasi bilan o'zaro aloqada bo'ladi. So'rovlar avvalgi dekoder qatlamidan keladi, Kalitlar va Qiymatlar esa kodlovchi to'plamining natijasidan keladi. Bu dekoderning har bir pozitsiyasiga kirish ketma-ketligidagi barcha pozitsiyalar bo'ylab e'tibor qaratish, hozirgi maqsadli so'zni yaratish uchun manba gapining qaysi qismlari eng mos kelishini aniqlash imkonini beradi. 3. Pozitsiyaga Qarab To'yinlanish Tarmoqlari: Kodlovchidagidek. Yana, har bir kichik qatlam atrofida qoldiq ulanishlar va qatlam normalizatsiyasi ishlatiladi. Bu arxitektura, faqat ushbu 'attention' mexanizmlari va to'yinlanish tarmoqlariga tayanib, RNNlarda mavjud bo'lgan ketma-ket qayta ishlash zaruratini to'liq olib tashladi.