Summio

PDF

Уваги достатньо

Ця стаття представляє Transformer – революційну архітектуру нейронної мережі, яка відмовилася від рекурентності на користь механізму уваги, докорінно змінивши моделювання послідовностей.

27 хв читання

Доступно мовами

Фрагмент самарі

Розпаковуємо Трансформер: Чому «Attention Is All You Need» змінило все

Привіт! Мабуть, останнім часом ви багато чули про ШІ, правда? Моделі, які можуть писати, кодувати, перекладати і навіть створювати мистецтво. Ну, значна частина цієї революції сягає своїм корінням однієї статті, опублікованої у 2017 році під назвою «Attention Is All You Need». Вона представила новий тип архітектури нейронних мереж під назвою Трансформер, і, чесно кажучи, вона розширила межі можливого для ШІ, особливо в роботі з мовою. До Трансформера, основними моделями для завдань, пов'язаних з послідовностями, як-от машинний переклад, були рекурентні нейронні мережі (RNN), включно з їхніми більш вишуканими родичами – LSTM та GRU. Уявіть RNN як читання книги по одному слову, намагаючись запам'ятати все, що було раніше, щоб зрозуміти поточне слово. Ця послідовна природа є інтуїтивною, але має величезний недолік: вона повільна. Ви не можете обробляти всю книгу одночасно; вам доводиться йти слово за словом, що робить тренування цих моделей справжньою мукою і обмежує їхню складність. Ця стаття, написана командою мрії з Google Brain, Google Research та Університету Торонто (Ашіш Васвані, Ноам Шазір, Нікі Пармар, Якоб Ушкóрек, Ліон Джонс, Ейдан Н. Гомес, Лукаш Кайзер та Ілля Полосухін), запропонувала радикальну ідею: а що, якби ми могли повністю позбутися рекурентності? А що, якби ми могли побудувати модель, яка дивиться на всі слова в реченні одночасно і визначає, які з них найважливіші для розуміння кожного окремого слова? Саме тут з'являються механізми уваги, і Трансформер побудований повністю навколо них. Уявіть, що ви перекладаєте речення. Замість того, щоб просто дивитися на попереднє слово, механізм уваги дозволяє моделі безпосередньо зосереджуватися на будь-якому слові в вихідному реченні, яке є релевантним до слова, яке вона зараз намагається перекласти. Це схоже на виділення найважливіших частин тексту для конкретного завдання. Трансформер доводить цю концепцію до крайності, використовуючи форму уваги, яка називається самоувагою, де модель зважує важливість усіх інших слів у тому ж реченні під час обробки певного слова. Це дозволяє їй захоплювати довгострокові залежності – наприклад, розуміти, як займенник в кінці абзацу пов'язаний з іменником на початку – набагато ефективніше, ніж RNN. Результат? Трансформер не тільки набагато краще паралелізується (що означає, що його можна тренувати набагато, набагато швидше на сучасному обладнанні, як-от GPU), але й досяг найсучасніших результатів у машинному перекладі, перевершивши попередні рекорди із значним відривом. Ми говоримо про досягнення найвищих показників перекладу з англійської на німецьку та з англійської на французьку лише за кілька днів тренування – досягнення, яке раніше займало набагато більше часу або вимагало величезних ансамблів моделей. Однак, це стосується не тільки перекладу. Стаття також показує, як Трансформер може узагальнюватися на інші завдання, як-от англійський синтаксичний аналіз, демонструючи його потужність та гнучкість. Це фундаментальна стаття, яка заклала основу для

Проблема зі старими гравцями: Чому RNN нас гальмували

Перш ніж ми надто захопимося Трансформером, надзвичайно важливо зрозуміти, чому він став таким значущим. Роками королями моделювання послідовностей – завдань, як-от переклад мов, узагальнення тексту або навіть прогнозування наступного слова в реченні – були рекурентні нейронні мережі (RNN). Згадайте LSTM (Long Short-Term Memory) та GRU (Gated Recurrent Units). Вони були досить хорошими, але мали фундаментальне обмеження: вони обробляли інформацію послідовно. Уявіть речення: «Швидка бура лисиця стрибає через лінивого собаку». RNN обробляла б його так: 1. Читає «Швидка», оновлює свою внутрішню пам'ять (прихований стан). 2. Читає «бура», оновлює пам'ять на основі «Швидка» та «бура». 3. Читає «лисиця», оновлює пам'ять на основі попереднього стану та «лисиця». 4. ...і так далі, аж до «собаку». Кожен крок залежить від виходу попереднього кроку. Це створює ланцюгову реакцію, і якщо ви хочете знати значення «стрибає», RNN повинна успішно обробити та запам'ятати інформацію з «Швидка бура лисиця» правильно. Ця послідовна залежність є основною проблемою. Вона робить паралелізацію – одночасну обробку кількох частин вхідних даних – надзвичайно складною, якщо не неможливою. Чому? Тому що ви не можете обчислити стан для «стрибає», поки не обчислите стан для «лисиця», а ви не можете зробити це, поки не зробите «бура», і так далі. Це головний вузький прохід для навчання. Навчання моделей глибокого навчання вимагає величезних обчислювальних ресурсів, а послідовне виконання займає вічність. Якщо у вас величезний набір даних і складна модель, ви можете чекати дні, тижні або навіть місяці на один навчальний цикл. До того ж, чим довші послідовності, тим складніше RNN запам'ятовувати інформацію з самого початку. Інформація може розсіюватися або губитися на шляху – сумнозвісна проблема «зникаючого градієнта», хоча LSTM та GRU були розроблені для її пом'якшення, вони не усунули її повністю. Тепер, інші архітектури, як-от згорткові нейронні мережі (CNN), вже продемонстрували потужність паралельної обробки в таких галузях, як розпізнавання зображень. Були зроблені спроби застосувати структури, подібні до CNN, до послідовностей (як-от ByteNet або ConvS2S), і вони дозволяли більше паралелізації, ніж RNN. Однак, вони часто мали власні проблеми. Щоб захопити залежності між словами, які знаходяться далеко одне від одного в реченні, ці згорткові моделі потребували дуже глибоких стеків шарів або дуже великих фільтрів (ядер). Це означало, що «довжина шляху» – кількість кроків, необхідних для подорожі інформації від однієї частини послідовності до іншої – все ще могла бути досить великою, що перешкоджало вивченню довгострокових залежностей. Отже, ситуація до Трансформера була, по суті, компромісом: RNN добре захоплювали послідовні залежності, але були жахливими для паралелізації та швидкості. Підходи на основі CNN пропонували більше паралелізму, але боролися з дуже довгостроковими залежностями, не стаючи обчислювально складними або не вимагаючи глибоких стеків.

Зустрічайте Трансформер: Нова Надія, Побудована на Увазі

Автори статті «Attention Is All You Need» поглянули на цей ландшафт і запитали: чи можемо ми отримати найкраще з обох світів? Чи можемо ми мати модель, яка захоплює залежності незалежно від їхньої відстані в послідовності (як обіцяє увага) і є високопаралелізованою? Їхня відповідь була рішучим «так», і ключем було відмовитися повністю від рекурентності та згорток і покладатися виключно на механізми уваги.

Що ж таке Увага?

Перш ніж зануритися в архітектуру Трансформера, давайте розберемося з увагою. Простими словами, механізм уваги дозволяє моделі зосереджуватися на конкретних частинах вхідних даних під час обробки певної інформації. Подумайте, як ви читаєте: коли ви натрапляєте на слово на кшталт «він», ваш мозок автоматично шукає, на що посилається «він». Механізми уваги намагаються це імітувати. У контексті нейронних мереж увага зазвичай включає три компоненти: Запити (Q): Представляють поточну інформацію, на якій ви зосереджуєтеся (наприклад, слово, яке ви намагаєтеся перекласти). Ключі (K): Представляють доступну інформацію у вхідній послідовності, на яку ви можете звернути увагу. Значення (V): Представляють фактичний вміст або представлення, пов'язане з кожним Ключем. Механізм уваги обчислює, наскільки кожен Ключ відповідає Запиту. Ця оцінка відповідності (часто обчислювана за допомогою скалярного добутку) потім використовується для створення ваг. Ці ваги визначають, яка частина кожного відповідного Значення повинна бути об'єднана для отримання кінцевого виходу. По суті, це спосіб динамічно зважувати важливість різних частин вхідних даних на основі поточного контексту (Запиту).

Самоувага: Зірка Шоу

Революційним елементом Трансформера є самоувага. На відміну від традиційної уваги, де ви можете звертати увагу на іншу послідовність (як-от увага до вихідної послідовності під час декодування цільової послідовності), самоувага пов'язує різні позиції однієї послідовності для обчислення представлення цієї послідовності. Простіше кажучи, для кожного слова в реченні самоувага дозволяє моделі дивитися на всі інші слова в тому ж реченні та визначати, які з них є найважливішими для розуміння цього конкретного слова. Повернемося до «Швидка бура лисиця стрибає через лінивого собаку». Коли Трансформер обробляє слово «стрибає», самоувага дозволяє йому одночасно розглядати «Швидка», «бура», «лисиця», «через», «лінивого» та «собаку». Він може навчитися, наприклад, що «лисиця» є високо релевантною до «стрибає», оскільки лисиці – це тварини, які стрибають. Він також може навчитися, що «через» є релевантним, оскільки воно описує, як відбувається стрибок відносно «собаки». Ця здатність безпосередньо моделювати зв'язки між будь-якими двома словами в послідовності, незалежно від їхньої відстані, є надзвичайно потужною. Вона оминає послідовне вузьке місце RNN та обмеження CNN щодо шляхів у шарах.

Архітектура Трансформера: Збираємо все разом

Трансформер – це не просто один шар самоуваги; це ретельно розроблена архітектура, побудована на цих механізмах уваги. Вона складається з двох основних частин: Кодера та Декодера. Кодер: Його завдання – обробити вхідну послідовність (наприклад, англійське речення) і згенерувати її багате, контекстно-залежне представлення. Це як глибоке читання та розуміння вихідного речення. Декодер: Його завдання – взяти представлення кодера та згенерувати вихідну послідовність (наприклад, французький переклад) по одному елементу за раз. І кодер, і декодер складаються зі стеків ідентичних шарів. Оригінальна стаття використовувала N=6 шарів для обох. Всередині шару Кодера: Кожен шар кодера має дві основні підшари: 1. Багатоголова самоувага (Multi-Head Self-Attention): Тут відбувається магія. Вона дозволяє кожній позиції в кодері звертати увагу на всі позиції в попередньому шарі кодера. 2. Позиційна мережа прямого поширення (Position-wise Feed-Forward Network): Проста, повністю зв'язана мережа прямого поширення, що застосовується незалежно до кожної позиції. Критично важливо, що вихід кожного підшару проходить через залишкові з'єднання (додавання входу підшару до його виходу), а потім нормалізацію шару. Ці техніки життєво важливі для стабілізації навчання та дозволяють мережі ставати глибшою. Всередині шару Декодера: Кожен шар декодера має три основні підшари: 1. Маскована багатоголова самоувага (Masked Multi-Head Self-Attention): Подібно до самоуваги кодера, але з ключовою відмінністю: вона «маскована». Ця маска запобігає тому, щоб позиції звертали увагу на наступні позиції. Чому? Тому що при генерації перекладу ви можете використовувати лише ті слова, які ви вже згенерували, а не ті, що йдуть пізніше в цільовому реченні (це називається авторегресивною властивістю). 2. Багатоголова увага Кодер-Декодер (Multi-Head Encoder-Decoder Attention): Тут декодер взаємодіє з виходом кодера. Запити надходять з попереднього шару декодера, тоді як Ключі та Значення надходять з виходу стека кодера. Це дозволяє кожній позиції в декодері звертати увагу на всі позиції у вхідній послідовності, визначаючи, які частини вихідного речення є найважливішими для генерації поточного цільового слова. 3. Позиційна мережа прямого поширення: Так само, як і в кодері. Знову ж таки, навколо кожного підшару використовуються залишкові з'єднання та нормалізація шару. Ця архітектура, що покладається виключно на ці механізми уваги та мережі прямого поширення, була основним нововведенням. Вона повністю усунула потребу в послідовній обробці, властивій RNN.