Фрагмент самарі
GPT-3: Штучний Інтелект, що Вчиться на Ходу (Ну, Майже!)
Привіт усім! Чули про GPT-3? Це така собі величезна модель штучного інтелекту від OpenAI, яка зараз справді на слуху. Забудьте про старі методи тренування ШІ, які потребували вічності й гори специфічних даних для кожного нового завдання. GPT-3 – це про навчання "на льоту", використовуючи те, що називається 'few-shot learning'. Уявіть, що ви показали другові лише одну-дві ілюстрації нової гри, а він одразу все зрозумів. Ось приблизно така ж історія, тільки для ШІ! Ця наукова робота, написана командою геніальних людей з OpenAI (за невеликої допомоги Університету Джонса Гопкінса), глибоко занурюється в те, що робить GPT-3 таким особливим і на що він здатен.
Старий Шлях проти Нового: Чому GPT-3 – це Важливо
До появи GPT-3 основним методом навчання ШІ для конкретних завдань, як-от переклад мов чи відповіді на запитання, було "попереднє навчання", а потім "доналаштування" (fine-tuning). Спочатку велику модель тренували на величезному масиві загальних текстів (по суті, весь інтернет), а потім доналаштовували її на меншому, але все ж доволі великому наборі даних, специфічному для завдання. Це як отримати загальну вищу освіту, а потім пройти спеціалізовану магістерську програму. Це працює, але має кілька суттєвих недоліків: 1. Жадібний до Даних: Вам потрібні тисячі, а то й сотні тисяч прикладів для цього доналаштування. Якщо у вас бракує даних для конкретного завдання (можливо, воно дуже нішеве?), то ви, по суті, в програші. 2. Ризик Перенавчання: Іноді, коли ви надто сильно доналаштовуєте модель на вузькому наборі даних, вона стає надзвичайно хорошою саме на цих даних, але жахливо помиляється на трохи відмінних прикладах. Це як завчити відповіді до тестів, а не зрозуміти сам предмет! 3. Не Дуже Людський Підхід: Люди – майстри швидкого навчання. Покажіть нам кілька зображень нової тварини, і ми, ймовірно, зможемо її розпізнати пізніше. Нам не потрібні тисячі фотографій і жорстка програма тренувань! Ось тут і з'являється GPT-3 з його концепцією "навчання в контексті" (in-context learning). Ідея в тому, що якщо модель достатньо велика і навчена на різноманітних даних, вона може розвинути певну здатність до мета-навчання. Вона вчиться як вчитися. Під час використання моделі (inference time), ви не оновлюєте її ваги чи не перетреновуєте. Натомість, ви просто даєте їй опис завдання та, можливо, кілька прикладів – все це в межах текстового запиту (prompt). Це і є частина 'few-shot' (або 'one-shot', чи 'zero-shot') навчання. Досить круто, правда?
Знайомтеся, GPT-3: Гігант зі 175 мільярдами Параметрів
То що ж таке GPT-3? Це авторегресивна мовна модель, що означає: вона передбачає наступне слово в послідовності, спираючись на всі попередні слова. Уявіть собі супер-автодоповнення. А "175 мільярдів параметрів" – це вже справжній удар! Це запаморочлива цифра! Вона означає, що модель має 175 мільярдів регульованих "ручок" (параметрів), які налаштовувалися під час її масштабного тренування. Для порівняння, попереднє покоління, GPT-2, мало близько 1.5 мільярда параметрів. GPT-3 приблизно в 100 разів більший! Саме ця неймовірна масштабованість дозволяє йому навчатися в режимі few-shot. Дослідники тестували GPT-3 на широкому спектрі завдань, і результати були доволі вражаючими. Він не просто добре справлявся; він часто конкурував, а іноді й перевершував, найкращі моделі, які були спеціально доналаштовані для цих завдань. І все це без жодних оновлень градієнтів, лише завдяки прикладам, наданим у запиті. Вони розглянули три основні способи використання моделі: Zero-Shot: Ви просто даєте моделі інструкцію, наприклад: "Переклади англійською на французьку: сир => ". Жодних прикладів не потрібно. One-Shot: Ви даєте інструкцію та один приклад: "Переклади англійською на французьку: морська видра => loutre de mer. сир => ". Few-Shot: Ви даєте інструкцію та кілька прикладів (до ліміту контекстного вікна моделі, який для GPT-3 становить 2048 токенів): "Переклади англійською на французьку: морська видра => loutre de mer. м'ята перцева => menthe poivrée. сир => ". І знаєте що? Чим більше прикладів ви надавали (до певного моменту), тим краще вона працювала! Ніби модель казала: "О, я бачу! Ось як це робиться!" Цей ефект масштабування став величезним відкриттям.
На Що Насправді Здатний GPT-3?
Ця наукова робота рясніє результатами, показуючи, як GPT-3 справляється з усім – від базового моделювання мови до складних міркувань і навіть творчого письма. Розглянемо деякі основні моменти:
Моделювання Мови та Завершення Тексту: Основний Хліб
За своєю суттю, GPT-3 – це мовна модель. Вона передбачає наступне слово. Виявляється, якщо ви дуже, дуже добре це вмієте, ви можете робити багато інших речей. GPT-3 досяг найвищих результатів на стандартних бенчмарках моделювання мови, таких як Penn Treebank (PTB), що означає, що він найкраще передбачав текстові послідовності. Він також блискуче впорався із завданнями типу LAMBADA, яке вимагає передбачення останнього слова уривку, демонструючи гарне розуміння довгострокового контексту. Він навіть чудово показав себе на HellaSwag, складному завданні на здоровий глузд, та StoryCloze, що передбачає завершення історії.
Відповіді на Запитання: Як Ходяча Енциклопедія (з нюансами)
Уявіть, що ви ставите ШІ запитання, не потребуючи доналаштування на спеціальному наборі даних для Q&A. GPT-3 зробив саме це на таких наборах даних, як Natural Questions, WebQuestions та TriviaQA. У "закритій книзі" (closed-book), тобто коли модель використовує лише свої попередньо навчені знання, її продуктивність у режимі few-shot була напрочуд близькою до найкращих доналаштованих моделей. Вона навіть досягла найвищого результату на одному з цих наборів даних. Це ніби в її голові величезна бібліотека, і вона швидко знаходить релевантну інформацію на основі вашого запитання та кількох прикладів.
