Summio

PDF

Modele językowe uczą się na niewielu przykładach

Niniejszy artykuł przedstawia GPT-3, ogromny model językowy, który potrafi uczyć się nowych zadań na podstawie zaledwie kilku przykładów, rewolucjonizując nasze postrzeganie sztucznej inteligencji.

17 min czytania

Dostępne w językach

Podgląd streszczenia

GPT-3: Sztuczna Inteligencja, Która Uczy Się W Trakcie (No, Prawie!)

Hej! Słyszeliście może o GPT-3? To taki mega potężny model AI od OpenAI, który ostatnio narobił sporo szumu. Zapomnijcie o tych starych metodach trenowania SI, które zajmowały wieki i wymagały tony danych do każdego nowego zadania. GPT-3 działa inaczej – uczy się "w locie", wykorzystując coś, co nazywa się "uczeniem na kilka przykładów" (few-shot learning). Wyobraźcie sobie, że pokazujecie kumplowi jeden czy dwa przykłady nowej gry, a on od razu wszystko łapie. Tak mniej więcej działa to w świecie AI! Ten artykuł, napisany przez ekipę genialnych umysłów z OpenAI (z małą pomocą Uniwersytetu Johnsa Hopkinsa), zagłębia się w to, co sprawia, że GPT-3 działa i co potrafi.

Stary Sposób vs. Nowy Sposób: Dlaczego GPT-3 Jest Taki Ważny?

Zanim pojawił się GPT-3, standardem było "wstępne trenowanie" (pre-training) dużego modelu na masie ogólnych tekstów (w zasadzie całego internetu), a potem "dostrajanie" (fine-tuning) go na mniejszym, ale wciąż sporym zbiorze danych, specyficznym dla danego zadania. Pomyślcie o tym jak o studiach licencjackich ogólnych, a potem magisterskich specjalistycznych. Działało to, ale miało swoje wady: 1. Potrzebuje Gigantycznej Ilości Danych: Do tego dostrajania potrzebujecie tysięcy, a nawet setek tysięcy przykładów dla konkretnego zadania. Jeśli dla Waszego zadania danych jest mało (może to jakaś niszowa sprawa?), to jesteście w kropce. 2. Ryzyko Przeuczenia (Overfitting): Czasem, gdy dostrajacie model zbyt mocno na wąskim zbiorze danych, SI staje się świetna w tych konkretnych danych, ale kompletnie sobie nie radzi z lekko innymi przykładami. To jak uczenie się odpowiedzi na test zamiast faktycznego zrozumienia materiału. 3. Mało Ludzkie Podejście: Ludzie są niesamowici w szybkim uczeniu się nowych rzeczy. Pokazujemy Wam kilka zdjęć nowego zwierzęcia i zazwyczaj potrafimy je potem rozpoznać. Nie potrzebujemy tysięcy zdjęć i intensywnego szkolenia! I tu właśnie wkracza GPT-3 i koncepcja "uczenia w kontekście" (in-context learning). Chodzi o to, że jeśli model jest wystarczająco duży i wytrenowany na wystarczająco zróżnicowanych danych, może rozwinąć w sobie zdolność do meta-uczenia. Uczy się, jak się uczyć. W momencie wykorzystania modelu (inference time), nie aktualizujecie jego wag ani nie trenujecie go od nowa. Po prostu podajecie mu opis zadania i może kilka przykładów, wszystko w treści zapytania (prompt). To właśnie jest ta część "few-shot" (lub "one-shot", czy "zero-shot"). Całkiem sprytne, prawda?

Poznajcie GPT-3: Gigant ze 175 Miliardami Parametrów

Czym właściwie jest GPT-3? To autoregresyjny model językowy, co oznacza, że przewiduje następne słowo w sekwencji na podstawie wszystkich poprzednich słów. Pomyślcie o tym jak o super-autouzupełnianiu. Kluczowe jest to "175 miliardów parametrów". To zawrotna liczba! Oznacza to, że model ma 175 miliardów "pokręteł" (parametrów), które były dostosowywane podczas jego gigantycznego treningu. Dla porównania, poprzednia generacja, GPT-2, miała około 1,5 miliarda parametrów. GPT-3 jest więc około 100 razy większy! To właśnie ta skala umożliwia mu uczenie się na kilka przykładów. Naukowcy przetestowali GPT-3 na mnóstwie zadań, a wyniki były imponujące. Nie tylko był dobry; często konkurował, a czasem nawet przewyższał najlepsze modele, które były specjalnie dostrajane do tych zadań. A robił to bez żadnych aktualizacji gradientów, po prostu analizując przykłady podane w zapytaniu. Rozważali oni trzy główne sposoby wykorzystania modelu: Zero-Shot: Podajecie modelowi tylko instrukcję, np. "Przetłumacz z angielskiego na francuski: ser => ". Nie potrzeba żadnych przykładów. One-Shot: Podajecie instrukcję i jeden przykład: "Przetłumacz z angielskiego na francuski: wydra morska => loutre de mer. ser => ". Few-Shot: Podajecie instrukcję i kilka przykładów (do limitu okna kontekstowego modelu, które dla GPT-3 wynosi 2048 tokenów): "Przetłumacz z angielskiego na francuski: wydra morska => loutre de mer. mięta pieprzowa => menthe poivrée. ser => ". I zgadnijcie co? Im więcej przykładów podawaliście (do pewnego momentu), tym lepiej model sobie radził! To było jakby model mówił: "O, widzę! Tak to się robi!". Ta zależność od skali była ogromnym odkryciem.

Co Tak Naprawdę Potrafi GPT-3?

Artykuł jest pełen wyników, pokazujących, jak GPT-3 radzi sobie ze wszystkim, od podstawowego modelowania języka po złożone rozumowanie, a nawet kreatywne pisanie. Oto kilka najważniejszych punktów:

Modelowanie Języka i Uzupełnianie Tekstu: Podstawa Działania

U podstaw GPT-3 leży model językowy. Przewiduje następne słowo. Okazuje się, że jeśli jesteś w tym naprawdę, naprawdę dobry, możesz robić wiele innych rzeczy. GPT-3 osiągnął najnowocześniejsze wyniki w standardowych benchmarkach modelowania języka, takich jak Penn Treebank (PTB), co oznacza, że był najlepszy w przewidywaniu sekwencji tekstowych. Świetnie poradził sobie również z zadaniami typu LAMBADA, które wymagają przewidzenia ostatniego słowa fragmentu, pokazując dobre zrozumienie kontekstu długoterminowego. Dobrze wypadł też w HellaSwag, trudnym zadaniu wnioskowania zdroworozsądkowego, i StoryCloze, polegającym na przewidzeniu zakończenia historii.

Odpowiadanie na Pytania: Jak Chodząca Encyklopedia (z Haczykiem)

Wyobraźcie sobie zadawanie pytań SI bez potrzeby dostrajania jej na specyficznym zbiorze danych Q&A. GPT-3 właśnie to zrobił na zbiorach danych takich jak Natural Questions, WebQuestions i TriviaQA. W "zamkniętym podręczniku" (closed-book setting), gdzie model korzysta tylko z wiedzy nabytej podczas wstępnego treningu, jego wyniki w trybie few-shot były zaskakująco bliskie najlepszym modelom dostrojonym. Na jednym z tych zbiorów danych osiągnął nawet najnowocześniejszy wynik. To jakby miał w głowie gigantyczną bibliotekę i potrafił szybko znaleźć odpowiednie informacje na podstawie Waszego pytania i kilku przykładów.