Summio

PDF

Nyelvi modellek kevés példából tanulnak

Ez a tanulmány bemutatja a GPT-3-at, egy hatalmas nyelvi modellt, amely mindössze néhány példából képes új feladatokat megtanulni, forradalmasítva ezzel az AI-ról alkotott képünket.

17 perc olvasás

Elérhető nyelvek

Összefoglaló előnézete

GPT-3: Az AI, ami 'On the Fly' tanul (Mondhatni!)

Sziasztok! Hallottatok már a GPT-3-ról? Ez egy elképesztően hatalmas mesterséges intelligencia modell az OpenAI-tól, és tényleg nagy durranásnak számít. Felejtsétek el azokat a régi, agyonbonyolult AI modelleket, amiknek a tanítása örökké tartott, és minden apró új dologhoz tonnányi specifikus adat kellett. A GPT-3 lényege, hogy képes 'menet közben' tanulni, amit 'few-shot learning'-nek hívnak. Képzelj el egy barátot, akinek csak egy-két példát mutatsz meg egy új játékról, és ő azonnal vágja az egészet. Ez a hangulat, csak épp egy AI-nál! Ez a cikk, amit egy rakás zseniális kutató írt az OpenAI-nál (kis segítséggel a Johns Hopkins Egyetemről), mélyen belemegy abba, mi mozgatja a GPT-3-at, és mire képes.

A Régi Módszer vs. Az Új: Miért Fontos a GPT-3?

A GPT-3 előtt az AI modellek betanításának bevett módszere a 'pre-training' (előzetes tanítás) volt, amit aztán 'fine-tuning' (finomhangolás) követett. Betanítottál egy nagy modellt rengeteg általános szövegen (gyakorlatilag az egész interneten), majd finomhangoltad egy kisebb, de még mindig jelentős méretű, specifikus adathalmazon a kívánt feladatra. Gondolj rá úgy, mint egy általános egyetemi diplomára, majd egy speciális mesterképzésre. Ez működik, de van néhány komoly hátránya: 1. Éhség az Adatokra: Több ezer, néha százezer példára van szükséged a finomhangoláshoz. Ha nincs elég adatod a specifikus feladathoz (talán szuper-niche?), akkor gyakorlatilag lőttek a lehetőségeidnek. 2. Túlilleszkedés Kockázata: Néha, ha túl sokat finomhangolsz egy szűk adathalmazon, az AI nagyon jó lesz azokon a konkrét adatokon, de csapnivalóan teljesít kicsit eltérő példákon. Olyan ez, mint magolni a válaszokat egy dolgozatra, ahelyett, hogy tényleg megértenéd a tantárgyat! 3. Nem Túl Emberi: Az emberek csodálatosak abban, hogy gyorsan tanulnak új dolgokat. Mutatsz nekünk egy-két képet egy új állatról, és általában felismerjük később. Nem kell ehhez több ezer képet látnunk és egy szigorú képzési programon átesnünk! Itt jön képbe a GPT-3 és az 'in-context learning' (kontextuson belüli tanulás) fogalma. Az ötlet az, hogy ha egy modell elég nagy és elég sokféle adaton tanult, akkor képes kifejleszteni egyfajta meta-tanulási képességet. Megtanulja, hogyan kell tanulni. Az 'inference time'-ban (amikor ténylegesen használod a modellt), nem frissíted a súlyait vagy tanítod újra. Ehelyett csak megadod neki a feladat leírását, és esetleg néhány példát, mindezt magában a szöveges promptban. Ez a 'few-shot' (vagy 'one-shot', 'zero-shot') tanulás lényege. Elég menő, nem?

Ismerkedjünk meg a GPT-3-mal: A 175 Milliárd Paraméteres Óriással

Tehát mi is pontosan a GPT-3? Egy autoregresszív nyelvi modell, ami alapvetően azt jelenti, hogy az összes korábbi szó alapján megjósolja a következő szót. Gondolj rá úgy, mint egy szuper-autocompletére. A '175 milliárd paraméter' a lényeg. Ez egy észbontó szám! Azt jelenti, hogy a modellnek 175 milliárd állítható 'gombja' (paramétere) van, amit a hatalmas tanítási fázis során állítottak be. Összehasonlításképpen, az előző generáció, a GPT-2, nagyjából 1.5 milliárd paraméterrel rendelkezett. A GPT-3 nagyjából 100-szor nagyobb! Ez a puszta méret teszi lehetővé a 'few-shot learning' képességeit. A kutatók rengetegféle feladaton tesztelték a GPT-3-at, és az eredmények meglehetősen lenyűgözőek voltak. Nemcsak jó volt; gyakran versenyképes volt, sőt, néha jobb is, mint a legjobb, speciálisan az adott feladatokra finomhangolt modellek. És ezt tette mindenféle gradiens frissítés nélkül, csak a promptban megadott példák alapján. Három fő módszert vizsgáltak a modell használatára: Zero-Shot: Csak megadod a modellnek az utasítást, pl. "Fordíts angolról franciára: cheese => ". Nincs szükség példákra. One-Shot: Megadod az utasítást és egy példát: "Fordíts angolról franciára: sea otter => loutre de mer. cheese => ". Few-Shot: Megadod az utasítást és néhány példát (a modell kontextusablakának limitjéig, ami a GPT-3-nál 2048 token): "Fordíts angolról franciára: sea otter => loutre de mer. peppermint => menthe poivrée. cheese => ". És tudjátok mit? Minél több példát adtál neki (egy bizonyos pontig), annál jobban teljesített! Mintha a modell azt mondta volna: "Ó, értem! Így kell csinálni!" Ez a skálázási előny hatalmas felfedezés volt.

Mire Képes Valójában a GPT-3?

Ez a cikk tele van eredményekkel, bemutatva, ahogy a GPT-3 az alapvető nyelvi modellezéstől a komplexebb érvelésen át a kreatív írásig mindent megold. Nézzünk néhány kiemelést:

Nyelvi Modellezés és Szövegkiegészítés: A Csúcs.

Alapvetően a GPT-3 egy nyelvi modell. Megjósolja a következő szót. Kiderült, hogy ha nagyon-nagyon jó vagy ebben, sok más dolgot is csinálhatsz. A GPT-3 a standard nyelvi modellezési benchmarkokon, mint a Penn Treebank (PTB), a legkorszerűbb eredményeket érte el, ami azt jelenti, hogy a legjobb volt a szövegszekvenciák előrejelzésében. Jeleskedett olyan feladatokon is, mint a LAMBADA, ami egy szövegrész utolsó szavának megjóslását igényli, bizonyítva, hogy jól érti a hosszú távú kontextust. Remekül teljesített a HellaSwag nevű, kihívást jelentő 'commonsense' (józan ész) következtetési feladaton, és a StoryCloze-on is, ami egy történet befejezésének megjóslásával foglalkozik.

Kérdés-Válasz Rendszerek: Mint egy Élő Enciklopédia (Csavarral)

Képzeld el, hogy AI-nak kérdezel anélkül, hogy specifikus Q&A adathalmazokon kellene finomhangolnod. A GPT-3 pontosan ezt tette olyan adathalmazokon, mint a Natural Questions, WebQuestions és TriviaQA. 'Zártkönyv' (closed-book) módban (ami azt jelenti, hogy a modell csak az előzetesen betanult tudását használja), a 'few-shot' teljesítménye figyelemre méltóan megközelítette a legjobb finomhangolt modellekét. Még a legkorszerűbb eredményt is elérte az egyik ilyen adathalmazon. Mintha egy hatalmas könyvtár lenne a fejében, és gyorsan megtalálná a releváns információkat a kérdésed és néhány példa alapján.