Summio

PDF

Jazykové modely jsou učící se s několika příklady

Tento článek představuje GPT-3, masivní jazykový model, který se dokáže naučit nové úkoly z pouhých několika příkladů, čímž revolučně mění naše chápání umělé inteligence.

17 min čtení

Dostupné v jazycích

Náhled shrnutí

GPT-3: Umělá inteligence, která se učí za pochodu (no, skoro!)

Ahoj! Slyšeli jste o GPT-3? Je to takový ten supermasivní model umělé inteligence od OpenAI, a musím říct, že je to docela velká věc. Zapomeňte na ty staré způsoby trénování AI modelů, které trvaly věčnost a vyžadovaly tuny specifických dat pro každou novou věc, kterou jste je chtěli naučit. GPT-3 je celý o učení za běhu, s něčím, čemu říkají 'few-shot learning' (učení z pár příkladů). Představte si, že ukážete kamarádovi jen jeden nebo dva příklady nové hry a on to hnedka pochopí. Přesně taková ta atmosféra, ale pro AI! Tato studie, kterou sepsala parta brilantních lidí z OpenAI (s malou pomocí z Johns Hopkins University), se ponořila hluboko do toho, co GPT-3 pohání a co všechno dokáže. Pojďme se na to podívat!

Starý způsob vs. Nový způsob: Proč je GPT-3 tak důležitý?

Než přišel GPT-3, běžná metoda, jak přimět AI dělat specifické úkoly, jako je překlad jazyků nebo odpovídání na otázky, byla 'předtrénování' následované 'fine-tuningem' (doladěním). Nejdřív jste natrénovali velký model na obrovském množství obecného textu (v podstatě celý internet) a pak jste ho doladili na menší, ale stále dost velké sadě dat specifické pro úkol, který jste chtěli. Představte si to jako absolvování vysoké školy s obecným titulem a pak magisterský program se specializací. Funguje to, ale má to pár zásadních nevýhod: 1. Žravost dat: Potřebujete tisíce, někdy i statisíce příkladů pro tu část doladění. Pokud nemáte tolik dat pro váš specifický úkol (třeba je to super niche?), máte smůlu. 2. Riziko přeučení (overfitting): Někdy, když příliš doladíte na úzké sadě dat, AI se stane fakt dobrou v přesně těchto datech, ale naprosto selže u mírně odlišných příkladů. Je to jako memorovat si odpovědi na test, místo abyste skutečně pochopili předmět. 3. Ne moc lidské: Lidé jsou úžasní v rychlém učení se nových věcí. Ukážete nám pár obrázků nového zvířete a obvykle ho později dokážeme identifikovat. Nepotřebujeme vidět tisíce obrázků a projít rigorózním tréninkovým programem! Tady přichází na řadu GPT-3 a koncept 'učení v kontextu' (in-context learning). Myšlenka je, že pokud je model dostatečně velký a natrénovaný na dostatečně rozmanitých datech, může si vyvinout jakousi schopnost meta-učení. Učí se jak se učit. V době inference (když model skutečně používáte), neaktualizujete jeho váhy ani ho znovu netrénujete. Místo toho mu prostě dáte popis úkolu a možná pár příkladů, všechno přímo v textovém zadání. To je ta část 'few-shot' (nebo 'one-shot' nebo 'zero-shot'). Docela šikovné, co?

Seznamte se s GPT-3: Gigant se 175 miliardami parametrů

Tak co přesně je GPT-3? Je to autoregresivní jazykový model, což v podstatě znamená, že předpovídá další slovo v sekvenci na základě všech předchozích slov. Představte si to jako super nabitý automatický doplněk textu. Ta část '175 miliard parametrů' je klíčová. To je ohromující číslo! Znamená to, že model má 175 miliard nastavitelných „knoflíků“ (parametrů), které byly vyladěny během jeho masivní fáze tréninku. Pro srovnání, předchozí generace, GPT-2, měla kolem 1,5 miliardy parametrů. GPT-3 je zhruba 100krát větší! Právě tato obrovská velikost umožňuje jeho schopnost učení z pár příkladů. Výzkumníci testovali GPT-3 na široké škále úkolů a výsledky byly docela působivé. Nebyl jen dobrý; často konkuroval, a někdy dokonce překonával, nejlepší modely, které byly specificky doladěny pro tyto úkoly. A to vše udělal bez jakýchkoli gradientních aktualizací, jen tím, že se podíval na příklady, které jste mu poskytli v zadání. Podívali se na tři hlavní způsoby použití modelu: Zero-Shot (Nultý výstřel): Prostě dáte modelu instrukci, třeba „Přelož anglicky do francouzštiny: cheese => “. Nepotřebujete žádné příklady. One-Shot (Jeden výstřel): Dáte instrukci a jeden příklad: „Přelož anglicky do francouzštiny: sea otter => loutre de mer. cheese => ". Few-Shot (Pár výstřelů): Dáte instrukci a pár příkladů (až do limitu kontextového okna modelu, což je pro GPT-3 2048 tokenů): „Přelož anglicky do francouzštiny: sea otter => loutre de mer. peppermint => menthe poivrée. cheese => ". A hádejte co? Čím víc příkladů jste mu dali (až do určité míry), tím lépe fungoval! Bylo to, jako by model říkal: „Aha, chápu! Takhle se to dělá!“ Tento přínos škálování byl obrovským zjištěním.

Co vlastně GPT-3 umí?

Práce je plná výsledků, ukazujících GPT-3, jak se vypořádává se vším od základního jazykového modelování po složité uvažování a dokonce i kreativní psaní. Pojďme si rozebrat některé hlavní body:

Jazykové modelování a doplňování textu: Základ všeho

Ve své podstatě je GPT-3 jazykový model. Předpovídá další slovo. Ukázalo se, že pokud jste v tom opravdu, opravdu dobří, můžete dělat spoustu dalších věcí. GPT-3 dosáhl špičkových výsledků na standardních metrikách jazykového modelování jako Penn Treebank (PTB), což znamená, že byl nejlepší v předpovídání textových sekvencí. Také exceloval v úkolech jako LAMBADA, které vyžadují předpovědět poslední slovo pasáže, což ukazuje, že má dobrý cit pro dlouhodobý kontext. Skvěle si vedl i na HellaSwag, náročném úkolu pro inferenci zdravého rozumu, a StoryCloze, který spočívá v předpovědi konce příběhu.

Odpovídání na otázky: Jako chodící encyklopedie (s háčkem)

Představte si, že se ptáte AI na otázky, aniž byste ji museli doladit na specifickou datovou sadu otázek a odpovědí. GPT-3 to zvládl na datových sadách jako Natural Questions, WebQuestions a TriviaQA. V nastavení 'uzavřené knihy' (což znamená, že model používá pouze své předtrénované znalosti) byl jeho výkon s pár příklady pozoruhodně blízko nejlepším doladěným modelům. Dokonce dosáhl špičkového výkonu na jedné z těchto datových sad. Je to, jako by měl v hlavě obrovskou knihovnu a dokázal rychle najít relevantní informace na základě vaší otázky a pár příkladů.