Summio

PDF

Taalmodellen zijn Few-Shot Learners

Dit artikel introduceert GPT-3, een enorm taalmodel dat nieuwe taken kan leren met slechts een paar voorbeelden, wat een revolutie teweegbrengt in hoe we denken over AI.

17 min leestijd

Beschikbaar in

Voorbeeld van de samenvatting

GPT-3: De AI die Leren op de Vlieg Meester is (Nou Ja, Bijna!)

Hey daar! Heb je al gehoord van GPT-3? Dat is zo'n gigantisch AI-model van OpenAI, en het is echt een gamechanger. Vergeet die ouderwetse manieren om AI te trainen, die eeuwen duurden en stapels specifieke data nodig hadden voor elk nieuw ding dat je 'm wilde leren. GPT-3 draait om leren terwijl het bezig is, met iets dat ze 'few-shot learning' noemen. Stel je voor dat je een vriend maar één of twee voorbeelden geeft van een nieuw spel, en hij snapt het meteen. Dat is een beetje de vibe hier, maar dan voor een AI! Dit paper, geschreven door een stel slimme koppen bij OpenAI (met een beetje hulp van Johns Hopkins University), duikt diep in wat GPT-3 zo speciaal maakt en wat het allemaal kan. Het is een fascinerende kijk in de keuken van hoe deze technologie werkt en wat de implicaties zijn.

De Oude Manier vs. De Nieuwe Manier: Waarom GPT-3 Ertoe Doet

Voordat GPT-3 kwam, was de standaard aanpak om AI specifieke taken te laten uitvoeren, zoals talen vertalen of vragen beantwoorden, een combinatie van 'pre-training' en 'fine-tuning'. Je trainde eerst een groot model op een enorme hoeveelheid algemene tekst (eigenlijk het hele internet, zeg maar), en dan 'fine-tuned' je het op een kleinere, maar nog steeds flinke dataset die specifiek voor de taak was. Zie het als een algemene universitaire studie volgen, en daarna een gespecialiseerde master doen. Dit werkte prima, maar had een paar grote nadelen: 1. Hongerig naar Data: Je hebt duizenden, soms honderdduizenden, voorbeelden nodig voor dat fine-tuning gedeelte. Als je niet genoeg data hebt voor jouw specifieke taak (misschien is het heel niche?), dan sta je mooi met lege handen. 2. Risico op Overfitting: Soms, als je te veel fine-tuned op een beperkte dataset, wordt de AI supergoed in precies die data, maar faalt het jammerlijk op licht afwijkende voorbeelden. Het is net als antwoorden stampen voor een toets zonder het onderwerp echt te snappen. 3. Niet Erg Menselijk: Mensen zijn fantastisch in het snel leren van nieuwe dingen. Je laat ons een paar plaatjes zien van een nieuw dier, en we kunnen het later meestal wel herkennen. We hebben geen duizenden plaatjes nodig en een rigoureus trainingsprogramma! Dit is waar GPT-3 en het concept van 'in-context learning' om de hoek komen kijken. Het idee is dat als een model groot genoeg is en op genoeg diverse data getraind is, het een soort meta-leerend vermogen ontwikkelt. Het leert hoe het moet leren. Op het moment dat je het gebruikt ('inference time'), update je de gewichten niet of train je het niet opnieuw. In plaats daarvan geef je het gewoon de taakomschrijving en misschien een paar voorbeelden, allemaal binnen de tekstuele 'prompt' zelf. Dit is het 'few-shot' (of 'one-shot' of 'zero-shot') leergedeelte. Best slim, toch?

Maak Kennis met GPT-3: Het Reuzenmonster van 175 Miljard Parameters

Dus, wat is GPT-3 precies? Het is een autoregressief taalmodel, wat in feite betekent dat het het volgende woord in een reeks voorspelt op basis van alle voorgaande woorden. Zie het als een super-auto-aanvulling. Het '175 miljard parameters' gedeelte is de clou. Dat is een duizelingwekkend aantal! Het betekent dat het model 175 miljard 'knopjes' (parameters) heeft die tijdens de massale trainingsfase zijn afgesteld. Ter vergelijking: de vorige generatie, GPT-2, had ongeveer 1,5 miljard parameters. GPT-3 is dus ruwweg 100 keer groter! Deze pure schaal is wat zijn few-shot leervermogen mogelijk maakt. De onderzoekers testten GPT-3 op een waanzinnige reeks taken, en de resultaten waren behoorlijk indrukwekkend. Het was niet zomaar goed; het was vaak competitief met, en soms zelfs beter dan, de beste modellen die specifiek voor die taken waren gefinetuned. En dat deed het zonder enige aanpassing van de gewichten, puur door te kijken naar de voorbeelden die je in de prompt gaf. Ze keken naar drie hoofdmanieren om het model te gebruiken: Zero-Shot: Je geeft het model alleen een instructie, zoals "Vertaal Engels naar Frans: kaas => ". Geen voorbeelden nodig. One-Shot: Je geeft de instructie en één voorbeeld: "Vertaal Engels naar Frans: zeeotter => loutre de mer. kaas => ". Few-Shot: Je geeft de instructie en een paar voorbeelden (tot de context window limiet van het model, wat 2048 tokens is voor GPT-3): "Vertaal Engels naar Frans: zeeotter => loutre de mer. pepermun => menthe poivrée. kaas => ". En raad eens? Hoe meer voorbeelden je gaf (tot op zekere hoogte), hoe beter het presteerde! Het was alsof het model zei: "Oh, ik snap het! Zo moet het dus!" Dit schaalvoordeel was een enorme ontdekking.

Wat Kan GPT-3 Nu Echt?

Dit paper staat vol met resultaten, waarbij GPT-3 alles aanpakt, van basale taalmodellering tot complexe redeneringen en zelfs creatief schrijven. Laten we enkele hoogtepunten bekijken:

Taalmodellering & Tekstaanvulling: De Basis

In de kern is GPT-3 een taalmodel. Het voorspelt het volgende woord. Het blijkt dat als je daar heel, heel goed in bent, je ook veel andere dingen kunt doen. GPT-3 behaalde state-of-the-art resultaten op standaard taalmodelleringsbenchmarks zoals Penn Treebank (PTB), wat betekent dat het het beste was in het voorspellen van tekstreeksen. Het scoorde ook top op taken zoals LAMBADA, die vereist dat het laatste woord van een passage wordt voorspeld, wat aantoont dat het een goed begrip heeft van context over lange afstanden. Het deed het zelfs geweldig op HellaSwag, een uitdagende commonsense inferentaak, en StoryCloze, dat gaat over het voorspellen van het einde van een verhaal.

Vraag & Antwoord: Als een Wandelende Encyclopedie (met een Twist)

Stel je voor dat je een AI vragen stelt zonder dat je het op een specifieke Q&A-dataset hoeft te fine-tunen. Dat is precies wat GPT-3 deed op datasets zoals Natural Questions, WebQuestions en TriviaQA. In een 'closed-book' setting (wat betekent dat het model alleen zijn vooraf getrainde kennis gebruikt), kwam de few-shot prestatie verrassend dicht in de buurt van de beste gefinetunede modellen. Het bereikte zelfs state-of-the-art op een van deze datasets. Het is alsof het een gigantische bibliotheek in zijn hoofd heeft en snel relevante informatie kan vinden op basis van je vraag en een paar voorbeelden.