Summio

PDF

Språkmodeller är fåskjutsinlärande

Denna uppsats presenterar GPT-3, en massiv språkmodell som kan lära sig nya uppgifter från bara några få exempel, vilket revolutionerar hur vi tänker på AI.

17 min läsning

Tillgänglig på

Förhandsvisning

GPT-3: AI som lär sig på stubinen (typ!) – En Djupdykning

Hej där! Har du hört talas om GPT-3? Det är en sån där supermassiv AI-modell från OpenAI som verkligen har fått folk att prata. Glöm de där gamla metoderna för att träna AI som tog evigheter och krävde massor av specifik data för varje ny grej du ville att den skulle lära sig. GPT-3 handlar om att lära sig allt eftersom, med något de kallar 'few-shot learning'. Tänk dig att visa en kompis ett par exempel på ett nytt spel, och de fattar direkt. Ungefär så är känslan här, fast för en AI! Den här artikeln, skriven av ett gäng smarta hjärnor på OpenAI (med lite hjälp från Johns Hopkins University), går på djupet med vad som gör GPT-3 så speciell och vad den faktiskt kan göra. Det här är inte bara snack, det är en hel revolution inom AI-världen!

Det gamla sättet kontra det nya: Varför GPT-3 spelar roll

Innan GPT-3 var standardmetoden för att få AI att utföra specifika uppgifter, som att översätta språk eller svara på frågor, att först 'förträna' en modell på en enorm mängd generell text (typ hela internet!) och sedan 'finjustera' den på en mindre, men fortfarande stor, datamängd specifik för uppgiften. Tänk dig att gå en generell universitetsutbildning och sedan en specialiserad master. Det funkar, men det har några stora nackdelar: 1. Datatörstig: Du behöver tusentals, ibland hundratusentals, exempel för finjusteringssteget. Om du inte har så mycket data för din specifika uppgift (kanske är den supernischad?), ja, då har du lite otur. 2. Risk för överanpassning: Ibland, när man finjusterar för mycket på en smal datamängd, blir AI:n grymt bra på exakt den där datan men misslyckas totalt med lite annorlunda exempel. Det är som att plugga in svar till ett prov istället för att faktiskt förstå ämnet. 3. Inte så mänskligt: Människor är fantastiska på att lära sig nya saker snabbt. Vi ser ett par bilder på ett nytt djur och kan oftast identifiera det senare. Vi behöver inte se tusentals bilder och gå igenom en rigorös träningsplan! Det är här GPT-3 och konceptet 'in-context learning' kommer in. Tanken är att om en modell är tillräckligt stor och tränad på tillräckligt diversifierad data, kan den utveckla en sorts meta-inlärningsförmåga. Den lär sig hur man lär sig. Vid 'inference time' (när du faktiskt använder modellen) uppdaterar du inte dess vikter eller tränar om den. Istället ger du den bara uppgiftsbeskrivningen och kanske några få exempel, allt inom själva textprompten. Det här är 'few-shot'-delen (eller 'one-shot' eller 'zero-shot'). Ganska smart, eller hur?

Möt GPT-3: Den 175 miljarders parameterjätten

Så, vad är då GPT-3? Det är en autoregressiv språkmodell, vilket i grunden betyder att den förutsäger nästa ord i en sekvens baserat på alla tidigare ord. Tänk dig en super-autocomplete. '175 miljarder parametrar' är det som sticker ut. Det är ett svindlande antal! Det betyder att modellen har 175 miljarder justerbara rattar (parametrar) som finjusterades under dess massiva träningsfas. Som jämförelse hade föregående generation, GPT-2, runt 1,5 miljarder parametrar. GPT-3 är alltså ungefär 100 gånger större! Denna enorma skala är det som möjliggör dess 'few-shot learning'-förmågor. Forskarna testade GPT-3 på en vild uppsättning uppgifter, och resultaten var ganska imponerande. Den var inte bara bra; den var ofta konkurrenskraftig med, och ibland bättre än, de bästa modellerna som specifikt hade finjusterats för dessa uppgifter. Och den gjorde detta utan några gradientuppdateringar, bara genom att titta på exemplen du gav i prompten. De tittade på tre huvudsakliga sätt att använda modellen: Zero-Shot: Du ger bara modellen en instruktion, som 'Översätt engelska till franska: ost => '. Inga exempel behövs. One-Shot: Du ger instruktionen och ett exempel: 'Översätt engelska till franska: sjöutter => loutre de mer. ost => '. Few-Shot: Du ger instruktionen och några få exempel (upp till modellens kontextfönstergräns, som är 2048 tokens för GPT-3): 'Översätt engelska till franska: sjöutter => loutre de mer. pepparmynta => menthe poivrée. ost => '. Och gissa vad? Ju fler exempel du gav den (upp till en viss gräns), desto bättre presterade den! Det var som att modellen sa: 'Aha, jag fattar! Så här gör man!' Denna skalningsfördel var ett stort fynd.

Vad kan GPT-3 faktiskt göra?

Artikeln är full av resultat som visar GPT-3 tackla allt från grundläggande språkmodellering till komplexa resonemang och till och med kreativt skrivande. Låt oss bryta ner några av höjdpunkterna:

Språkmodellering och textkomplettering: Grunden

I grunden är GPT-3 en språkmodell. Den förutsäger nästa ord. Det visar sig att om du är riktigt, riktigt bra på det, kan du göra mycket annat också. GPT-3 uppnådde toppmoderna resultat på standard benchmarks för språkmodellering som Penn Treebank (PTB), vilket betyder att den var bäst på att förutsäga textsekvenser. Den klarade även uppgifter som LAMBADA, som kräver att man förutsäger det sista ordet i ett stycke, vilket visar att den har en bra förståelse för långa kontexter. Den presterade till och med bra på HellaSwag, en utmanande uppgift för sunt förnuft-resonemang, och StoryCloze, som handlar om att förutsäga slutet på en berättelse.

Frågesvar: Som ett vandrande uppslagsverk (med en twist)

Föreställ dig att ställa frågor till en AI utan att behöva finjustera den på en specifik Q&A-dataset. GPT-3 gjorde just det på dataset som Natural Questions, WebQuestions och TriviaQA. I en 'closed-book'-miljö (där modellen bara använder sin förtränade kunskap) var dess 'few-shot'-prestanda anmärkningsvärt nära de bästa finjusterade modellerna. Den nådde till och med toppmodern prestanda på ett av dessa dataset. Det är som att den har ett enormt bibliotek i huvudet och snabbt kan hitta relevant information baserat på din fråga och ett par exempel.