Forhåndsvisning
GPT-3: AI'en der lærer på et øjeblik (Næsten!)
Hey ven! Har du hørt om GPT-3? Det er sådan en kæmpestor AI-model fra OpenAI, og den er faktisk ret vild. Glem alt om de gamle metoder til at træne AI, hvor det tog evigheder og krævede tonsvis af specifikke data for hver ny ting, du ville have den til at gøre. GPT-3 handler om at lære mens den arbejder, ved hjælp af noget, de kalder 'few-shot learning'. Forestil dig, at du viser en ven et par eksempler på et nyt spil, og de fatter det med det samme. Det er lidt den vibe, bare for en AI! Denne artikel, skrevet af en flok superdygtige folk hos OpenAI (med lidt hjælp fra Johns Hopkins University), dykker ned i, hvad der gør GPT-3 så speciel, og hvad den kan. Det er en vild rejse ind i fremtidens kunstige intelligens.
Den Gamle Stil vs. Den Nye Stil: Hvorfor GPT-3 Er Så Vigtig
Før GPT-3 var den gængse metode til at få AI til at udføre specifikke opgaver, som at oversætte sprog eller besvare spørgsmål, en to-trins proces: 'pre-training' (for-træning) efterfulgt af 'fine-tuning' (finjustering). Du trænede en stor model på en enorm mængde generel tekst (tænk på hele internettet, basically), og derefter finjusterede du den på et mindre, men stadig ret stort, datasæt specifikt til den opgave, du ønskede. Det er lidt som at tage en generel universitetsuddannelse og derefter en specialiseret kandidatuddannelse. Det virker, men det har et par store ulemper: 1. Datahungrende: Du har brug for tusindvis, nogle gange hundredtusindvis, af eksempler til finjusteringsdelen. Hvis du ikke har så meget data til din specifikke opgave (måske er den super niche?), så er du ret meget på den. 2. Risiko for 'Overfitting': Nogle gange, når du finjusterer for meget på et snævert datasæt, bliver AI'en rigtig god til præcis de data, men fejler totalt på lidt anderledes eksempler. Det er som at udenadslære svar til en prøve i stedet for rent faktisk at forstå faget. 3. Ikke særlig menneskeligt: Mennesker er fantastiske til at lære nye ting hurtigt. Du viser os et par billeder af et nyt dyr, og vi kan som regel identificere det senere. Vi behøver ikke se tusindvis af billeder og gennemgå et intensivt træningsprogram! Det er her, GPT-3 og konceptet om 'in-context learning' kommer ind i billedet. Ideen er, at hvis en model er stor nok og trænet på nok forskelligartet data, kan den udvikle en slags meta-læringsevne. Den lærer hvordan den skal lære. Når den bliver brugt ('inference time'), opdaterer du ikke dens vægte eller gen-træner den. I stedet giver du den bare opgavebeskrivelsen og måske et par eksempler, alt sammen inden for selve tekst-prompten. Det er 'few-shot' (eller 'one-shot' eller 'zero-shot') læringsdelen. Ret smart, ikke?
Mød GPT-3: Kæmpen med 175 Milliarder Parametre
Så hvad er GPT-3 præcist? Det er en autoregressiv sprogmodel, hvilket basalt betyder, at den forudsiger det næste ord i en sekvens baseret på alle de foregående ord. Tænk på det som en super-drevet autokomplettering. '175 milliarder parametre'-delen er afgørende. Det er et svimlende tal! Det betyder, at modellen har 175 milliarder justerbare knapper (parametre), der blev finjusteret under dens massive træningsfase. Til sammenligning havde den forrige generation, GPT-2, omkring 1,5 milliarder parametre. GPT-3 er cirka 100 gange større! Denne rene skala er det, der muliggør dens 'few-shot learning'-kapaciteter. Forskerne testede GPT-3 på en vild række af opgaver, og resultaterne var ret imponerende. Den var ikke bare god; den var ofte konkurrencedygtig med, og nogle gange endda bedre end, de bedste modeller, der specifikt var blevet finjusteret til disse opgaver. Og den gjorde det uden nogen gradientopdateringer, bare ved at se på de eksempler, du gav i prompten. De kiggede på tre hovedmåder at bruge modellen på: Zero-Shot: Du giver bare modellen en instruktion, f.eks. "Oversæt engelsk til fransk: ost => ". Ingen eksempler nødvendige. One-Shot: Du giver instruktionen og ét eksempel: "Oversæt engelsk til fransk: søløve => loutre de mer. ost => ". Few-Shot: Du giver instruktionen og et par eksempler (op til modellens kontekstvinduesgrænse, som er 2048 tokens for GPT-3): "Oversæt engelsk til fransk: søløve => loutre de mer. pebermynte => menthe poivrée. ost => ". Og gæt hvad? Jo flere eksempler du gav den (op til et vist punkt), jo bedre klarede den sig! Det var som om modellen sagde: "Åh, jeg forstår! Det er sådan, man gør!" Denne skaleringsfordel var et kæmpe fund.
Hvad Kan GPT-3 Faktisk Gøre?
Denne artikel er fyldt med resultater, der viser GPT-3 tackle alt fra grundlæggende sprogmodellering til kompleks ræsonnement og endda kreativ skrivning. Lad os bryde nogle af højdepunkterne ned:
Sprogmodellering & Tekstkomplettering: Grundlaget
I sin kerne er GPT-3 en sprogmodel. Den forudsiger det næste ord. Det viser sig, at hvis du er rigtig, rigtig god til det, kan du også gøre en masse andre ting. GPT-3 opnåede state-of-the-art resultater på standard sprogmodelleringsbenchmarks som Penn Treebank (PTB), hvilket betyder, at den var bedst til at forudsige tekstsekvenser. Den klarede sig også flot på opgaver som LAMBADA, der kræver forudsigelse af det sidste ord i et afsnit, hvilket viser, at den har en god forståelse af langtrækkende kontekst. Den klarede sig endda godt på HellaSwag, en udfordrende opgave inden for sund fornuft-ræsonnement, og StoryCloze, der handler om at forudsige slutningen på en historie.
Spørgsmål & Svar: Som et Vandrende Encyklopædi (med et Twist)
Forestil dig at stille en AI spørgsmål uden at skulle finjustere den på et specifikt Q&A-datasæt. GPT-3 gjorde netop det på datasæt som Natural Questions, WebQuestions og TriviaQA. I en 'closed-book'-situation (hvor modellen kun bruger sin for-trænede viden) var dens 'few-shot'-præstation bemærkelsesværdigt tæt på de bedste finjusterede modeller. Den ramte endda state-of-the-art på et af disse datasæt. Det er som om, den har et kæmpe bibliotek i hovedet og hurtigt kan finde relevant information baseret på dit spørgsmål og et par eksempler.
