Summio

PDF

Språkmodeller er få-skudds-lærere

Denne artikkelen introduserer GPT-3, en massiv språkmodell som kan lære nye oppgaver fra bare noen få eksempler, og revolusjonerer måten vi tenker på KI.

17 min lesing

Tilgjengelig på

Forhåndsvisning

GPT-3: AI-en som lærer på direkten (nesten!)

Hei du! Har du hørt om GPT-3? Det er en sinnsykt stor AI-modell fra OpenAI, og den har liksom tatt hele AI-verden med storm. Glem de gamle metodene der du måtte trene AI-modeller i evigheter med massevis av spesifikke data for hver eneste nye ting du ville den skulle lære. GPT-3 handler om å lære mens den jobber, ved å bruke noe de kaller 'few-shot learning'. Tenk deg at du viser en venn bare ett eller to eksempler på et nytt spill, og de skjønner det med en gang. Det er litt den vibben her, bare for en AI! Denne vitenskapelige artikkelen, skrevet av et helt team av smarte folk hos OpenAI (med litt hjelp fra Johns Hopkins University), går dypt inn i hva som gjør GPT-3 så spesiell og hva den faktisk kan gjøre. Den har virkelig satt standarden for hva store språkmodeller kan oppnå.

Den Gamle Skolen vs. Den Nye Stilen: Hvorfor GPT-3 Er en Game Changer

Før GPT-3 var den vanlige metoden for å få AI til å gjøre spesifikke oppgaver, som å oversette språk eller svare på spørsmål, å 'pre-trene' en modell på masse generell tekst, og deretter 'finjustere' den på et mindre, men fortsatt stort, datasett som var spesifikt for oppgaven. Tenk på det som å ta en generell bachelorgrad, og så en spesialisert mastergrad. Det funker, men det har noen store ulemper: 1. Ekstremt datasulten: Du trenger tusenvis, noen ganger hundretusener, av eksempler for den der finjusteringsdelen. Hvis du ikke har så mye data for akkurat din oppgave (kanskje den er supernisje?), er du litt på den tørre siden. 2. Fare for 'overfitting': Noen ganger, når du finjusterer for mye på et smalt datasett, blir AI-en utrolig god på akkurat de dataene, men feiler totalt på litt annerledes eksempler. Det er som å pugge svarene til en prøve uten å faktisk forstå faget! 3. Ikke så menneskelig: Mennesker er fantastiske til å lære nye ting kjapt. Du viser oss et par bilder av et nytt dyr, og vi kan som regel identifisere det senere. Vi trenger ikke se tusenvis av bilder og gå gjennom et strengt treningsprogram! Det er her GPT-3 og konseptet 'in-context learning' kommer inn. Ideen er at hvis en modell er stor nok og trent på nok variert data, kan den utvikle en slags meta-læringsevne. Den lærer hvordan den skal lære. Når den brukes (ved 'inference time'), oppdaterer du ikke vektene eller trener den på nytt. I stedet gir du den bare oppgavebeskrivelsen og kanskje noen få eksempler, alt innenfor selve tekst-prompten. Dette er 'few-shot' (eller 'one-shot' eller 'zero-shot') læringsdelen. Ganske kult, ikke sant?

Møt GPT-3: Giganten med 175 Milliarder Parametere

Så, hva er egentlig GPT-3? Det er en autoregressiv språkmodell, som betyr at den forutsier neste ord i en sekvens basert på alle de forrige ordene. Tenk på det som en superladet autokorrektur. Det som virkelig slår deg, er '175 milliarder parametere'. Det er et svimlende tall! Det betyr at modellen har 175 milliarder justerbare 'knotter' (parametere) som ble finjustert under den massive treningsfasen. Til sammenligning hadde forrige generasjon, GPT-2, rundt 1.5 milliarder parametere. GPT-3 er altså omtrent 100 ganger større! Denne rene skalaen er det som muliggjør 'few-shot learning'-kapabilitetene. Forskerne testet GPT-3 på et vilt spekter av oppgaver, og resultatene var ganske imponerende. Den var ikke bare god; den var ofte konkurransedyktig med, og noen ganger bedre enn, de beste modellene som hadde blitt spesifikt finjustert for de oppgavene. Og den gjorde dette uten noen gradient-oppdateringer, bare ved å se eksemplene du ga i prompten. De så på tre hovedmåter å bruke modellen på: Zero-Shot: Du gir bare modellen en instruksjon, som "Oversett engelsk til fransk: ost => ". Ingen eksempler trengs. One-Shot: Du gir instruksjonen og ett eksempel: "Oversett engelsk til fransk: sjøoter => loutre de mer. ost => ". Few-Shot: Du gir instruksjonen og noen få eksempler (opp til modellens kontekstvindu-grense, som er 2048 tokens for GPT-3): "Oversett engelsk til fransk: sjøoter => loutre de mer. peppermynte => menthe poivrée. ost => ". Og vet du hva? Jo flere eksempler du ga den (opp til et visst punkt), jo bedre ble den! Det var som om modellen sa: "Åh, jeg skjønner! Slik gjøres det!" Denne skaleringsfordelen var et stort funn.

Hva Kan GPT-3 Egentlig Gjøre?

Denne artikkelen er stappfull av resultater, som viser GPT-3 som takler alt fra grunnleggende språkmodellering til kompleks resonnering og til og med kreativ skriving. La oss se på noen av høydepunktene:

Språkmodellering og Tekstkomplettering: Grunnfjellet

I bunn og grunn er GPT-3 en språkmodell. Den forutsier neste ord. Det viser seg at hvis du er skikkelig, skikkelig god til det, kan du gjøre mange andre ting også. GPT-3 oppnådde toppmoderne resultater på standard benchmarks for språkmodellering som Penn Treebank (PTB), noe som betyr at den var best til å forutsi tekstsekvenser. Den klarte også oppgaver som LAMBADA, som krever forutsigelse av det siste ordet i en passasje, noe som viser at den har god kontroll på langtrekkende kontekst. Den gjorde det også bra på HellaSwag, en utfordrende oppgave for sunn fornuft-inferens, og StoryCloze, som handler om å forutsi slutten på en historie.

Spørsmål og Svar: Som et Vandrende Leksikon (med en Vri)

Tenk deg å spørre en AI om spørsmål uten å måtte finjustere den på et spesifikt Q&A-datasett. GPT-3 gjorde nettopp det på datasett som Natural Questions, WebQuestions og TriviaQA. I en 'lukket bok'-setting (som betyr at modellen kun bruker sin forhåndstrente kunnskap), var dens 'few-shot'-ytelse bemerkelsesverdig nær de beste finjusterte modellene. Den nådde til og med toppmoderne på ett av disse datasettene. Det er som om den har et massivt bibliotek i hodet og raskt kan finne relevant informasjon basert på spørsmålet ditt og et par eksempler.