Tiivistelmän esikatselu
GPT-3: Tekoäly, joka oppii lennosta (noin!) – Kattava Suomennos
Morjesta! Oletko kuullut GPT-3:sta? Se on sellainen supermassiivinen tekoälymalli OpenAI:lta, ja se on aika iso juttu. Unohda ne vanhat tavat kouluttaa tekoälymalleja, jotka veivät ikuisuuden ja vaativat hirveästi spesifiä dataa joka ikiseen uuteen juttuun, mitä niiltä halusi. GPT-3 keskittyy oppimiseen lennosta, käyttäen jotain, mitä kutsutaan 'few-shot learningiksi'. Kuvittele, että näytät kaverille vain yhden tai kaksi esimerkkiä uudesta pelistä, ja hän tajuaa sen heti. Tällainen fiilis tässä on, mutta tekoälylle! Tämä paperi, jonka on kirjoittanut kokonainen joukko loistavia tyyppejä OpenAI:lla (pienellä avustuksella Johns Hopkins Universitystä), sukeltaa syvälle siihen, mikä tekee GPT-3:sta GPT-3:n ja mitä kaikkea se pystyy tekemään.
Vanha tapa vs. Uusi tapa: Miksi GPT-3 on niin tärkeä?
Ennen GPT-3:a yleisin tapa saada tekoäly tekemään tiettyjä tehtäviä, kuten kääntämään kieliä tai vastaamaan kysymyksiin, oli 'esikoulutus' ja sen jälkeen 'hienosäätö'. Koulutit ison mallin valtavalla määrällä yleistä tekstiä (kuten periaatteessa koko internetin), ja sitten hienosääsit sen pienemmällä, mutta silti melko isolla, datasettiä varten juuri sitä tehtävää varten, mitä halusit. Ajattele sitä kuin yleisen tutkinnon suorittamista yliopistossa ja sen jälkeen erikoistunutta maisteriohjelmaa. Tämä toimii, mutta siinä on muutama iso miinuspuoli: 1. Datannälkäinen: Tarvitset tuhansia, joskus satoja tuhansia, esimerkkejä siihen hienosäätövaiheeseen. Jos sinulla ei ole tarpeeksi dataa tiettyyn tehtävään (ehkä se on tosi niche?), olet aika pulassa. 2. Ylisovittumisen riski: Joskus liian kapeaan dataan hienosäädettynä tekoäly oppii todella hyvin juuri sen datan, mutta epäonnistuu surkeasti hieman erilaisissa esimerkeissä. Se on kuin ulkoa opettelisi vastaukset kokeeseen ymmärtämättä ainetta. 3. Ei kovin ihmismäinen: Ihmiset ovat uskomattomia uusien asioiden nopeassa oppimisessa. Näytät meille muutaman kuvan uudesta eläimestä, ja yleensä osaamme tunnistaa sen myöhemmin. Emme tarvitse tuhansia kuvia ja tiukkaa koulutusohjelmaa! Tässä kohtaa astuvat kuvaan GPT-3 ja 'in-context learning' eli kontekstissa oppimisen konsepti. Ajatuksena on, että jos malli on riittävän iso ja koulutettu tarpeeksi monipuolisella datalla, se voi kehittää eräänlaisen metaoppimiskyvyn. Se oppii oppimaan. Käyttöhetkellä (kun mallia todella käytät) et päivitä sen painokertoimia tai kouluta sitä uudelleen. Sen sijaan annat sille vain tehtävän kuvauksen ja ehkä muutaman esimerkin, kaikki tekstikehotteen sisällä. Tämä on se 'few-shot' (tai 'one-shot' tai 'zero-shot') oppimisosuus. Aika siistiä, eikö?
Tutustutaan GPT-3:een: 175 miljardin parametrin jättiläinen
Mitä tarkalleen ottaen on GPT-3? Se on autoregressiivinen kielimalli, mikä pohjimmiltaan tarkoittaa, että se ennustaa seuraavaa sanaa sekvenssissä kaikkien edellisten sanojen perusteella. Ajattele sitä kuin supertehoista automaattista täydennystä. '175 miljardia parametria' on se juju. Se on huimaava luku! Se tarkoittaa, että mallilla on 175 miljardia säädettävää nuppia (parametreja), joita säädettiin sen massiivisen koulutusvaiheen aikana. Vertailun vuoksi, edellinen sukupolvi, GPT-2, sisälsi noin 1,5 miljardia parametria. GPT-3 on noin 100 kertaa isompi! Tämä valtava mittakaava mahdollistaa sen few-shot -oppimiskyvyn. Tutkijat testasivat GPT-3:a laajalla tehtäväkirjolla, ja tulokset olivat melko vaikuttavia. Se ei ollut vain hyvä; se oli usein kilpailukykyinen, ja joskus jopa parempi, kuin parhaat mallit, jotka oli erikseen hienosäädetty niitä tehtäviä varten. Ja se teki tämän ilman mitään gradienttipäivityksiä, vain katsomalla antamiasi esimerkkejä promptissa. He tarkastelivat kolmea pääasiallista tapaa käyttää mallia: Zero-Shot: Annat mallille vain ohjeen, kuten "Käännä englanti ranskaksi: cheese => ". Ei esimerkkejä tarvita. One-Shot: Annat ohjeen ja yhden esimerkin: "Käännä englanti ranskaksi: sea otter => loutre de mer. cheese => ". Few-Shot: Annat ohjeen ja muutaman esimerkin (mallin konteksti-ikkunan rajoihin asti, joka on 2048 tokenia GPT-3:lle): "Käännä englanti ranskaksi: sea otter => loutre de mer. peppermint => menthe poivrée. cheese => ". Ja arvaa mitä? Mitä enemmän esimerkkejä annoit (tiettyyn pisteeseen asti), sitä paremmin se suoriutui! Oli kuin malli olisi sanonut: "Ai, näin se homma toimii!" Tämä skaalaushyöty oli valtava löytö.
Mitä GPT-3 oikeasti osaa tehdä?
Tämä paperi on täynnä tuloksia, näyttäen GPT-3:n ratkovan kaikkea peruskielimallinnuksesta monimutkaiseen päättelyyn ja jopa luovaan kirjoittamiseen. Käydään läpi joitakin kohokohtia:
Kielimallinnus & Tekstin täydennys: Perusjutut
Pohjimmiltaan GPT-3 on kielimalli. Se ennustaa seuraavan sanan. Käy ilmi, että jos olet todella, todella hyvä siinä, voit tehdä paljon muutakin. GPT-3 saavutti huipputuloksia standardeissa kielimallinnuksen vertailukohdissa, kuten Penn Treebank (PTB), mikä tarkoittaa, että se oli paras ennustamaan tekstisekvenssejä. Se myös läpäisi tehtäviä kuten LAMBADA, joka vaatii tekstin viimeisen sanan ennustamista, osoittaen hyvän otteen pitkän aikavälin kontekstista. Se pärjäsi myös hyvin HellaSwagissa, haastavassa maalaisjärkeen perustuvassa päättelytehtävässä, ja StoryClozessa, joka liittyy tarinan lopetuksen ennustamiseen.
Kysymyksiin vastaaminen: Kuin kävelevä tietosanakirja (kierteellä)
Kuvittele kysyväsi tekoälyltä kysymyksiä ilman tarvetta hienosäätää sitä tietylle Q&A-datasettille. GPT-3 teki juuri niin dataseteillä kuten Natural Questions, WebQuestions ja TriviaQA. 'Suljetun kirjan' tilanteessa (jolloin malli käyttää vain esikoulutettua tietoaan) sen few-shot -suorituskyky oli huomattavan lähellä parhaita hienosäädettyjä malleja. Se jopa saavutti huipputuloksen yhdellä näistä dataseteistä. Se on kuin sillä olisi valtava kirjasto päässään ja se voisi nopeasti löytää relevanttia tietoa kysymyksesi ja parin esimerkin perusteella.
