Summio

PDF

Model Bahasa adalah Pembelajar Sedikit Contoh

Makalah ini memperkenalkan GPT-3, sebuah model bahasa masif yang mampu mempelajari tugas baru hanya dari beberapa contoh, merevolusi cara kita memandang AI.

17 mnt baca

Tersedia dalam

Pratinjau ringkasan

GPT-3: AI yang Bisa Belajar 'Ngebut' (Yah, Lumayan Lah!)

Bro, pernah denger soal GPT-3? Ini lho, model AI super jumbo dari OpenAI yang lagi bikin heboh banget. Lupakan deh cara lama ngelatih AI yang butuh waktu berbulan-bulan dan data spesifik buat tiap tugas baru. GPT-3 ini konsepnya beda, dia bisa belajar 'langsung di tempat' pake yang namanya 'few-shot learning'. Bayangin aja kamu nunjukkin temenmu cara main game baru cuma pake satu atau dua contoh, eh dia langsung ngerti! Nah, kayak gitu deh vibe-nya, tapi buat AI! Artikel yang ditulis sama tim keren dari OpenAI (dibantu dikit sama Johns Hopkins University) ini ngupas dalem banget soal gimana GPT-3 bisa secanggih itu dan apa aja kemampuannya. Yuk, kita selami bareng!

Cara Lama vs. Cara Baru: Kenapa GPT-3 Itu Penting Banget?

Sebelum ada GPT-3, cara umum biar AI ngerjain tugas spesifik, kayak nerjemahin bahasa atau jawab pertanyaan, itu pake metode 'pre-training' terus 'fine-tuning'. Jadi, modelnya dilatih dulu pake data teks umum yang buanyak banget (ibaratnya seluruh isi internet), baru deh di-fine-tune pake dataset yang lebih kecil tapi tetep spesifik buat tugas yang diinginin. Kayak kamu lulus S1 umum, terus lanjut S2 spesialisasi. Metode ini sih oke aja, tapi ada beberapa kelemahan utama: 1. Boros Data: Kamu butuh ribuan, kadang ratusan ribu contoh buat tahap fine-tuning. Kalau datanya nggak cukup buat tugas spesifikmu (misalnya tugasnya super niche?), yaudah deh, pasrah aja. 2. Risiko 'Overfitting': Kadang, kalau terlalu fokus fine-tuning pake data yang sempit, AI jadi jago banget di data itu doang, tapi jeblok kalau ketemu contoh yang agak beda. Kayak ngapalin jawaban ujian, bukan beneran paham materinya. 3. Nggak Mirip Manusia Banget: Manusia itu hebat banget bisa belajar hal baru cepet. Nunjukin kita beberapa gambar hewan baru, biasanya kita bisa langsung kenalin nanti. Nggak perlu lihat ribuan gambar dan ikut program pelatihan intensif! Nah, di sinilah GPT-3 dan konsep 'in-context learning' masuk. Idenya, kalau modelnya udah gede banget dan dilatih pake data yang macem-macem, dia bisa punya kemampuan 'meta-learning'. Dia belajar cara belajar. Pas lagi dipake (inference time), kamu nggak perlu update bobot atau latih ulang modelnya. Cukup kasih deskripsi tugasnya dan mungkin beberapa contoh, semua itu dalam satu prompt teks. Inilah yang disebut 'few-shot' (atau 'one-shot' atau 'zero-shot') learning. Keren kan?

Kenalan Sama GPT-3: Si Raksasa 175 Miliar Parameter

Jadi, sebenernya GPT-3 itu apa sih? Dia itu model bahasa autoregresif. Simpelnya, dia nebak kata berikutnya dalam sebuah urutan berdasarkan semua kata sebelumnya. Kayak fitur autocomplete super canggih gitu deh. Nah, '175 miliar parameter' ini yang bikin nampol. Angka yang bikin pusing! Artinya, model ini punya 175 miliar 'tombol' yang bisa diatur (parameter) yang disetel pas proses training raksasanya. Bandingin aja sama GPT-2 generasi sebelumnya yang cuma punya sekitar 1.5 miliar parameter. GPT-3 itu kira-kira 100 kali lebih gede! Ukuran masif inilah yang bikin dia bisa punya kemampuan few-shot learning. Para peneliti nyobain GPT-3 di macem-macem tugas, dan hasilnya lumayan bikin melongo. Dia nggak cuma bagus, tapi seringkali bersaing, bahkan lebih baik dari model-model terbaik yang udah di-fine-tune khusus buat tugas itu. Dan dia ngelakuin itu tanpa update gradient sama sekali, cuma ngeliat contoh yang kamu kasih di prompt. Mereka nyobain tiga cara utama pake model ini: Zero-Shot: Kamu cuma kasih instruksi ke model, misalnya, "Terjemahin Bahasa Inggris ke Prancis: keju => ". Nggak perlu contoh. One-Shot: Kamu kasih instruksi plus satu contoh: "Terjemahin Bahasa Inggris ke Prancis: sea otter => loutre de mer. keju => ". Few-Shot: Kamu kasih instruksi plus beberapa contoh (sampai batas konteks model, yaitu 2048 token buat GPT-3): "Terjemahin Bahasa Inggris ke Prancis: sea otter => loutre de mer. peppermint => menthe poivrée. keju => ". Dan tebak? Makin banyak contoh yang kamu kasih (sampai batas tertentu), makin bagus performanya! Kayak modelnya bilang, "Oh, gitu toh! Begini toh caranya!" Peningkatan performa gara-gara nambah contoh ini jadi temuan yang gede banget.

GPT-3 Sebenarnya Bisa Ngapain Aja Sih?

Artikel ini penuh banget sama hasil eksperimen, nunjukkin GPT-3 nyobain segalanya mulai dari model bahasa dasar sampai penalaran kompleks dan bahkan nulis kreatif. Yuk kita bedah beberapa yang paling keren:

Pemodelan Bahasa & Penyelesaian Teks: Basic-nya

Intinya, GPT-3 itu model bahasa. Tugasnya nebak kata berikutnya. Ternyata, kalau kamu jago banget di hal itu, kamu bisa ngelakuin banyak hal lain juga. GPT-3 dapetin hasil state-of-the-art di benchmark model bahasa standar kayak Penn Treebank (PTB), artinya dia paling jago nebak urutan teks. Dia juga jago di tugas kayak LAMBADA, yang butuh nebak kata terakhir dari sebuah bacaan, nunjukkin dia paham konteks jarak jauh. Dia bahkan bagus di HellaSwag, tugas penalaran akal sehat yang susah, dan StoryCloze, yang nyuruh nebak akhir cerita. Keren kan?

Tanya Jawab: Kayak Ensiklopedia Berjalan (Plus Sedikit Kejutan)

Bayangin nanya AI tanpa perlu fine-tune pake dataset Q&A khusus. GPT-3 bisa ngelakuin itu di dataset kayak Natural Questions, WebQuestions, dan TriviaQA. Dalam setting 'closed-book' (artinya model cuma pake pengetahuan dari pre-training-nya), performa few-shot-nya deket banget sama model fine-tuned terbaik. Bahkan dia nyentuh state-of-the-art di salah satu dataset ini. Kayak dia punya perpustakaan raksasa di otaknya dan bisa cepet nyari info relevan berdasarkan pertanyaanmu plus beberapa contoh.