Pratonton ringkasan
GPT-3: AI Yang Boleh Belajar 'On The Fly' (Lebih Kuranglah!)
Halo semua! Korang pernah dengar pasal GPT-3 tak? Ini model AI gempak gila dari OpenAI, memang jadi bualan hangat sekarang. Lupakan cara lama nak latih AI yang makan masa berhari-hari dan perlukan data spesifik gila untuk setiap benda baru. GPT-3 ni lain macam sikit, dia pandai belajar sambil jalan, guna benda yang diorang panggil 'few-shot learning'. Bayangkan korang tunjuk kawan korang satu atau dua contoh main game baru, lepastu diorang terus faham macam dah lama main. Macam tulah vibe dia, tapi untuk AI! Kertas kajian ni, ditulis oleh sekumpulan genius kat OpenAI (ada sikit bantuan dari Johns Hopkins University), memang selongkar habis apa yang buat GPT-3 ni power dan apa je yang dia boleh buat.
Cara Lama vs Cara Baru: Kenapa GPT-3 Penting?
Sebelum GPT-3 wujud, cara biasa nak suruh AI buat kerja spesifik, macam translate bahasa atau jawab soalan, adalah guna kaedah 'pre-training' lepas tu 'fine-tuning'. Mula-mula, korang latih model besar ni guna banyak sangat teks umum (macam satu internet lah kiranya), lepastu korang 'fine-tune' pula guna dataset yang lagi kecil tapi masih banyak untuk tugas spesifik yang korang nak. Macam korang ambil ijazah sarjana muda umum, lepastu sambung master khusus. Cara ni memang menjadi, tapi ada beberapa masalah besar: 1. Banyak Makan Data: Korang perlukan ribuan, kadang ratusan ribu contoh untuk bahagian 'fine-tuning' tu. Kalau data untuk tugas spesifik korang tak banyak (mungkin benda tu rare gila?), memang tak dapatlah nak buat. 2. Risiko 'Overfitting': Kadang-kadang, kalau 'fine-tune' terlalu banyak guna data yang sempit, AI tu jadi pandai gila untuk data yang itu je tapi fail teruk kalau dapat contoh yang sikit berbeza. Macam budak hafal jawapan exam tapi tak faham subjek pun. 3. Tak Macam Manusia Langsung: Manusia ni hebat bab belajar benda baru cepat. Tunjuk dua tiga gambar haiwan baru, kita selalunya boleh kenal dia nanti. Kita tak perlukan beribu gambar dan program latihan yang ketat! Di sinilah GPT-3 dan konsep 'in-context learning' masuk. Ideanya, kalau model tu cukup besar dan dilatih dengan data yang cukup pelbagai, dia boleh develop satu kebolehan meta-learning. Dia belajar cara untuk belajar. Masa nak guna model tu (masa 'inference'), korang tak ubah pun 'weights' atau latih balik. Korang just bagi je arahan tugas tu dan mungkin beberapa contoh, semua dalam teks 'prompt' tu sendiri. Inilah bahagian 'few-shot' (atau 'one-shot' atau 'zero-shot') learning. Cukup hebat kan?
Kenali GPT-3: Raksasa 175 Bilion Parameter
Jadi, apa sebenarnya GPT-3 ni? Ia adalah model bahasa autoregresif, yang maksudnya ia boleh meneka perkataan seterusnya dalam satu urutan berdasarkan semua perkataan sebelumnya. Anggap je macam 'autocomplete' yang power gila. Bahagian '175 billion parameters' tu yang paling win. Itu nombor yang tak masuk akal! Maknanya, model ni ada 175 bilion tombol boleh laras ('parameters') yang di-'tune' masa latihan besarnya dulu. Kalau nak banding, GPT-2 generasi sebelumnya ada dalam 1.5 bilion parameter je. GPT-3 ni kira-kira 100 kali ganda lagi besar! Skala yang macam inilah yang membolehkan kebolehan 'few-shot learning' dia. Penyelidik uji GPT-3 dalam macam-macam tugasan yang pelik, dan keputusannya memang cukup mengagumkan. Bukan setakat bagus, tapi selalunya setanding, dan kadang-kadang lagi baik dari model terbaik yang dah di-'fine-tune' khas untuk tugasan tu. Dan dia buat semua tu tanpa sebarang kemas kini gradien, hanya dengan tengok contoh yang korang bagi dalam 'prompt'. Diorang tengok tiga cara utama guna model ni: Zero-Shot: Korang bagi je arahan, macam "Terjemah Inggeris ke Perancis: cheese => ". Tak perlu contoh pun. One-Shot: Korang bagi arahan dan satu contoh: "Terjemah Inggeris ke Perancis: sea otter => loutre de mer. cheese => ". Few-Shot: Korang bagi arahan dan beberapa contoh (sampai had tetingkap konteks model, iaitu 2048 token untuk GPT-3): "Terjemah Inggeris ke Perancis: sea otter => loutre de mer. peppermint => menthe poivrée. cheese => ". Dan teka apa? Lagi banyak contoh korang bagi (sampai satu tahap), lagi bagus dia buat kerja! Macam model tu cakap, "Oh, aku faham! Macam nilah caranya!" Manfaat skala ni memang satu penemuan yang besar.
Apa Sebenarnya GPT-3 Boleh Buat?
Kertas kajian ni penuh dengan keputusan, tunjuk GPT-3 cuba macam-macam benda dari pemodelan bahasa asas sampai penaakulan kompleks dan penulisan kreatif. Mari kita pecahkan beberapa sorotan utama:
Pemodelan Bahasa & Pelengkapan Teks: Kerja Asas
Pada dasarnya, GPT-3 adalah model bahasa. Dia meneka perkataan seterusnya. Rupanya, kalau korang pandai gila bab tu, korang boleh buat macam-macam benda lain juga. GPT-3 capai keputusan 'state-of-the-art' pada penanda aras pemodelan bahasa standard macam Penn Treebank (PTB), maksudnya dia yang terbaik dalam meneka urutan teks. Dia juga taksلق tugasan macam LAMBADA, yang perlukan tekaan perkataan terakhir dalam satu petikan, tunjuk yang dia faham konteks jarak jauh. Dia juga buat bagus pada HellaSwag, satu tugasan penaakulan akal sihat yang mencabar, dan StoryCloze, yang melibatkan tekaan akhir cerita.
Jawab Soalan: Macam Ensiklopedia Berjalan (Ada Twistnya)
Bayangkan tanya AI soalan tanpa perlu 'fine-tune' guna dataset Q&A spesifik. GPT-3 buat benda ni pada dataset macam Natural Questions, WebQuestions, dan TriviaQA. Dalam suasana 'closed-book' (maksudnya model hanya guna ilmu pra-latihannya), prestasi 'few-shot' dia cukup dekat dengan model 'fine-tuned' terbaik. Dia malah capai 'state-of-the-art' pada salah satu dataset ni. Macam dia ada perpustakaan besar dalam kepala dia dan boleh cepat cari maklumat relevan berdasarkan soalan korang dan beberapa contoh.
