Саммари үзіндісі
GPT-3: Жаңаша үйренудің жарқын үлгісі (Әлдебір деңгейде!)
Сәлеметсіздер ме, достар! Жақында GPT-3 дегенді естіген боларсыздар? Бұл OpenAI компаниясының аса үлкен жасанды интеллект (AI) моделі, және ол шынымен де үлкен мәселе. AI-ды үйретудің бұрынғы, әрбір жаңа нәрсе үшін ұзақ уақыт кететін және көптеген арнайы деректерді талап ететін әдістерін ұмытыңыз. GPT-3 – бұл 'бірден үйрену' (on the fly) деген ұғымға негізделген. Елестетіп көріңіз, досыңызға жаңа ойынның бір-екі мысалын көрсетсеңіз, ол бірден түсініп алады. GPT-3-тің жұмысы да сондай, тек AI үшін! Бұл мақала, OpenAI компаниясының және Джонс Хопкинс Университетінің білікті мамандарының бірлескен еңбегі, GPT-3-тің неден тұратынын және оның не істей алатынын тереңінен зерттейді.
Ескі әдіс пен Жаңа әдіс: Неге GPT-3 маңызды?
GPT-3-ке дейін AI-ды белгілі бір тапсырмаларға (тіл аудару, сұрақтарға жауап беру) үйретудің негізгі әдісі 'алдын ала даярлау' (pre-training) және одан кейінгі 'ұсақ-түйекке дейін баптау' (fine-tuning) болды. Алдымен үлкен модельді көп мөлшердегі жалпы мәтіндерге (интернеттің барлығы дерлік) оқытып, содан кейін сіз қалаған нақты тапсырма үшін кішірек, бірақ әлі де үлкен деректер жинағына баптайтын едіңіз. Бұл, жалпы білім бойынша колледж бітіріп, содан кейін арнайы магистрлік бағдарламадан өту сияқты. Бұл жұмыс істейді, бірақ бірнеше кемшілігі бар: 1. Деректерге құмар: Сізге сол баптау кезеңі үшін мыңдаған, кейде жүз мыңдаған мысалдар қажет. Егер сіздің нақты тапсырмаңыз үшін жеткілікті деректер болмаса (мүмкін ол өте сирек кездесетін тапсырма болар?), онда сіздің жағдайыңыз қиын. 2. Шамадан тыс баптау қаупі (Overfitting Risk): Кейде, тар деректер жинағына тым көп баптағанда, AI сол нақты деректерде өте жақсы жұмыс істейді, бірақ сәл өзгеше мысалдарда сәтсіздікке ұшырайды. Бұл, пәнді түсінбей, тек тестке жауаптарды жаттау сияқты. 3. Адамға ұқсамайды: Адамдар жаңа нәрселерді жылдам үйренуде таңғажайып. Біз жаңа жануардың бір-екі суретін көрсек, кейін оны анықтай аламыз. Бізге мыңдаған суреттер мен қатаң оқу бағдарламасы қажет емес! Міне, осында GPT-3 және 'контекст ішінде үйрену' (in-context learning) ұғымы пайда болады. Идея мынада: егер модель жеткілікті үлкен және әртүрлі деректерге оқытылған болса, ол 'үйренуді үйрену' қабілетін дамыта алады. Сіз модельді нақты қолданып жатқанда (inference time), оның салмағын (weights) жаңартпайсыз немесе қайта оқытпайсыз. Оның орнына, сіз тапсырма сипаттамасын және бірнеше мысалды мәтіндік жазбаның (prompt) өзіне бересіз. Бұл – 'бірнеше сөзбен үйрену' (few-shot), 'бір сөзбен үйрену' (one-shot) немесе 'нөл сөзбен үйрену' (zero-shot) бөлігі. Өте тамаша, солай емес пе?
GPT-3-пен таныс болыңыз: 175 миллиард параметрлік алып
GPT-3 дегеніміз не? Бұл авторегрессивті тіл моделі, яғни ол алдыңғы сөздердің барлығына негізделіп, келесі сөзді болжайды. Супер-қуатты автотолтыру сияқты ойлаңыз. '175 миллиард параметр' дегені – бұл миға сыймайтын сан! Бұл модельдің 175 миллиард реттелетін тұтқасы (параметрлері) бар, олар оның алып оқу кезеңінде реттелген. Салыстыру үшін, бұрынғы буын, GPT-2, шамамен 1.5 миллиард параметрге ие болған. GPT-3 шамамен 100 есе үлкен! Осы ауқымдылық оның 'бірнеше сөзбен үйрену' қабілетін қамтамасыз етеді. Зерттеушілер GPT-3-ті әртүрлі тапсырмалар бойынша сынақтан өткізді, және нәтижелер таң қалдырды. Ол тек жақсы болған жоқ; ол көбінесе сол тапсырмалар үшін арнайы бапталған ең жақсы модельдермен бәсекеге түсті, ал кейде олардан асып түсті. Және бұл ешқандай градиенттік жаңартуларсыз, жазбада берілген мысалдарды қарап істелді. Олар модельді қолданудың үш негізгі тәсілін қарастырды: Нөл сөзбен үйрену (Zero-Shot): Сіз модельге тек нұсқаулық бересіз, мысалы, 'Ағылшыншадан французшаға аудар: cheese => '. Мысалдар қажет емес. Бір сөзбен үйрену (One-Shot): Сіз нұсқаулықты және бір мысал бересіз: 'Ағылшыншадан французшаға аудар: sea otter => loutre de mer. cheese => '. Бірнеше сөзбен үйрену (Few-Shot): Сіз нұсқаулықты және бірнеше мысал бересіз (GPT-3 үшін 2048 токен шегіне дейін): 'Ағылшыншадан французшаға аудар: sea otter => loutre de mer. peppermint => menthe poivrée. cheese => '. Білесіз бе? Сіз неғұрлым көп мысал берсеңіз (белгілі бір шекке дейін), соғұрлым жақсы нәтиже көрсетті! Бұл модель 'А, түсінікті! Міне, осылай істеледі екен!' деген сияқты. Бұл масштабтың артықшылығы үлкен жаңалық болды.
GPT-3 не істей алады?
Бұл мақала нәтижелерге толы, GPT-3-ті қарапайым тіл моделін құрастырудан бастап, күрделі ойлауға және тіпті шығармашылық жазуға дейінгі барлық нәрселерді орындауда көрсетеді. Кейбір маңызды сәттерді қарастырайық:
Тілдік модельдеу және мәтінді толықтыру: Негізгі жұмысы
Негізінде, GPT-3 – бұл тілдік модель. Ол келесі сөзді болжайды. Егер сіз бұл істе өте, өте жақсы болсаңыз, басқа да көптеген нәрселерді істей аласыз. GPT-3 стандартты тілдік модельдеу сынақтарында, мысалы, Penn Treebank (PTB) бойынша ең озық нәтижелерге жетті, яғни ол мәтін тізбектерін болжауда ең жақсы болды. Ол сондай-ақ LAMBADA сияқты тапсырмаларды да жақсы орындады, бұл passage-тің соңғы сөзін болжауды талап етеді, бұл оның ұзақ мерзімді контекстті жақсы түсінетінін көрсетеді. Ол тіпті HellaSwag сияқты қиын жалпы түсініктерді бағалау тапсырмасын және StoryCloze, яғни әңгіменің соңын болжауды да жақсы орындады.
Сұрақ-жауап: Жылжымалы энциклопедия сияқты (Бір ескертпемен)
AI-ға арнайы сұрақ-жауап деректер жинағына баптамай-ақ сұрақтар қоюды елестетіңіз. GPT-3 дәл осыны Natural Questions, WebQuestions және TriviaQA сияқты деректер жинақтарында істеді. 'Жабық кітап' режимінде (модель тек алдын ала оқытылған білімін қолданады), оның 'бірнеше сөзбен үйрену' көрсеткіші ең жақсы бапталған модельдерге таңқаларлықтай жақын болды. Тіпті осы деректер жинақтарының бірінде ең озық нәтижеге жетті. Бұл оның басында алып кітапханасы бар және сұрағыңыз бен бірнеше мысалға негізделіп, тиісті ақпаратты жылдам таба алатын сияқты.
