Summio

PDF

语言模型是少样本学习者

深入探索 GPT-3 的开创性研究,这是一款拥有 1750 亿参数的语言模型,能够通过极少的示例进行学习(少样本学习)。了解它如何在无需显式微调的情况下处理各种任务,其令人印象深刻的能力,以及它带来的重大社会影响。

17 分钟阅读

可用语言

摘要预览

GPT-3:AI的“举一反三”新时代

嘿,朋友们!今天咱们来聊聊一个超酷的东西——GPT-3!这可是OpenAI家一个超级厉害的大模型,简直是AI界的一颗冉冉升起的新星。咱们以前训练AI,那叫一个费劲,又是漫长的过程,又是需要海量、超精细的数据来教它做每一件小事。但GPT-3不一样,它玩的是“即学即用”的魔法,这招叫做“少样本学习”(few-shot learning)。 想象一下,你教朋友玩个新游戏,只需要给他看一两局,他就能立马上手。GPT-3就是这么个道理,只不过它是AI!这篇由OpenAI的牛人们(还蹭了约翰霍普金斯大学的光)写的研究报告,把GPT-3的“内功心法”和“绝世武功”都给扒了个底朝天,特别值得一看。

老一套 vs. 新玩法:GPT-3为啥这么牛?

在GPT-3出现之前,想让AI干点啥具体活儿,比如翻译个语言、回答个问题,主流方法是“预训练”加“微调”。简单说,就是先拿一大堆互联网上的文本(相当于把整个互联网都喂给它)把模型“喂饱”,然后再用一小撮(但还是挺大的)针对特定任务的数据来“精雕细琢”。这就像是先读个大学通识学位,再读个专业硕士一样。这套路虽然管用,但有几个大问题: 1. 数据“饥渴症”:微调那步,你可能需要成千上万,甚至几十万个例子。要是你的任务特别冷门,根本找不到这么多数据,那就只能干瞪眼了。 2. “照猫画虎”风险:有时候,微调太用力,AI就只会死记硬背那些特定数据里的答案,稍微一变通就抓瞎了。就像考试前只背题库,没真正理解知识点一样。 3. 不够“像人”:咱们人类学习新东西那叫一个快!看两张新动物的照片,下次多半就能认出来了。咱们不需要看成千上万张图,也不需要一个严谨的培训流程! 这下,GPT-3和它的“情境学习”(in-context learning)就派上用场了。核心思想是:只要模型足够大,训练数据足够丰富多样,它就能发展出一种“元学习”的能力,也就是“学会如何学习”。在实际使用模型的时候(叫做“推理时”),你不用去改动它的参数(权重),也不用重新训练。你只需要在给它的文本提示(prompt)里,直接告诉它任务是什么,再给它一两个例子。这就是所谓的“少样本”(few-shot)、“单样本”(one-shot)或者“零样本”(zero-shot)学习。是不是很酷?

认识一下:1750亿参数的巨无霸——GPT-3

那么,GPT-3到底是个啥?它是个“自回归语言模型”(autoregressive language model),说白了,就是它特别擅长根据前面一串词,预测下一个词是什么。你可以把它想象成一个超级加强版的“输入法联想”功能。 最牛掰的就是那个“1750亿参数”!这数字简直让人头大!它意味着这个模型有1750亿个可以调节的“旋钮”(参数),在海量训练过程中被一点点调优。对比一下,上一代GPT-2大概只有15亿参数。GPT-3比它大了差不多100倍!正是这种巨大的规模,才让它有了少样本学习的超能力。 研究人员用GPT-3做了各种各样的测试,结果相当惊艳。它不光是表现不错,很多时候都能跟那些专门为特定任务微调过的模型打个平手,甚至还更胜一筹。而且,它做到这一切,根本没更新过模型参数,全靠你给的提示里的例子! 他们主要测试了三种使用方式: 零样本(Zero-Shot):你只给模型一个指令,比如“把英语翻译成法语:cheese => ”。根本不需要例子。 单样本(One-Shot):给指令,再给一个例子:“把英语翻译成法语:sea otter => loutre de mer. cheese => ”。 少样本(Few-Shot):给指令,再给几个例子(最多能塞进GPT-3的上下文窗口限制,也就是2048个token):“把英语翻译成法语:sea otter => loutre de mer. peppermint => menthe poivrée. cheese => ”。 猜怎么着?你给的例子越多(当然,有个上限),模型表现就越好!它好像在说:“哦,我明白了!原来是这么回事!” 这种随着例子数量增加而带来的性能提升,是个非常重大的发现。

语言建模与文本补全:看家本领

本质上,GPT-3就是个语言模型,预测下一个词。事实证明,如果你在这方面做得特别特别好,就能顺带干很多别的事。GPT-3在标准的语言模型评估基准上(比如Penn Treebank,PTB)取得了当时的顶尖成绩,说明它在预测文本序列这块儿是王者。它还在LAMBADA这样的任务上表现出色,这个任务要求预测一段文本的最后一个词,证明它能很好地理解长距离的上下文。甚至在HellaSwag(一个挑战性的常识推理任务)和StoryCloze(预测故事结尾)上也拿到了好成绩。

问答:行走的百科全书(带点小个性)

想象一下,不用为问答任务专门微调,就能直接问AI问题。GPT-3就做到了!在Natural Questions、WebQuestions和TriviaQA等数据集上,它在“闭卷”(也就是模型只用它预训练时学到的知识)的少样本模式下,表现几乎能赶上最好的微调模型,甚至在一个数据集上还达到了顶尖水平。这感觉就像它脑子里装着一个巨大的图书馆,能根据你的问题和几个例子,迅速找到相关信息。

翻译:打通语言隔阂

虽然GPT-3主要是在英语文本上训练的(大概93%),但它也接触过一些别的语言。在翻译任务上,它的少样本方法比之前专门为无监督机器翻译设计的模型还要强。这说明模型可能已经学到了一些跨语言的底层语言规律,并且可以迁移运用。