摘要預覽
GPT-3:AI 學習新革命,從此「邊學邊用」!
哈囉!各位科技迷、AI 愛好者們!今天我們要聊聊一個超級重量級的 AI 角色——GPT-3。這玩意兒可是 OpenAI 搞出來的,而且說實話,它真的讓整個 AI 界都為之一亮!想想看,以前我們訓練 AI,那可真是費時又費工,為了讓它學會一項新技能,得準備一大堆專門的數據,就像是把 AI 送去上各種專門的補習班一樣。但 GPT-3 不一樣,它玩的是「即學即用」,也就是所謂的「少樣本學習」(few-shot learning)。 想像一下,你跟朋友玩一個全新的桌遊,你只示範一兩次,他馬上就懂規則,甚至還能玩得有模有樣。GPT-3 的感覺就是這麼回事,只不過它是個超級聰明的 AI!這篇由 OpenAI 的一群超厲害研究員(還找了約翰霍普金斯大學的夥伴一起)寫的論文,可說是把 GPT-3 的內在世界給徹底剖析了一番,讓我們一起來看看這個 AI 到底有多神!
傳統 AI 訓練 vs. GPT-3 新模式:為什麼 GPT-3 這麼重要?
在 GPT-3 出現之前,要把 AI 訓練到能做特定任務,像是語言翻譯、回答問題等等,最常見的方法就是「預訓練」(pre-training)後再「微調」(fine-tuning)。簡單來說,就是先用海量的、包羅萬象的文本資料(基本上就是把整個網路上的東西都餵給它)訓練一個超級大的模型,然後再拿一小部分、但仍然很可觀的、針對特定任務的數據來「微調」它。這就像是大學先念個通識學位,然後再讀個專門的碩士一樣。這種方法有效,但有幾個大問題: 1. 超級「吃數據」:光是微調這一步,你就可能需要成千上萬,甚至數十萬筆的範例資料。如果你的任務很冷門,根本找不到這麼多資料,那你就只能望洋興嘆了。 2. 容易「過度擬合」:有時候,模型在一個很窄的數據集上微調得太用力,結果就是它對那些範例資料的表現好到不行,但只要稍微有點不一樣的例子,它就完全不行了。這就像是死記硬背考試題目,而不是真正理解知識一樣。 3. 不像真人:我們人類學習新東西超快的!你看幾張新動物的照片,下次大概就能認出來了。我們不需要看幾千張照片,也不需要經過嚴格的訓練計畫! 這時候,GPT-3 和「情境學習」(in-context learning)的概念就登場了。他們的想法是,如果一個模型夠大,而且在夠多樣化的數據上訓練過,它就能發展出一種「學習如何學習」的能力,也就是「後設學習」(meta-learning)。當你在使用這個模型的時候(也就是「推論時」),你不需要更新它的權重或重新訓練它。你只需要在給它的文字提示(prompt)裡,直接描述任務,甚至給它幾個範例。這就是「少樣本」(few-shot)、「單樣本」(one-shot)或「零樣本」(zero-shot)學習。是不是很酷?
認識 GPT-3:那座擁有 1750 億參數的巨獸
那麼,GPT-3 到底是什麼?它是一個「自迴歸語言模型」(autoregressive language model)。這聽起來很學術,但簡單來說,就是它根據前面所有的詞,來預測下一個詞。就像是個超級進化的自動完成功能。而「1750 億參數」這個數字,才是真正讓人瞠目結舌的地方!這代表這個模型有 1750 億個可以調整的「旋鈕」(參數),在它進行大規模訓練時,這些旋鈕就被一一調整好了。作為對比,它的前一代 GPT-2 大約只有 15 億參數。GPT-3 大約是 GPT-2 的 100 倍!就是這種巨大的規模,讓它擁有了少樣本學習的能力。 研究人員們測試了 GPT-3 在各種各樣的任務上的表現,結果非常驚人。它不只是「不錯」,很多時候表現甚至能跟那些專門為特定任務「微調」過的最佳模型相比擬,甚至超越它們!而且,它做到這一切,完全沒有進行任何「梯度更新」(gradient updates),只是看了你給它的幾個範例而已。 他們主要測試了三種使用模型的方式: 零樣本 (Zero-Shot):你只給模型一個指令,例如:「請將英文翻譯成法文:cheese => 」。不需要任何範例。 單樣本 (One-Shot):你給指令和一個範例:「請將英文翻譯成法文:sea otter => loutre de mer. cheese => 」。 少樣本 (Few-Shot):你給指令和幾個範例(最多能放到 GPT-3 的上下文視窗極限,也就是 2048 個 tokens):「請將英文翻譯成法文:sea otter => loutre de mer. peppermint => menthe poivrée. cheese => 」。 結果猜猜怎麼著?你給的範例越多(在一定範圍內),它的表現就越好!感覺就像是模型在說:「哦!我懂了!原來是這樣做的!」這種規模帶來的效能提升,是這次研究的一個重大發現。
語言模型與文本補全:基本功中的基本功
說到底,GPT-3 本質上就是個語言模型,它的核心工作是預測下一個詞。但如果你把這件事做得超級無敵好,你就能順帶做很多其他事情。在標準的語言模型評測基準上,例如 Penn Treebank (PTB),GPT-3 達到了「最先進」(state-of-the-art)的成績,代表它在預測文本序列這方面是頂尖的。它也在 LAMBADA 這種需要預測段落最後一個詞的任務上表現出色,顯示它對長距離上下文的理解能力不錯。甚至在 HellaSwag 這種挑戰性的常識推理任務,以及 StoryCloze 這種需要預測故事結尾的任務上也表現優異。
問答系統:像個會走路的百科全書(但有點不同)
想像一下,你可以問 AI 問題,而不需要為它準備一個專門的問答數據集來微調。GPT-3 就做到了!在 Natural Questions, WebQuestions, 和 TriviaQA 等數據集上,它在「閉卷」(closed-book)模式下(也就是模型只使用它預訓練時學到的知識)的少樣本表現,竟然非常接近那些微調過的最佳模型。甚至在其中一個數據集上,它還達到了最先進的水平。感覺就像它腦袋裡有個巨大的圖書館,可以根據你的問題和幾個範例,快速找到相關資訊。
翻譯:打破語言隔閡
雖然 GPT-3 的訓練數據主要(約 93%)是英文,但它也接觸過一些其他語言。當測試翻譯任務時,它的少樣本方法竟然超越了那些專門為「無監督機器翻譯」設計的方法。這暗示著,這個模型可能學到了一些跨語言的、底層的語言模式。
