要約プレビュー
GPT-3:AIが「その場で学習」する時代(みたいな感じ!)
やあ、みんな!GPT-3って聞いたことある?OpenAIっていうスゴい会社が作った、めちゃくちゃデカいAIモデルなんだ。最近、AIのトレーニングって、昔は時間がかかるし、新しいことをさせるたびに大量のデータが必要だったりして、ちょっと大変だったでしょ?でも、GPT-3はちょっと違うんだ。「その場で学習する」っていう、ちょっと変わったアプローチを取ってるんだよ。しかも、「フュー・ショット・ラーニング」とかいう、なんかカッコいい名前のやつ。 例えるなら、友達に新しいゲームのルールを1〜2回見せただけで、すぐに理解してもらえちゃう、みたいな感じかな?AIでそれができちゃうんだから、マジですごいよね!この論文は、OpenAIの優秀な研究者たちが(ジョンズ・ホプキンス大学の協力も得て)書いたもので、GPT-3がどうやって動いて、何ができるのかを、めちゃくちゃ詳しく解説してるんだ。
昔と今:GPT-3って、なんでそんなにスゴいの?
GPT-3が登場する前は、AIに翻訳とか質問応答とか、特定のタスクをやらせたい場合、「事前学習」してから「ファインチューニング」するのが定番だったんだ。まず、インターネットの文章みたいな、ありとあらゆる大量のテキストデータでAIをガッツリ学習させる。その後、やりたいタスクに特化した、それなりに大きなデータセットでさらに学習させるんだ。大学で一般教養を学んでから、専門分野の修士課程に進む、みたいなイメージかな。 これでもちゃんと機能するんだけど、いくつか大きな問題点があったんだ。 1. データが超必要!: ファインチューニングの段階で、数千、時には数十万もの例が必要になることがあるんだ。もし、君がやりたいタスクがすごくニッチで、そんなにデータがなかったら、もうお手上げって感じだよね。 2. 「過学習」の危険性: 細かいデータセットでファインチューニングしすぎると、AIはそのデータにはめちゃくちゃ強くなるんだけど、ちょっとでも違う例が出ると、全然ダメになっちゃうことがあるんだ。テストの答えを丸暗記してるだけで、本当の意味で理解してない、みたいな状態だね。 3. 人間っぽくない: 人間って、新しいことをすぐに覚えるのが得意じゃん?新しい動物の写真を1枚か2枚見せられたら、次にその動物を見ても「あ、あれだ!」ってわかることが多い。AIみたいに、何千枚もの写真を見て、厳しいトレーニングプログラムを受けなくてもいいんだから! そこで登場するのが、GPT-3と「文脈内学習(In-Context Learning)」の考え方なんだ。このモデルが十分に大きくて、多様なデータで学習されていれば、一種の「学習の仕方を学習する」能力を獲得できるんじゃないか、っていうアイデアなんだ。実際にモデルを使う時(推論時)に、モデルの重みを更新したり、再学習させたりするんじゃなくて、プロンプト(指示文)の中にタスクの説明と、いくつかの例を「そのまま」入れてあげるだけでいいんだ。これが「フュー・ショット」(あるいは「ワン・ショット」「ゼロ・ショット」)学習ってやつ。マジでクールだよね?
GPT-3って、一体どんなヤツなの?:1750億パラメータの巨人
じゃあ、GPT-3って具体的に何者なんだろう?それは「自己回帰型言語モデル」っていうものなんだ。簡単に言うと、それまでに出てきた単語に基づいて、次に来る単語を予測するってこと。超高性能なオートコンプリート機能みたいなもんかな。「1750億パラメータ」っていうのが、マジでヤバいところ。これは、モデルが学習フェーズで調整された、調整可能な「ツマミ」(パラメータ)が1750億個もあるってことなんだ。比較対象として、前の世代のGPT-2は、だいたい15億パラメータだったんだ。GPT-3はその約100倍!この圧倒的なスケールこそが、フュー・ショット・ラーニング能力を可能にしてるんだ。 研究者たちは、GPT-3をめちゃくちゃ色々なタスクでテストしたんだけど、その結果は pretty impressive だったんだ。単に良かっただけじゃなくて、そのタスク専用にファインチューニングされたモデルと比べても、同等か、それ以上の性能を出すことが多かったんだ。しかも、勾配更新(モデルの重みを直接変えること)を一切せずに、プロンプトで与えられた例を見ただけで、だよ! 彼らが試したモデルの使い方は、主に3つあるんだ。 ゼロ・ショット (Zero-Shot):モデルに指示だけを与える。「英語をフランス語に翻訳して:cheese => 」みたいに。例は一切なし。 ワン・ショット (One-Shot):指示と、例を1つだけ与える。「英語をフランス語に翻訳して:sea otter => loutre de mer. cheese => 」のように。 フュー・ショット (Few-Shot):指示と、いくつかの例(GPT-3のコンテキストウィンドウの限界、つまり2048トークンまで)を与える。「英語をフランス語に翻訳して:sea otter => loutre de mer. peppermint => menthe poivrée. cheese => 」のように。 そして、驚くべきことに、例を多く与えれば与えるほど(ある程度までは)、性能が良くなったんだ!まるでモデルが「あ、なるほど!こうやるのか!」って言ってるみたいだった。このスケールによる効果は、めちゃくちゃ大きな発見だったんだ。
GPT-3って、具体的に何ができるの?
この論文には、GPT-3が基本的な言語モデリングから、複雑な推論、さらにはクリエイティブな文章作成まで、あらゆるタスクをこなす様子を示す結果が満載なんだ。いくつかハイライトを見ていこう。
言語モデリング&テキスト補完:基本中の基本
GPT-3の根幹は、言語モデルであること。つまり、次に来る単語を予測すること。でも、それがめちゃくちゃ上手いと、他の色々なこともできちゃうんだ。GPT-3は、Penn Treebank (PTB) のような標準的な言語モデリングのベンチマークで、最先端の結果を出したんだ。つまり、テキストのシーケンス予測が一番上手かったってこと。また、文章の最後の単語を予測する必要があるLAMBADAのようなタスクでも満点を叩き出し、長い文脈の理解力も高いことを示した。さらに、難しい常識推論タスクであるHellaSwagや、物語の結末を予測するStoryClozeでも、素晴らしい成績を収めたんだ。
質問応答:歩く百科事典(ただし、ちょっとクセあり)
特定のQ&Aデータセットでファインチューニングする必要なく、AIに質問できることを想像してみて。GPT-3は、Natural Questions, WebQuestions, TriviaQAのようなデータセットで、まさにそれをやってのけたんだ。「クローズドブック」設定(モデルが事前学習した知識だけを使う)でも、フュー・ショットでの性能は、ファインチューニングされた最高モデルに驚くほど近かった。さらに、これらのデータセットのうちの1つでは、最先端の性能を記録したんだ。まるで、頭の中に巨大な図書館があって、質問といくつかの例に基づいて、関連情報を素早く見つけ出せるかのようだね。
