Summio

PDF

Les modèles de langage sont des apprenants à quelques exemples

Ce document présente GPT-3, un modèle linguistique massif capable d'apprendre de nouvelles tâches à partir de quelques exemples seulement, révolutionnant notre façon de concevoir l'IA.

17 min de lecture

Disponible en

Aperçu du résumé

GPT-3 : L'IA qui Apprend en Mode Express !

Salut poto ! Alors, t'as entendu parler de GPT-3 ? C'est un peu la star montante chez OpenAI, une IA tellement massive qu'elle change carrément les règles du jeu. Imagine un peu : fini les entraînements d'IA qui prennent des plombes et demandent des quantités astronomiques de données spécifiques pour chaque nouvelle tâche. GPT-3, lui, il apprend sur le tas, grâce à un truc appelé 'few-shot learning'. Pense à montrer à un pote deux exemples d'un nouveau jeu de cartes, et qu'il pige tout de suite comment jouer. C'est un peu ça, mais pour une IA ! Ce papier, écrit par une bande de génies d'OpenAI (avec un coup de main de l'Université Johns Hopkins), nous plonge dans les secrets de GPT-3 : comment il fonctionne et ce qu'il peut nous offrir.

L'Ancienne Méthode vs. La Nouvelle : Pourquoi GPT-3 Change Tout

Avant GPT-3, pour qu'une IA fasse un truc précis, genre traduire une langue ou répondre à des questions, on passait par deux étapes : le 'pré-entraînement' puis le 'fine-tuning'. En gros, tu entraînes une grosse IA sur une quantité énorme de textes généraux (genre, tout internet, quoi !), puis tu la peaufinnes avec un jeu de données plus petit mais toujours conséquent, spécialisé pour la tâche visée. C'est un peu comme faire des études générales, puis une spécialisation après. Ça marche, mais y'a quelques gros soucis : 1. Affamée de Données : Il te faut des milliers, voire des centaines de milliers, d'exemples pour le 'fine-tuning'. Si t'as pas ça pour ta tâche spécifique (surtout si elle est hyper pointue ?), t'es un peu coincé. 2. Risque de Sur-Apprentissage : Parfois, en affinant trop sur un jeu de données restreint, l'IA devient super bonne sur exactement ces données, mais galère complètement avec des exemples légèrement différents. C'est comme apprendre par cœur les réponses d'un examen sans vraiment piger le sujet. 3. Pas Très Humain : Nous, les humains, on est incroyables pour apprendre vite. Tu nous montres deux photos d'un nouvel animal, et hop, on arrive à le reconnaître plus tard. On n'a pas besoin de voir des milliers de photos et de suivre un programme d'entraînement intensif ! C'est là qu'interviennent GPT-3 et le concept d' 'in-context learning' (apprentissage dans le contexte). L'idée, c'est que si un modèle est assez gros et entraîné sur assez de données variées, il peut développer une sorte de capacité de 'méta-apprentissage'. Il apprend comment apprendre. Au moment de l'utilisation ('inference time'), tu ne modifies pas ses poids ni ne le ré-entraînes. Tu lui donnes juste la description de la tâche et, peut-être, quelques exemples, le tout dans le 'prompt' (la requête que tu lui fais). C'est ça, le fameux 'few-shot' (ou 'one-shot', ou 'zero-shot') learning. Plutôt stylé, non ?

Rencontre avec GPT-3 : Le Géant aux 175 Milliards de Paramètres

Alors, c'est quoi exactement GPT-3 ? C'est un modèle de langage autorégressif, ce qui veut dire qu'il prédit le mot suivant dans une séquence en se basant sur tous les mots précédents. Pense à un auto-compléteur ultra-boosté. Le truc qui fait fumer les cerveaux, c'est le "175 milliards de paramètres". C'est un nombre dingue ! Ça veut dire que le modèle a 175 milliards de "boutons réglables" (les paramètres) qui ont été ajustés pendant sa phase d'entraînement massive. Pour te donner une idée, son prédécesseur, GPT-2, en avait environ 1,5 milliard. GPT-3 est donc environ 100 fois plus gros ! C'est cette échelle monumentale qui lui permet ses capacités de 'few-shot learning'. Les chercheurs ont testé GPT-3 sur une variété de tâches hallucinante, et les résultats sont assez impressionnants. Il n'était pas juste bon ; il était souvent compétitif, voire meilleur, que les meilleurs modèles spécifiquement 'fine-tunés' pour ces tâches. Et il a fait ça sans aucune mise à jour des gradients, juste en regardant les exemples que tu lui donnais dans le prompt. Ils ont exploré trois façons principales d'utiliser le modèle : Zero-Shot : Tu donnes juste une instruction au modèle, genre "Traduis de l'anglais vers le français : fromage => ". Pas besoin d'exemples. One-Shot : Tu donnes l'instruction et un exemple : "Traduis de l'anglais vers le français : loutre de mer => sea otter. fromage => ". Few-Shot : Tu donnes l'instruction et quelques exemples (jusqu'à la limite de la fenêtre de contexte du modèle, qui est de 2048 tokens pour GPT-3) : "Traduis de l'anglais vers le français : loutre de mer => sea otter. menthe poivrée => peppermint. fromage => ". Et devine quoi ? Plus tu donnais d'exemples (jusqu'à un certain point), plus il était performant ! C'était comme si le modèle disait : "Ah, je vois ! C'est comme ça que ça marche !" Cet avantage lié à l'échelle ('scaling benefit') est une découverte majeure.

Qu'est-ce que GPT-3 Peut Vraiment Faire ?

Ce papier est bourré de résultats, montrant GPT-3 s'attaquer à tout, de la simple modélisation de langage au raisonnement complexe, en passant par l'écriture créative. Décortiquons quelques points forts :

Modélisation de Langage et Complétion de Texte : Son Pain Quotidien

À la base, GPT-3 est un modèle de langage. Il prédit le mot suivant. Il s'avère que si tu es super bon dans ce domaine, tu peux faire plein d'autres choses. GPT-3 a atteint des résultats de pointe ('state-of-the-art') sur des benchmarks standards de modélisation de langage comme Penn Treebank (PTB), ce qui signifie qu'il était le meilleur pour prédire des séquences de texte. Il a aussi cartonné sur des tâches comme LAMBADA, qui demande de prédire le dernier mot d'un passage, montrant qu'il a une bonne compréhension du contexte à longue portée. Il s'en est même super bien sorti sur HellaSwag, une tâche difficile d'inférence de bon sens, et StoryCloze, qui consiste à prédire la fin d'une histoire.

Questions-Réponses : Comme une Encyclopédie Vivante (avec une Touche Spéciale)

Imagine poser des questions à une IA sans avoir besoin de la 'fine-tuner' sur un jeu de données spécifique de Q&R. GPT-3 a fait exactement ça sur des datasets comme Natural Questions, WebQuestions et TriviaQA. En mode 'livre fermé' (c'est-à-dire que le modèle utilise uniquement ses connaissances pré-entraînées), sa performance en 'few-shot' était remarquablement proche des meilleurs modèles 'fine-tunés'. Il a même atteint le 'state-of-the-art' sur l'un de ces datasets. C'est comme s'il avait une bibliothèque immense dans sa tête et pouvait rapidement trouver l'info pertinente en fonction de ta question et de quelques exemples.