Summio

PDF

Sprachmodelle sind Few-Shot-Lerner

Diese Arbeit stellt GPT-3 vor, ein massives Sprachmodell, das neue Aufgaben mit nur wenigen Beispielen lernen kann und damit die Art und Weise revolutioniert, wie wir über KI denken.

17 Min. Lesezeit

Verfügbar auf

Vorschau der Zusammenfassung

GPT-3: Die KI, die (fast) auf Zuruf lernt!

Na, schon von GPT-3 gehört? Das ist diese mega-riesige KI von OpenAI, die gerade für ordentlich Aufsehen sorgt. Vergiss die alten Methoden, bei denen man KI-Modelle ewig trainieren musste und für jede neue Aufgabe Unmengen an spezifischen Daten brauchte. GPT-3 setzt voll auf 'Lernen im laufenden Betrieb', oder wie die Profis sagen: 'Few-Shot Learning'. Stell dir vor, du zeigst einem Freund ein, zwei Beispiele für ein neues Brettspiel, und er hat's sofort drauf. So ähnlich ist das hier, nur eben für eine KI! In diesem Paper, geschrieben von einem Haufen schlauer Leute bei OpenAI (mit ein bisschen Hilfe von der Johns Hopkins University), wird richtig tief gebohrt, was GPT-3 so besonders macht und was es alles kann. Schnall dich an, das wird spannend!

Die alte Schule vs. die neue Welle: Warum GPT-3 so wichtig ist

Früher war der Standardweg, um einer KI bestimmte Aufgaben beizubringen – wie Übersetzen oder Fragen beantworten – eine Kombination aus 'Pre-Training' (Vortraining) und 'Fine-Tuning' (Feinabstimmung). Man hat ein großes Modell auf Unmengen von allgemeinem Text trainiert (quasi das ganze Internet), und dann hat man es für die spezifische Aufgabe mit einem kleineren, aber immer noch ziemlich großen Datensatz 'feinjustiert'. Das ist so, als ob du erst einen allgemeinen Uni-Abschluss machst und dann noch einen spezialisierten Master draufsetzt. Das funktioniert schon, hat aber ein paar dicke Nachteile: 1. Datenhunger: Du brauchst oft Tausende, manchmal Hunderttausende von Beispielen für dieses Fine-Tuning. Wenn du für deine spezielle Aufgabe nicht so viele Daten hast (vielleicht ist sie super nischig?), hast du ziemlich schlechte Karten. 2. Overfitting-Risiko: Manchmal lernt die KI bei zu starkem Fine-Tuning auf einem engen Datensatz zwar extrem gut auf genau diese Daten, versagt aber bei leicht abweichenden Beispielen. Das ist wie Auswendiglernen für die Klausur, statt das Thema wirklich zu verstehen. 3. Nicht gerade menschlich: Menschen sind genial darin, schnell neue Sachen zu lernen. Zeig uns ein paar Bilder von einem neuen Tier, und wir können es meistens später wiedererkennen. Wir brauchen keine Tausenden Bilder und ein strenges Trainingsprogramm dafür! Und genau hier kommen GPT-3 und das Konzept des 'In-Context Learning' ins Spiel. Die Idee ist: Wenn ein Modell groß genug ist und auf genügend unterschiedlichen Daten trainiert wurde, kann es eine Art Meta-Lernfähigkeit entwickeln. Es lernt, wie man lernt. Wenn du das Modell dann benutzt ('Inference Time'), änderst du keine Gewichte oder trainierst es neu. Stattdessen gibst du ihm die Aufgabenbeschreibung und vielleicht ein paar Beispiele – alles direkt im Text-Prompt. Das ist der 'Few-Shot' (oder 'One-Shot' oder 'Zero-Shot') Lernteil. Ziemlich clever, oder?

Lernt GPT-3 wirklich 'on the fly'?

Das ist die große Frage, und die Antwort ist: ja, aber mit einem kleinen Sternchen. GPT-3 wurde auf einem riesigen Korpus von Textdaten trainiert – stell dir das wie ein gigantisches digitales Gehirn vor, das fast alles gelesen hat, was je online geschrieben wurde. Dieses Training gibt ihm ein unglaubliches Verständnis von Sprache, Kontext und sogar ein gewisses Maß an Weltwissen. Wenn du GPT-3 dann eine Aufgabe stellst, ohne es neu zu trainieren, nutzt es dieses vortrainierte Wissen. Beim 'Few-Shot Learning' gibst du ihm im Prompt ein paar Beispiele. Das Modell erkennt dann die Muster in diesen Beispielen und wendet sie auf deine neue Anfrage an. Es ist, als ob es sagt: 'Ah, ich hab's! Du willst, dass ich das hier mache, weil diese Beispiele so aussehen!' Das 'Lernen' passiert also nicht im Sinne einer permanenten Gewichtsänderung im Modell, sondern im Kontext der aktuellen Eingabe. Das Modell passt sein Verhalten für diese spezifische Anfrage an, basierend auf den Beispielen, die du ihm gibst. Das ist super effizient und ermöglicht eine unglaubliche Flexibilität. Aber ist es echtes 'Lernen' wie bei uns Menschen? Da gehen die Meinungen auseinander. Es ist eher ein extrem ausgeklügeltes Mustererkennen und Anwenden.

Trefft GPT-3: Der 175-Milliarden-Parameter-Gigant

Was genau ist GPT-3 eigentlich? Es ist ein autoregressives Sprachmodell. Das bedeutet im Grunde, dass es das nächste Wort in einer Sequenz vorhersagt, basierend auf allen vorherigen Wörtern. Denk an eine super-duper Autovervollständigung. Der Clou sind die '175 Milliarden Parameter'. Das ist eine Zahl, die einem glatt den Kopf verdreht! Es bedeutet, das Modell hat 175 Milliarden Stellschrauben (Parameter), die während des massiven Trainings justiert wurden. Zum Vergleich: Sein Vorgänger, GPT-2, hatte etwa 1,5 Milliarden Parameter. GPT-3 ist also grob 100 Mal größer! Diese schiere Größe ist der Grund für seine Few-Shot-Lernfähigkeiten. Die Forscher haben GPT-3 auf einer wilden Bandbreite von Aufgaben getestet, und die Ergebnisse waren ziemlich beeindruckend. Es war nicht nur gut, es war oft konkurrenzfähig und manchmal sogar besser als die besten Modelle, die speziell für diese Aufgaben 'feinabgestimmt' wurden. Und das alles ohne jegliche Gradienten-Updates, nur durch das Anschauen der Beispiele im Prompt. Genial! Sie haben drei Hauptarten betrachtet, wie man das Modell nutzen kann: Zero-Shot: Du gibst dem Modell nur eine Anweisung, z.B. "Übersetze Englisch nach Französisch: cheese => ". Keine Beispiele nötig. One-Shot: Du gibst die Anweisung und ein Beispiel: "Übersetze Englisch nach Französisch: sea otter => loutre de mer. cheese => ". Few-Shot: Du gibst die Anweisung und ein paar Beispiele (bis zum Limit des Kontextfensters des Modells, das bei GPT-3 2048 Tokens sind): "Übersetze Englisch nach Französisch: sea otter => loutre de mer. peppermint => menthe poivrée. cheese => ". Und was denkst du? Je mehr Beispiele du ihm gibst (bis zu einem gewissen Punkt), desto besser wurde die Leistung! Es war, als würde das Modell sagen: 'Oh, ich hab's! So geht das also!' Dieser Skalierungseffekt war eine riesige Erkenntnis.

Was kann GPT-3 wirklich alles anstellen?

Dieses Paper ist vollgepackt mit Ergebnissen, die zeigen, wie GPT-3 alles Mögliche meistert – von einfacher Sprachmodellierung bis hin zu komplexem Schlussfolgern und sogar kreativem Schreiben. Schauen wir uns mal ein paar Highlights an:

Sprachmodellierung & Textvervollständigung: Das tägliche Brot

Im Grunde ist GPT-3 ein Sprachmodell. Es sagt das nächste Wort voraus. Und wenn man das richtig, richtig gut kann, kann man erstaunlich viele andere Dinge tun. GPT-3 hat Spitzenleistungen bei Standard-Benchmarks zur Sprachmodellierung wie dem Penn Treebank (PTB) erzielt. Das heißt, es war am besten darin, Textsequenzen vorherzusagen. Es hat auch Aufgaben wie LAMBADA gemeistert, bei denen es darum geht, das letzte Wort eines Textabschnitts vorherzusagen, was zeigt, dass es den Langzeitkontext gut versteht. Sogar bei HellaSwag, einer kniffligen Aufgabe zum gesunden Menschenverstand, und StoryCloze, bei der das Ende einer Geschichte erraten werden muss, hat es super abgeschnitten.