Summio

PDF

Modelos de Linguagem são Aprendizes de Poucos Exemplos

Este artigo apresenta o GPT-3, um modelo de linguagem massivo capaz de aprender novas tarefas com apenas alguns exemplos, revolucionando a forma como pensamos sobre IA.

17 min de leitura

Disponível em

Prévia do resumo

GPT-3: A IA Que Aprende na Hora (Mais ou Menos!)

E aí, galera! Já ouviram falar do GPT-3? É um modelo de inteligência artificial gigante da OpenAI, e tipo, ele é um divisor de águas. Esqueçam aqueles jeitos antigos de treinar IA que levavam uma eternidade e precisavam de um monte de dados específicos pra cada coisinha nova. O GPT-3 é todo sobre aprender na hora, usando uma coisa que eles chamam de 'aprendizado few-shot' (poucos exemplos). Imagina mostrar pra um amigo só um ou dois exemplos de um jogo novo, e ele saca tudo na hora? É mais ou menos essa a pegada, só que pra uma IA! Esse artigo, escrito por uma galera super esperta da OpenAI (com uma ajudinha da Universidade Johns Hopkins), mergulha fundo no que faz o GPT-3 funcionar e o que ele pode fazer.

O Jeito Antigo vs. O Jeito Novo: Por Que o GPT-3 é Importante

Antes do GPT-3, o método padrão pra fazer uma IA fazer tarefas específicas, tipo traduzir idiomas ou responder perguntas, era o 'pré-treinamento' seguido de 'fine-tuning' (ajuste fino). Você treinava um modelo grandão com um monte de texto geral (tipo a internet inteira, basicamente), e depois ajustava ele com um dataset menor, mas ainda assim considerável, focado na tarefa que você queria. Pensa nisso como fazer uma faculdade com um diploma geral, e depois um mestrado super específico. Funciona, mas tem umas desvantagens sérias: 1. Mão de Vaca com Dados: Você precisa de milhares, às vezes centenas de milhares, de exemplos pra essa parte do ajuste fino. Se você não tem tantos dados pra sua tarefa específica (talvez seja algo super nichado?), você tá meio que ferrado. 2. Risco de Overfitting: Às vezes, quando você ajusta demais com um dataset restrito, a IA fica craque naqueles dados exatos mas se enrola feio com exemplos um pouquinho diferentes. É tipo decorar as respostas pra uma prova em vez de realmente entender a matéria. 3. Nada Humano: Seres humanos são incríveis em aprender coisas novas rápido. A gente vê umas fotos de um animal novo, e geralmente consegue identificar depois. A gente não precisa ver milhares de fotos e passar por um treinamento rigoroso! É aí que entram o GPT-3 e o conceito de 'aprendizado in-context'. A ideia é que, se um modelo é grande o suficiente e treinado com dados diversos, ele pode desenvolver uma habilidade de meta-aprendizado. Ele aprende como aprender. Na hora de usar o modelo (inferência), você não atualiza os pesos dele nem retreina. Em vez disso, você só dá a descrição da tarefa e talvez alguns exemplos, tudo dentro do próprio prompt de texto. Essa é a parte 'few-shot' (poucos exemplos), 'one-shot' (um exemplo) ou 'zero-shot' (nenhum exemplo). Bem legal, né?

Conheça o GPT-3: O Gigante de 175 Bilhões de Parâmetros

Então, o que exatamente é o GPT-3? É um modelo de linguagem autorregressivo, o que basicamente significa que ele prevê a próxima palavra numa sequência com base em todas as palavras anteriores. Pensa nisso como um autocomplete superpoderoso. A parte de '175 bilhões de parâmetros' é o diferencial. É um número que explode a cabeça! Significa que o modelo tem 175 bilhões de 'botões' ajustáveis (parâmetros) que foram calibrados durante a fase massiva de treinamento. Pra comparar, a geração anterior, o GPT-2, tinha uns 1.5 bilhão de parâmetros. O GPT-3 é tipo 100 vezes maior! Essa escala pura é o que permite suas capacidades de aprendizado few-shot. Os pesquisadores testaram o GPT-3 numa gama enorme de tarefas, e os resultados foram bem impressionantes. Não foi só bom; muitas vezes ele competiu, e às vezes até superou, os melhores modelos que foram especificamente ajustados para aquelas tarefas. E ele fez isso sem nenhuma atualização de gradiente, só olhando os exemplos que você dava no prompt. Eles analisaram três maneiras principais de usar o modelo: Zero-Shot: Você só dá a instrução pro modelo, tipo, "Traduza inglês para francês: queijo => ". Sem exemplos. One-Shot: Você dá a instrução e um exemplo: "Traduza inglês para francês: lontra do mar => loutre de mer. queijo => ". Few-Shot: Você dá a instrução e alguns exemplos (até o limite da janela de contexto do modelo, que é de 2048 tokens pra GPT-3): "Traduza inglês para francês: lontra do mar => loutre de mer. hortelã-pimenta => menthe poivrée. queijo => ". E adivinha? Quanto mais exemplos você dava (até certo ponto), melhor ele ficava! Era como se o modelo dissesse: "Ah, entendi! É assim que se faz!" Esse benefício de escala foi uma descoberta enorme.

O Que o GPT-3 Realmente Pode Fazer?

Esse artigo tá recheado de resultados, mostrando o GPT-3 encarando tudo, desde modelagem básica de linguagem até raciocínio complexo e até escrita criativa. Vamos detalhar alguns dos pontos altos:

Modelagem de Linguagem e Completar Texto: O Básico do Básico

Na sua essência, o GPT-3 é um modelo de linguagem. Ele prevê a próxima palavra. Acontece que, se você for muito, muito bom nisso, pode fazer um monte de outras coisas também. O GPT-3 alcançou resultados de ponta em benchmarks padrão de modelagem de linguagem como o Penn Treebank (PTB), o que significa que ele era o melhor em prever sequências de texto. Ele também mandou bem em tarefas como LAMBADA, que exige prever a última palavra de uma passagem, mostrando que ele tem uma boa noção de contexto de longo alcance. Ele até se saiu bem no HellaSwag, uma tarefa desafiadora de inferência de senso comum, e no StoryCloze, que envolve prever o final de uma história.

Responder Perguntas: Tipo uma Enciclopédia Ambulante (com um Twist)

Imagina perguntar pra uma IA sem precisar ajustar ela pra um dataset específico de perguntas e respostas. O GPT-3 fez exatamente isso em datasets como Natural Questions, WebQuestions e TriviaQA. Em um cenário 'de livro fechado' (significando que o modelo só usa o conhecimento pré-treinado dele), seu desempenho few-shot foi notavelmente próximo dos melhores modelos ajustados finamente. Ele até atingiu o estado da arte em um desses datasets. É como se ele tivesse uma biblioteca gigante na cabeça e pudesse encontrar rapidamente informações relevantes com base na sua pergunta e em alguns exemplos.