Vista previa del resumen
¡Hablemos de GPT-3! La IA Que Aprende Casi al Vuelo
¡Qué onda, amigo/a! ¿Has oído hablar de GPT-3? Es esta cosa gigante de inteligencia artificial creada por OpenAI, y de verdad que es un parteaguas. Olvídate de la forma antigua de entrenar a las IAs, que se tardaba un montón y necesitabas un montón de datos súper específicos para cada cosita nueva que quisieras que hicieran. GPT-3 es diferente: aprende sobre la marcha, usando algo que llaman 'few-shot learning'. Imagina que le muestras a un amigo un par de veces cómo se juega un juego nuevo y ¡listo!, lo entiende. Pues algo así, pero para una IA. Este estudio, escrito por un montón de cracks de OpenAI (con una ayudita de la Universidad Johns Hopkins), se mete de lleno a explicar cómo funciona GPT-3 y todo lo que puede hacer. ¡Prepárate, que viene lo bueno!
El Método Antiguo vs. El Nuevo: ¿Por Qué GPT-3 Mola Tanto?
Antes de GPT-3, la movida era entrenar un modelo gigante con un chorro de texto general (básicamente, casi todo internet) y luego hacerle un 'fine-tuning'. Esto último es como darle un entrenamiento extra con datos más específicos para la tarea que querías. Piensa en ello como estudiar una carrera general y luego hacer una maestría súper especializada. Funciona, sí, pero tiene sus pegas: 1. Necesita Demasiados Datos: Para ese 'fine-tuning', a veces requieres miles, ¡o hasta cientos de miles de ejemplos! Si tu tarea es muy específica o rara y no tienes tantos datos, pues... mala suerte. 2. Riesgo de 'Overfitting': A veces, si te enfocas demasiado en un conjunto de datos pequeño y específico, la IA se vuelve geniaaaaal con esos datos exactos, pero falla estrepitosamente con cualquier cosa que sea un poquito diferente. Es como memorizar las respuestas del examen sin entender la materia. 3. Poco Humano: Los humanos somos unos cracks aprendiendo rápido. Te enseñamos un par de fotos de un animal nuevo y, en general, lo identificamos después. No necesitamos ver miles de fotos ni pasar por un curso intensivo. Aquí es donde entran GPT-3 y el 'in-context learning'. La idea es que si un modelo es lo suficientemente grande y ha sido entrenado con datos muy variados, puede desarrollar una especie de 'meta-aprendizaje'. Aprende cómo aprender. Y lo más guay es que, cuando lo usas ('inference time'), no tienes que actualizar sus pesos ni reentrenarlo. Simplemente le das la descripción de la tarea y un par de ejemplos, todo dentro del mismo texto que le mandas (el 'prompt'). ¡Eso es el 'few-shot' (o 'one-shot' o 'zero-shot') learning! ¿A que mola?
Conoce a GPT-3: El Gigante de 175 Mil Millones de Parámetros
¿Qué es GPT-3 exactamente? Es un modelo de lenguaje autorregresivo. ¿Qué significa eso? Pues que predice la siguiente palabra basándose en las anteriores. Piensa en ello como un autocompletar súper avanzado. Lo que lo hace flipante son sus '175 mil millones de parámetros'. ¡Es una barbaridad! Son como 175 mil millones de botones ajustables que el modelo 'aprendió' durante su entrenamiento masivo. Para que te hagas una idea, su predecesor, GPT-2, tenía unos 1.5 mil millones. ¡GPT-3 es como 100 veces más grande! Y esta escala brutal es lo que le da esa capacidad de 'few-shot learning'. Los investigadores probaron GPT-3 en un montón de tareas diferentes, y los resultados fueron, sinceramente, impresionantes. No solo era bueno; muchas veces competía, y a veces superaba, a los mejores modelos que habían sido entrenados específicamente para esas tareas. Y lo hizo sin actualizar nada, solo viendo los ejemplos que le dabas en el prompt. Probaron tres formas principales de usar el modelo: Zero-Shot: Le das solo la instrucción. Por ejemplo: "Traduce de inglés a francés: queso => ". Ni un solo ejemplo. One-Shot: Le das la instrucción y un ejemplo: "Traduce de inglés a francés: loutre de mer => sea otter. queso => ". Few-Shot: Le das la instrucción y unos cuantos ejemplos (hasta el límite de la 'ventana de contexto' del modelo, que en GPT-3 es de 2048 tokens, más o menos palabras o trozos de palabras): "Traduce de inglés a francés: loutre de mer => sea otter. menthe poivrée => peppermint. queso => ". ¿Y sabes qué? ¡Cuantos más ejemplos le dabas (hasta cierto punto), mejor lo hacía! Era como si el modelo dijera: "¡Ah, ya entiendo! ¡Así es como se hace!". Este beneficio por escala fue un descubrimiento clave.
¿Qué Puede Hacer GPT-3 en Realidad?
Este estudio está lleno de resultados, mostrando a GPT-3 haciendo de todo, desde modelado de lenguaje básico hasta razonamiento complejo y hasta escritura creativa. Veamos algunos de los puntos más destacados:
Modelado de Lenguaje y Completado de Texto: Su Pan de Cada Día
En su esencia, GPT-3 es un modelo de lenguaje. Predice la siguiente palabra. Resulta que si eres muy, muy bueno en eso, puedes hacer un montón de otras cosas. GPT-3 consiguió resultados de vanguardia en benchmarks estándar de modelado de lenguaje como Penn Treebank (PTB), lo que significa que era el mejor prediciendo secuencias de texto. También se llevó tareas como LAMBADA, que requiere predecir la última palabra de un pasaje, demostrando que capta bien el contexto a largo plazo. Incluso lo hizo genial en HellaSwag, una tarea desafiante de inferencia de sentido común, y StoryCloze, que trata de predecir el final de una historia.
Respuesta a Preguntas: Como una Enciclopedia Andante (con un Giro)
Imagina preguntarle cosas a una IA sin necesidad de entrenarla en un conjunto de datos específico de preguntas y respuestas. GPT-3 hizo justo eso en conjuntos de datos como Natural Questions, WebQuestions y TriviaQA. En un entorno de 'libro cerrado' (donde el modelo solo usa su conocimiento pre-entrenado), su rendimiento en 'few-shot' estuvo increíblemente cerca de los modelos más avanzados con 'fine-tuning'. Incluso alcanzó el estado del arte en uno de esos conjuntos de datos. Es como si tuviera una biblioteca enorme en su cabeza y pudiera encontrar rápidamente información relevante basada en tu pregunta y un par de ejemplos.
