En nuestro segundo Serie de cinco partesExplicaré cómo funciona realmente la tecnología.
La IA que impulsa a ChatGPT, el chatbot de Bing de Microsoft y Google Bard pueden llevar a cabo conversaciones similares a las de los humanos y escribir prosa fluida y natural sobre una variedad infinita de temas. También pueden realizar tareas complejas, desde escribir código hasta planificar una fiesta de cumpleaños para niños.
Pero, ¿cómo funciona todo esto? Para responder a eso, debemos echar un vistazo a algo llamado modelo de gran lenguaje, el tipo de inteligencia artificial que impulsa estos sistemas.
Language Large Models, o LLM, son relativamente nuevos en la escena de la IA. El primero salió hace sólo unos cinco años, y no era muy bueno. Pero hoy pueden redactar correos electrónicos, presentaciones, memorandos y enseñarte en un idioma extranjero. Es seguro que surgirá más potencial en los próximos meses y años, a medida que la tecnología mejore y Silicon Valley se acelere para capitalizarla.
Lo guiaré a través de la configuración de un modelo de lenguaje grande desde cero, simplificando las cosas y omitiendo muchas de las matemáticas difíciles. Supongamos que estamos tratando de crear un LLM para ayudarlo a responder sus correos electrónicos. Lo llamaremos MailBot.
Paso 1: establecer una meta
Todo sistema de IA necesita un objetivo. Los investigadores llaman a esto función objetiva. Puede ser simple, por ejemplo, “Gana tantos juegos de ajedrez como sea posible”, o complejo, como “Predecir las formas 3D de las proteínas, usando solo su secuencia de aminoácidos”.
La mayoría de los grandes paradigmas lingüísticos tienen la misma función objetiva básica: dada una secuencia de texto, adivina qué viene después. Le daremos a MailBot objetivos más específicos más adelante, pero por ahora, mantengamos ese objetivo.
Paso dos: recopile una gran cantidad de datos
A continuación, necesitamos recopilar datos de entrenamiento que le enseñarán a MailBot a escribir. Idealmente, acumularíamos un gran depósito de texto, lo que generalmente significa miles de millones de páginas extraídas de Internet, como publicaciones de blogs, tweets, artículos de Wikipedia y noticias.
Para comenzar, usaremos algunas bibliotecas de datos gratuitas y disponibles públicamente, como el Repositorio de rastreo de datos web compartidos. Pero también querremos agregar nuestra propia salsa secreta, en forma de datos propietarios o propietarios. Tal vez licenciaremos algunos scripts en idiomas extranjeros, de modo que MailBot aprenda a redactar correos electrónicos en francés o español además de inglés. En general, cuantos más datos tengamos y más diversas las fuentes, mejor será nuestro modelo.
Antes de que podamos ingresar datos en nuestro formulario, debemos dividirlos en unidades llamadas tokens, que pueden ser palabras, frases o incluso caracteres individuales. Convertir texto en fragmentos más pequeños ayuda al formulario a analizarlo más fácilmente.
Paso 3: construye tu red neuronal
Una vez que nuestros datos se han convertido en tokens, debemos armar el “cerebro” de la IA, un tipo de sistema conocido como red neuronal. Esta es una red compleja de nodos interconectados (o “neuronas”) que procesan y almacenan información.
Para MailBot, querremos usar un tipo relativamente nuevo de red neuronal conocida como Modelo de transformadores. Pueden analizar varias piezas de texto al mismo tiempo, lo que lo hace más rápido y eficiente. (Los modelos de transformadores son clave para sistemas como ChatGPT, cuyo acrónimo completo significa “Transformador preentrenado generativo”).
Paso 4: entrena tu red neuronal
Luego, el modelo analizará los datos, los tokenizará e identificará patrones y relaciones. A menudo puede notar que “Estimado” va seguido de un nombre, o que “Saludos cordiales” suele ir antes de su nombre. Al identificar estos patrones, la IA aprende a formar mensajes que tengan sentido.
El sistema también desarrolla un sentido de contexto. Por ejemplo, puede aprender que “banco” puede referirse a una institución financiera oa la orilla de un río, según las palabras que lo rodean.
A medida que el modelo de Transformer aprende estos patrones, dibuja un mapa: una representación matemática muy compleja del lenguaje humano. Rastrea estas relaciones usando valores numéricos conocidos como borde. Muchos de los mejores LLM de la actualidad tienen cientos de miles de millones de parámetros o más.
La capacitación podría tomar días o incluso semanas y requeriría una enorme cantidad de poder de cómputo. Pero una vez que haya terminado, estará casi listo para comenzar a escribir sus correos electrónicos.
Por extraño que parezca, también podría desarrollar otras habilidades. A medida que los LLM aprenden a predecir la siguiente palabra en una secuencia, una y otra vez, pueden adquirir otras habilidades inesperadas, como saber programar. Los investigadores de IA llaman a estos comportamientos emergentes y, a veces, todavía están desconcertados.
Paso 5: refina tu modelo
Una vez que se entrena un modelo de lenguaje grande, se debe calibrar para una función específica. Un chatbot utilizado por un hospital puede necesitar comprender la terminología médica, por ejemplo.
Para ajustar el MailBot, podemos pedirle que genere un lote de correos electrónicos, contratar personas para calificarlo en función de la precisión y luego volver a colocar las calificaciones en el modelo hasta que mejore.
Esta es una aproximación aproximada del enfoque que se utilizó con ChatGPT, que se conoce como Mejore el aprendizaje con comentarios humanos.
Paso 6: lanzamiento, con cuidado
¡Felicidades! Una vez que MailBot está entrenado y configurado, está listo para usar. Después de crear algún tipo de interfaz de usuario para él, como una extensión de Chrome que se conecta a su aplicación de correo electrónico, puede comenzar a enviar correos electrónicos.
Pero no importa qué tan bueno sea, aún querrás vigilar a tu nuevo asistente. Como empresas como Microsoft y Meta han aprendido por las malas, los sistemas de IA pueden ser erráticos e impredecibles, o incluso aterradores y peligrosos.
Mañana escucharemos más acerca de cómo las cosas pueden salir mal de maneras inesperadas y, a veces, molestas.
Tu tarea
Exploremos una de las habilidades más creativas del LLM: la capacidad de combinar conceptos y formatos dispares en algo extraño y nuevo. Por ejemplo, los colegas de Well le pidieron a ChatGPT que “escribiera una canción con la voz de Taylor Swift usando temas de un libro de Dr. Seuss”.
Para la tarea de hoy, intente mezclar y combinar formato, estilo y tema, como “Escribe una quintilla al estilo de Snoop Dogg sobre el calentamiento global”.
No olvides compartir tu creación como comentario.
una prueba
Pregunta 1 de 3
¿Cuál es la funcionalidad objetiva básica de los grandes modelos de lenguaje como ChatGPT?
Comience la prueba eligiendo su respuesta.
Glosario
modelo de transformador: Una arquitectura de red neuronal útil para la comprensión del lenguaje, que no tiene que analizar las palabras una por una, sino que puede ver una oración completa a la vez. Una técnica llamada autoatención permite que el modelo se centre en palabras específicas que son importantes para comprender el significado de una oración.
borde: Valores numéricos que definen la estructura y el comportamiento de un modelo de lenguaje grande, como pistas que lo ayudan a adivinar qué palabras vendrán a continuación. Se cree que los sistemas modernos como GPT-4 contienen cientos de miles de millones de parámetros.
Refuerzo del aprendizaje: Una técnica que enseña a un modelo de inteligencia artificial a encontrar el mejor resultado por ensayo y error, y recibir recompensas o penalizaciones de un algoritmo basado en sus resultados. Este sistema se puede mejorar dando retroalimentación humana sobre su desempeño.
Haga clic aquí para obtener más términos.