En el mundo tecnológico estamos acostumbrados a que todo vaya muy rápido. La competitividad es muy intensa y, aunque los desarrollos a menudo tardan años o incluso décadas, el hecho de que se realicen en paralelo da la imagen de que todo avanza muy rápidamente.

Pero de vez en cuando este mundo se detiene. Esto es lo que ha pasado con los modelos de lenguaje. Hace un par de años, con la salida de ChatGPT, el mundo explotó. Los gobiernos se apresuraron a regular aquello que aún no sabíamos, ni sabemos, hacia dónde nos llevará. ¿Y después? Los grandes modelos parecen converger en un rendimiento sino similar, sí semejante, a cierta distancia del resto de modelos. Aún hay algunos que tienen menos "alucinaciones" que otros, pero hay una cierta convergencia. Algunos ya interactúan no solo con texto sino también con voz, imágenes e incluso vídeo.

Parece como si no pasara nada más y estuviéramos en el momento de los desarrollos sectoriales y específicos. ¿Es así?

En buena parte sí, pero aún les queda camino para hacerlo mucho mejor. Entonces, ¿por qué tardan tanto?

Los datos son muy importantes, especialmente su calidad. ¿Os imagináis las respuestas de un modelo entrenado con los datos de Forocoches?

Estos modelos, más allá del algoritmo del propio modelo, tienen dos claves. La primera son los datos y la segunda el entrenamiento.

Los datos son muy importantes, especialmente los datos de calidad. ¿Os imagináis las respuestas de un modelo entrenado con los datos de Forocoches? ¿O con los comentarios que a menudo encontramos en X? Sería un modelo tan curioso como inútil. Encontrar grandes cantidades de datos de calidad y bien escritos que estén accesibles de forma libre no es fácil. Algunos países, como Japón, han legislado que entrenar modelos con datos públicos es perfectamente legítimo, pero en la mayor parte del mundo no hay ni una legislación ni una jurisprudencia concreta, y si lo haces te pueden llevar a juicio con la esperanza de obtener un beneficio económico.

Pero este no es el problema más importante porque, sobre todo los grandes modelos, disponen de un conjunto importante de datos de calidad. Obviamente tienen muchos huecos y les gustaría tener más.

Los primeros modelos de ChatGPT los entrenaban humanos con buen nivel educativo y a bajo coste; uno de los países donde se subcontrataba era Nigeria

El problema importante es el entrenamiento, para eso se necesita intervención humana.

Los primeros modelos como el GPT-3x se entrenaban con conjuntos reducidos de datos, menos de 40.000 preguntas respondidas, escritas por humanos con un buen nivel educativo y a bajo coste. Uno de los países donde se subcontrataba gente para hacer esto era Nigeria. Los modelos utilizaban empresas de servicios para esta tarea, no lo hacían ellos directamente. De esa época aún queda que gran parte del inglés que usan estos modelos es africano, con mucho uso de palabras como “delve” o “significant”, poco habituales en el Reino Unido o Estados Unidos. La siguiente generación como el GPT-4 y siguientes, ya se hizo con estudiantes universitarios y expertos que cobraban $20 la hora o más y podían sacarse un buen sueldo.

¡Ahora son académicos, doctores y expertos!

El porqué es fácil de entender. Estos modelos interiorizan un modelo del mundo a partir de los textos que aprenden. La plasmación de este modelo con el nivel de detalle y expresión es lo que valoramos, lo que hace que digamos que unos son más inteligentes que otros.

Ahora se busca que operen a nivel de un doctor o un académico. Para eso hay que escalar el nivel de entrenamiento

Los primeros modelos operaban a nivel de un estudiante de bachillerato, después ya fue un universitario o incluso un experto, como por ejemplo en temas de programación. Ahora se busca que operen a nivel de un doctor, un académico o un especialista en el tema. Por eso es necesario escalar el nivel de entrenamiento.

Como os podéis imaginar, esto no tiene nada de fácil, pero sobre todo no tiene nada de rápido. Por eso necesitaremos tiempo. También se usan modelos para mejorar las preguntas/respuestas que se utilizan para entrenarlos, como el CriticGPT, pero aunque estas herramientas ayudan a mejorar mucho los modelos, no hacen que el proceso sea más rápido.

Es decir, ¡tendremos que esperar!

La pregunta que queda en el aire es, ¿y después qué? ¿Quién será capaz o cómo entrenaremos modelos que lo hagan tan bien como los mejores expertos?