En el món tecnològic estem acostumats que tot vagi molt de pressa. La competitivitat és molt intensa i, tot i que els desenvolupaments sovint triguen anys o fins i tot dècades, el fet que es facin en paral·lel dona aquesta imatge que tot avança molt ràpidament.

Però de tant en tant aquest món s’atura. Això és el que ha passat amb els models de llenguatge. Fa un parell d’anys, amb la sortida del ChatGPT, el món va esclatar. Els governs es van afanyar a regular allò que encara no sabíem, ni sabem, cap a on ens portarà. I després? Els grans models sembla que conflueixen en un rendiment sinó similar, sí semblant, a certa distància de la resta de models. Encara n’hi ha uns que tenen menys “al·lucinacions” que altres, però hi ha una certa confluència. Alguns ja interactuen no només amb text sinó també amb veu, imatges i fins i tot vídeo.

Sembla com si no passés res més i estiguéssim en el moment dels desenvolupaments sectorials i específics. És així?

En bona part sí, però encara els queda camí per fer-ho molt millor. Llavors, per què triguen tant?

Les dades són molt importants, especialment la qualitat. Us imagineu les respostes d’un model entrenat amb les dades de Forocoches?

Aquests models, més enllà de l’algoritme del propi model, tenen dues claus. La primera són les dades i la segona l’entrenament.

Les dades són molt importants, especialment les dades de qualitat. Us imagineu les respostes d’un model entrenat amb les dades de Forocoches? O amb els comentaris que sovint trobem a X? Seria un model tan curiós com inútil. Trobar quantitats importants de dades de qualitat i ben escrites que estiguin accessibles de forma lliure no és fàcil. Alguns països, com ara el Japó, han legislat que entrenar models amb dades públiques és perfectament legítim, però en la major part del món no hi ha ni una legislació ni una jurisprudència concreta, i si ho fas et poden portar a judici amb l’esperança d’obtenir un benefici econòmic.

Però aquest no és el problema més important perquè, sobretot els grans models, disposen d’un conjunt important de dades de qualitat. Òbviament tenen molts forats i els agradaria tenir-ne més.

Els primers models de ChatGPT els entrenaven humans amb bon nivell educatiu i a baix cost; un dels països on es subcontractava era Nigèria

El problema important és l’entrenament, per això cal intervenció humana.

Els primers models com el GPT-3x s’entrenaven amb conjunts reduïts de dades, menys de 40.000 preguntes respostes, escrites per humans amb un bon nivell educatiu i a baix cost. Un dels països on es subcontractava gent per fer això era Nigèria. Els models utilitzaven empreses de serveis per aquesta tasca, no ho feien ells directament. D’aquesta època encara queda que bona part de l’anglès que fan servir aquests models és africà, amb molt ús de paraules com “delve” o “significant”, d’ús no massa estès al Regne Unit o als Estats Units. La següent generació com el GPT-4 i següents, ja es va fer amb estudiants universitaris i experts que cobraven 20 dòlars l’hora o més i es podien treure un bon sou.

Ara són acadèmics, doctors i experts!

El perquè és fàcil d’entendre. Aquests models interioritzen un model del món a partir dels textos que aprenen. La plasmació d’aquest model amb el nivell de detall i expressió és el que valorem, el que fa que diguem que uns són més intel·ligents que altres.

Ara es busca que operin a nivell d’un doctor o un acadèmic. Per això cal escalar el nivell d’entrenament

Els primers models operaven a nivell d’un estudiant de batxillerat, després ja va ser un universitari o fins i tot un expert, com per exemple en temes de programació. Ara es busca que operin a nivell d’un doctor, un acadèmic o un especialista en el tema. Per això cal escalar el nivell d’entrenament.

Com us podeu imaginar, això no té res de fàcil, però sobretot no té res de ràpid. Per això ens caldrà temps. Fan servir models per millorar les preguntes/respostes que es fan servir per ensinistrar els models, com ara el CriticGPT, però tot i que aquestes eines ajuden a millorar molt els models, no fan que el procés sigui més ràpid.

És a dir, ens caldrà esperar!

La pregunta que queda a l’aire és, i després què? Qui serà capaç o com entrenarem models que ho facin tan bé com els millors experts?