La inteligencia artificial es cada vez menos fiable y más propensa a proporcionar respuestas incorrectas. Esto asegura un estudio liderado por un equipo del Instituto VRAIN de la Universidad Politécnica de Valencia (UPV) y la Escuela Valenciana de Posgrado y Red de Investigación en Inteligencia Artificial (ValgrAI), junto con la Universidad de Cambridge, que se ha publicado en la revista Nature.
Y con la IA han saltado las alarmas: subrayan que, “en comparación con los primeros modelos, y atendiendo a ciertos aspectos, la fiabilidad ha empeorado en los modelos más recientes (GPT-4 en comparación con GPT-3, por ejemplo)”.
Además, una de las principales preocupaciones sobre la fiabilidad de los modelos de lenguaje es que “su funcionamiento no se ajusta a la percepción humana de dificultad de la tarea”. En otras palabras, “existe una discordancia entre las expectativas de que los modelos fallen de acuerdo con la percepción humana de dificultad en la tarea y las tareas donde realmente los modelos fallan”.
En resumen: los modelos de inteligencia artificial pueden resolver varios problemas matemáticos de nivel de doctorado, pero se pueden equivocar en una simple suma.
“Los modelos más recientes básicamente mejoran su rendimiento en tareas de alta dificultad, pero no en tareas de baja dificultad, lo que agrava la discordancia de dificultad entre el rendimiento de los modelos y las expectativas humanas”, explica Fernando Martínez Plumed, investigador de VRAIN UPV.
Los jardines de la IA
Martínez Plumed señala que los modelos de inteligencia artificial son cada vez más potentes, “pero no te puedes fiar del todo de las respuestas que te da, porque no son capaces de decir ‘no lo sé’ o no son capaces de decir ‘pues de esta pregunta no te puedo contestar porque no tengo las suficientes nociones o información para contestarla’. Son mucho más potentes, el desempeño es muchísimo mayor, puedes resolver problemas cada vez más complicados… pero si muchas veces no te puedes fiar de la respuesta, realmente no son útiles”.
Es curioso descubrir que modelos anteriores al ChatGPT-4 eran capaces de no responder a una pregunta si no sabían la respuesta, mientras que ahora responden a todo. ¿Cómo se podría solucionar?
Según el investigador, se podría solucionar con algún tipo de refuerzo final, una evaluación final con humanos, que permita realmente reentrenar a los modelos. “Y que respuestas que no sepa contestar realmente, que no las conteste, que no haya respuesta incorrecta, inventada”.
“La IA tiende a meterse en muchos jardines. todas estas alucinaciones que sacan en la prensa, graciosas en muchos casos, pues ese es el problema que hay. Que inventa información. Es un problema de los modelos, pero también es un problema de los usuarios, que no tienden a tener una visión crítica de la respuesta que le da la IA, se imaginan que es la Wikipedia”, argumenta Martínez Plumed.
“Al final se ve a ChatGPT como si no fuera una inteligencia artificial, sino un buscador, una base de datos compleja cuyos resultados son siempre hechos. Y no es así”.
