“Convertir frases en lengua de signos grabadas en vídeo a lengua hablada en formato texto”. Esa es la idea del nuevo proyecto del Barcelona Supercomputing Center (BSC) y la Universidad Politécnica de Cataluña (UPC), que han desarrollado una herramienta de inteligencia artificial que mejorará la accesibilidad y la inclusión de los sordos en la sociedad.
“La nueva herramienta desarrollada es una extensión de una publicación anterior también del BSC y la UPC denominada How2Sign, donde se publicaron los datos necesarios para entrenar a los modelos -más de 80 horas de vídeos donde intérpretes de la lengua de signos americano traducen videotutoriales como recetas de cocina o trucos de bricolaje-”, explica Laia Tarrés, investigadora del BSC y la UPC.
Este How2Sign permite que investigadores tanto del campo del procesado del lenguaje natural como los de visión por computador “puedan seguir avanzando en el área de la traducción automática y de la producción del lenguaje de signos”. Como ya explicó el BSC en 2021: los principales avances en inteligencia artificial requieren de tres ingredientes: los algoritmos, la computación y los datos.
“How2Sign son los datos que, analizados por redes neuronales profundas en centros de supercomputación, permitirán mejorar significativamente la accesibilidad a tecnologías como los asistentes virtuales o robóticos”.
Así, con estos datos, el equipo de ambas instituciones ha desarrollado “un nuevo software de código abierto capaz de aprender el mapeado entre vídeo y texto”. Cabe destacar que esta herramienta todavía está en fase experimental. Además, utiliza un modelo de aprendizaje automático llamado Transformers -que, entre otras cosas, es la base de otras plataformas de IA, como puede ser el ChatGPT-.
Un carácter “experimental”
Al tener ese carácter experimental, de momento solo cuenta con la capacidad de convertir la lengua de signos americana (ASL, en su original en inglés). Sin embargo, “podría adaptarse a cualquier otra lengua siempre que estén disponibles todos los datos necesarios; es decir, que exista un corpus con datos paralelos donde cada frase de lengua de signos tenga la correspondiente traducción en lengua hablada.
Por último, para Tarrés, esta herramienta abierta de traducción automática de lengua de signos “es una contribución valiosa para la comunidad científica centrada en accesibilidad, y su publicación representa un paso significativo hacia la creación de tecnología más inclusiva y accesible para todos”.
Del How2Sign a una posible app
El equipo del BSC y la UPC, indican, han combinado “técnicas de visión por computador, procesamiento de lenguaje natural y aprendizaje automático para avanzar en la investigación en la traducción automática de lengua de signos, un problema complejo debido en parte a la variabilidad y gran cantidad de lenguas de signos que existen en el mundo”. Y es que, a pesar de los avances en tecnologías como Alexa y Siri, estas lenguas “todavía no están incluidas en estas aplicaciones”.
La pregunta es ¿habrá alguna app para sordos? Posiblemente. Desde el BSC afirman, por otro lado, que aunque este nuevo trabajo está “en una dirección correcta” todavía “hay mucho margen de mejora”. Y subrayan: “Estamos ante unas primeros resultados que, por el momento, no permiten crear una aplicación concreta que dé servicio a los usuarios. El objetivo es seguir trabajando para mejorar la herramienta y obtener una aplicación real”.
