Reconocimiento aislado de la lengua de señas chilena en tiempo real usando Deep Learning

Resumen

La lengua de señas es parte fundamental de la cultura sorda y tiene sus propias reglas lingüísticas y gramaticales que permiten la perfecta comunicación entre sus hablantes (señantes). En informática se han estudiado algunos mecanismos automáticos para favorecer esta comunicación. Uno de ellos es el Reconocimiento de la Lengua de Señas (SLR), el cual abarca el proceso completo de seguimiento e identificación de las señas realizadas, así como su conversión en palabras y expresiones. Este trabajo desarrolla un conjunto de datos para el Reconocimiento Aislado de Lengua de Señas Chilena (LSCh) mediante la segmentación manual de videos de estudiantes sordos, pre-procesándolos con una herramienta de estimación de postura y clasificándolos con modelos de aprendizaje profundo basados en Transformers. Además, explora el impacto del aumento de datos en el rendimiento del modelo y lo compara con resultados del corpus de lengua de señas argentino (LSA64). Los resultados muestran la importancia del aumento de datos en conjuntos más pequeños y demuestran que un modelo puede aprender de signos realizados tanto por signantes zurdos como diestros. Las métricas de los experimentos muestran una exactitud de 0,75 y 0,94, y una sensibilidad de 0,74 y 0,94 para LSCh y LSA64 respectivamente, utilizando los modelos con mejor rendimiento (Mirror + Angle).