Tecnologías de reconocimiento de manos para fomentar la inclusión: interpretación automática del lenguaje de señas chilena

Resumen

Existen personas que sufren, ya sea problema de audición o del habla, ocasionando un problema de comunicación innegable en sus vidas. Estas personas que sufren de esta discapacidad se logran comunicar a través de la utilización del lenguaje de señas, sin embargo, este lenguaje no es muy conocido para una gran parte de la población humana que utilizan el habla o se comunican a través de la escritura. Este Trabajo se centra en el uso de tecnologías de reconocimiento de manos para interpretar el lenguaje de signos adoptando el lenguaje de señas chileno, utilizando técnicas de visión computacional y Machine Learning (ML), con distintas librerías de reconocimiento de objetos, las cuales se utilizaron junto con un conjunto de imágenes 2D de manos, las cuales se prepararon en un archivo CSV. También se utilizó Mediapipe para detectar puntos clave en las manos, logrando una alta precisión en la detección de gestos.

Para mayor efectividad se utilizó OpenCV, Roboflow y Mediapipe Hands para detectar puntos característicos en las manos para detectar la mano (izquierda o derecha) y realizar procedimientos en ella. El módulo especializado Mediapipe Hands del framework Mediapipe que utiliza modelos pre-entrenados de red neuronal convolucional para identificar 21 puntos clave en las manos, permitiendo la detección de gestos y manos en tiempo real, siendo necesarios para detectar una mano y trabajar con ellos en imágenes estáticas o video. OpenCV se empleó para capturar imágenes por segundo a color RGB y renderizar imágenes estáticas. Roboflow se utilizó para entrenar el dataset para el reconocimiento de lengua de señas chilena.