La aplicación que reproduce las emociones.

• Post by: Gabriel Villarrubia González
• 11/11/2021
• No Comment

Investigadores del grupo ESALab crean una herramienta que permite comprender el diálogo entre personas mediante una transcripción en tiempo real de una conversación que puede visualizarse de forma escrita en una pantalla.

09-11-21-El-Mundo-rl

A diario trabajan para una educación accesible. Sus oídos son sus ojos, sin embargo, a través de una pantalla esos ojos no siempre pueden mostrar toda la información que quieren. A esto se suma la pandemia y la obligatoriedad de utilizar mascarilla en interiores. Por todo ello, entender una conversación por parte de determinados colectivos como son las personas sordas o aquellas que presentan deficiencia en la visión es una tarea muy complicada.
Además, hasta hace unas semanas, las clases en algunas universidades, como la de Salamanca, eran semipresenciales, es decir, los alumnos se conectaban desde sus hogares para el seguimiento de sus clases magistrales. Sin embargo, las locuciones o diálogos que se establecen en las videoconferencias son difíciles de comprender para las personas con discapacidad auditiva.

Con objeto de mejorar y apoyar a estos estudiantes, miembros del grupo ESALAB, el Servicio de Asuntos Sociales de la Universidad de Salamanca y la profesora Pilar Sánchez han desarrollado una herramienta que permite comprender el diálogo entre personas mediante una transcripción en tiempo real de una conversación, que puede visualizarse de forma escrita en una pantalla.

«No solo reproduce la conversación, sino que es capaz de detectar risas y diferentes emociones de los interlocutores», explica el investigador Gabriel Villarrubia.

En este sentido, comenta que permite comprender el diálogo entre dos o más personas de una forma sencilla y reproducirlo en cualquier idioma, es decir, una persona que no entienda el castellano puede enterarse de la conversación entre dos personas que hablan otro idioma. Solo, añade el también profesor de Informática y Computación es necesario instalarse esta plataforma en su dispositivo móvil o tableta y seleccionar el idioma en el que quiere recibir la transcripción de la charla.

¿El público al que va destinado? Según indica, las personas con dificultades auditivas o visuales son las que más se pueden beneficiar, si bien es muy útil para cualquier persona que desee tener por escrito una conversación o aquellos que necesiten enterarse de qué se está hablando en un instante determinado y no entienden el idioma. Es verdad, reconoce el investigador,
existen herramientas que utilizan técnicas de reconocimiento del habla, sin embargo, se han desarrollado para reconocer lenguajes y gramáticas coloquiales.

«Nuestra aplicación ofrece la posibilidad de reconocer, por ejemplo, conversaciones en entornos muy específicos y donde las aplicaciones tradicionales no son funcionales.

Uno de los entornos donde más énfasis hemos puesto y que más complejidad presenta es en el médico, donde los términos que tiene que reconocer son mucho más complejos», recalca.
La idea de esta app surgió de una necesidad. «Con la pandemia, el uso obligatorio de mascarillas complicó la comunicación de las personas con discapacidad auditiva.
El Servicio de Asuntos Sociales de la Universidad nos pidió ayuda », relata Pilar Sánchez. A raíz de ese llamamiento se puso en contacto con el grupo de investigación ESALAB para poder diseñar una herramienta que permitiera transcribir en tiempo real los diálogos en dispositivos, como los móviles, las tabletas o los ordenadores, de tal modo que cualquier estudiante con discapacidad auditiva pudiese leer en una pantalla las conversaciones que tuvieran lugar a su alrededor.
El tema era complicado porque al tratarse de grados universitarios se usan palabras muy técnicas. El grupo ESALAB ideó una aplicación gracias a la cual la transcripción de las palabras era muy fiable. A su vez el alumno podía escribir en la pantalla y ser comprendido por el resto de las personas presentes en la habitación.
«Si nos centramos en un entorno médico donde la privacidad de los pacientes es fundamental, y la presencia de un intérprete de lengua de signos no siempre es posible, esta ayuda tecnológica es un paso más hacia la integración de estas personas en el ámbito universitario».

La aplicación, que es gratuita y está disponible para que cualquier persona pueda beneficiarse de ella, fue probada con varios alumnos y profesionales del ámbito académico el curso pasado. Su buena acogida, avanza la también
anestesióloga del Hospital Universitario de Salamanca y vicedecana de Centros Sanitarios y Relaciones con el SACYL, ha hecho que ya una docena de estudiantes hayan solicitado información sobre la plataforma.

Villarrubia recalca que con esta aplicación desarrollada en colaboración con la universidad y la sanidad se puede convertir la voz en texto, empleando tecnología de reconocimiento de voz, con el fin de poder identificar patrones en las ondas sonoras, emparejar estos patrones con los fonemas del habla para, finalmente, traducirlos en texto. Para su utilización solo es necesario un dispositivo móvil donde se va a instalar la aplicación y un micrófono bluetooth que debe ser colocado lo más próximo al profesor o el ponente. Por tanto, a su parecer, mejora la calidad de las clases facilitando la comprensión de los contenidos a los alumnos que dispongan de problemas auditivos. Con este sistema, agrega, los estudiantes podrán revisar leyendo la información que transmite el profesor de forma oral de un método muy práctico y eficiente.

El futuro, en opinión de Pilar Sánchez, se presenta muy esperanzador, ya que la herramienta ha mejorado «notablemente» desde sus inicios y está convencida de que mejorará aún más a medida que vaya siendo utilizada por más alumnos y se incorporen sus sugerencias.

Su idea es seguir trabajando de manera conjunta y aunar esfuerzos para lograr la integración de las personas con discapacidad con la aplicación de las nuevas tecnologías.