Interfaz visual-auditiva para personas débiles visuales

Resumen

La interpretación automática de escenas visuales complejas y dinámicas, como las de un supermercado, representa una frontera significativa para la visión por computadora. La detección robusta de una gran diversidad de objetos y la extracción precisa de información contextual como los precios, en entornos no controlados con iluminación variable y oclusiones, siguen siendo un desafío científico fundamental. Esta limitación impacta directamente el desarrollo de tecnologías asistenciales efectivas para millones de personas con discapacidad visual que enfrentan barreras en tareas cotidianas como las compras autónomas. Este trabajo presenta el desarrollo de un marco computacional novedoso para la interpretación visual-auditiva. La metodología se basa en un modelo de aprendizaje profundo que integra una arquitectura de detección de objetos (yolov8, You only look once, versión 8) con un sistema de reconocimiento óptico de caracteres (ocr, por sus siglas en inglés), ambos optimizados para operar eficientemente en un dispositivo móvil con un diseño de lentes. Para entrenar y validar el sistema, se ha creado un nuevo conjunto de datos con miles de imágenes capturadas en supermercados reales, anotadas con cajas delimitadoras para productos y etiquetas de precios. Como resultado principal, nuestro modelo demuestra una mejora significativa en la precisión de detección simultánea de objetos en el contexto de los supermercados en comparación con los enfoques estándar, manteniendo un alto rendimiento en condiciones de baja luminosidad (menores a 450 luxes) y vistas parciales, se alcanzó una confiabilidad de hasta el 80 % en la detección de productos de muestra, manteniendo una latencia operativa mínima. En conclusión, este trabajo no solo ofrece una solución tecnológica viable, sino que también genera conocimiento sobre la adaptación de modelos de inteligencia artificial a entornos no estructurados, sentando las bases para una nueva generación de herramientas asistenciales de bajo costo que mejoran sustancialmente la autonomía e inclusión de las personas con debilidad visual.