DSpace Repository

Assistive wearable technology for dyadic interactions of visually impaired people

Show simple item record

dc.contributor.author Terven Salinas, Juan Ramon
dc.date.accessioned 2018-04-12T19:20:04Z
dc.date.available 2018-04-12T19:20:04Z
dc.date.created 2016-05-27
dc.date.issued 2018-04-12
dc.identifier.citation Terven Salinas, Juan Ramon. (2016). Assistive wearable technology for dyadic interactions of visually impaired people. (Doctorado en Tecnología Avanzada), Instituto Politécnico Nacional, Centro de Investigación en Ciencia Aplicada y Tecnología Avanzada, Unidad Querétaro, Querétaro. es
dc.identifier.uri http://tesis.ipn.mx/handle/123456789/24478
dc.description Tesis (Doctorado en Tecnología Avanzada), Instituto Politécnico Nacional, CICATA, Unidad Querétaro, 2016, 1 archivo PDF, (114 páginas). tesis.ipn.mx es
dc.description.abstract RESUMEN: Las personas invidentes y débiles visuales presentan desventajas en interacción social con respecto a las personas videntes, ya que gran parte de la información de una interacción social es del tipo no-verbal. Durante las últimas décadas, centros de investigación y compañías han desarrollado sistemas portables de apoyo para personas invidentes en áreas como movilidad, orientación y educación. Sin embargo, ha habido pocos desarrollos enfocados en mejorar la interacción social de personas invidentes. Esta tesis introduce un sistema de asistencia en interacción social para personas invidentes. La tesis contribuye en cuatro importantes áreas de la visión por computadora y tecnologías de asistencia. La primera contribución es el desarrollo de algoritmos de visión para detectar gestos de la cabeza de un interlocutor de manera robusta a partir de video tomado de cámaras portables. La diferencia principal con respecto al estado del arte es el hecho de poder detectar gestos sin importar la presencia de movimiento de la cámara, debido a una etapa de estabilización. La segunda contribución es la recolección de tres bases de datos sobre gestos de la cabeza. La primera base de datos contiene gestos de la cabeza que pueden ser usados para entrenar y probar algoritmos de reconocimiento de gestos de la cabeza. La segunda base de datos contiene gestos de la cabeza y eventos de espejeo tomados de cámaras fijas y cámaras portables. Esta base de datos fue recolectada durante un experimento conformado por interacciones sociales de 48 participantes. La tercera base de datos contiene gestos de la cabeza recolectados con cámaras fijas y portables durante un experimento conformado por interacciones sociales de 10 participantes invidentes y 40 participantes videntes. La tercera contribución es el desarrollo de un sistema automático de estimación de competencia profesional en interacciones del tipo clienteproveedor de servicio. Este sistema puede ser usado como una herramienta de anotación automática del grado de competencia percibida por clientes en interacciones estudiadas por psicólogos o para la estimación automática de la satisfacción de un cliente. La contribución final es el desarrollo de un sistema tecnológico de asistencia en interacción social para personas invidentes. El sistema consiste de una cámara portable y un cinturón vibratorio que proporciona retroalimentación. ABSTRACT: Visually impaired people present disadvantages on social interactions with respect to their sighted counterpart, considering that a large amount of the communication between people is exchanged based on non-verbal cues. During the last decades, several researchers and companies have been developing wearable systems to support visually impaired people in activities such as mobility, orientation, and education. However, little effort has been made in the development of systems that can assist blind people on their social interaction. This thesis introduces an assistive technology device to aid blind users on social interactions. The thesis contributes in four important ways to the areas of computer vision and assistive technologies. The first contribution is the development of computer vision algorithms to robustly detect head gestures of an interlocutor from live-video taken with a wearable camera. The main difference with other methods is that our system is capable of detecting the gestures, in spite of the presence of ego-motion, due to a stabilization stage. The second contribution is the collection of three custom data sets. The first data set contains head gestures that can be used to train and test head gestures recognition algorithms. The second data set includes head gestures and head mirroring events from fixed and wearable cameras. This data set was collected during an experiment with 48 participants. The third data set contains head gestures collected from fixed and wearable cameras during an experiment with blind users and sighted participants. The third contribution is the development of a socially-aware assistant for the automatic inference of competence assessment during face-to-face social interactions. This assistant could serve as a training tool for psychologists (for automatic annotation/summarization of videos) or for the automatic estimation of client satisfaction. The final contribution entails the development of an assistive technology system for blind users. The system consisting of a wearable camera and a haptic feedback device is capable of recognizing nonverbal cues from social interactions such as nodding and shaking gestures and provide this information to blind users via haptic feedback. es
dc.language.iso en es
dc.subject Personas invidentes es
dc.subject Déviles visuales es
dc.subject Sistema de asistencia es
dc.subject Visión por computadora es
dc.subject Tecnologías de asistencia es
dc.title Assistive wearable technology for dyadic interactions of visually impaired people es
dc.type TESIS es
dc.contributor.advisor Salas Rodríguez, Joaquín
dc.contributor.advisor Raducanu, Bogdan Mihai


Files in this item

This item appears in the following Collection(s)

Show simple item record

Search DSpace


Browse

My Account