Mejora de la interfaz vocal de Mejora de la interfaz vocal de control de un robot autónomo control de un robot autónomo móvil. Adaptación acústica y móvil. Adaptación acústica y
generación supervisada de mapasgeneración supervisada de mapas
Autor: Nuria Pérez MagariñosAutor: Nuria Pérez Magariños
Tutor: Juan Manuel Montero MartínezTutor: Juan Manuel Montero Martínez
ÍndiceÍndice
ObjetivosObjetivos Proyecto ROBINTProyecto ROBINT Técnicas empleadasTécnicas empleadas Configuración del sistemaConfiguración del sistema AdaptaciónAdaptación Evaluación y pruebasEvaluación y pruebas Conclusiones y líneas futurasConclusiones y líneas futuras
ObjetivosObjetivos
Adaptación de los modelos acústicosAdaptación de los modelos acústicos Guiado del robotGuiado del robot Aprendizaje automáticoAprendizaje automático
Proyecto ROBINTProyecto ROBINT
Robots guíaRobots guía Interacción hombre-robotInteracción hombre-robot Generación de mapasGeneración de mapas
Guiado del robotGuiado del robot
Fase de aprendizajeFase de aprendizaje Fase de verificaciónFase de verificación Propuesta inicial de frasesPropuesta inicial de frases
Relación con el guíaRelación con el guía MovimientoMovimiento GrafoGrafo ConfirmaciónConfirmación VisitaVisita
Técnicas empleadasTécnicas empleadas
Adaptación a tarea o a locutorAdaptación a tarea o a locutor Máximo a posteriori (MAP)Máximo a posteriori (MAP)
HTKHTK
Configuración del sistemaConfiguración del sistema
Configuración del sistemaConfiguración del sistema
Ficheros de configuraciónFicheros de configuración Detector.iniDetector.ini Entorno.iniEntorno.ini Tade.iniTade.ini Voz.iniVoz.ini Reco_cfg_generico.iniReco_cfg_generico.ini Prb_htk_generico_Speechdat.iniPrb_htk_generico_Speechdat.ini
Configuración del sistemaConfiguración del sistema
Ficheros de configuraciónFicheros de configuración Urbano.iniUrbano.ini
Configuración del sistemaConfiguración del sistema
Configuración del sistemaConfiguración del sistema
AdaptaciónAdaptación
Interfaz GráficaInterfaz Gráfica CRobintDialogCRobintDialog Caracteristicas_modeloCaracteristicas_modelo AdaptacionAdaptacion
Thread principalThread principal Threads_ROBINTThreads_ROBINT
AdaptaciónAdaptación
AdaptaciónAdaptación
AdaptaciónAdaptación
AdaptaciónAdaptación
AdaptaciónAdaptación
Directorio de grabación o modelos
Usuario
Tipo de micrófono
Tipo de entorno
Tipo de adaptación
AdaptaciónAdaptaciónGrabaciones
Usuario nº 1 Usuario nº 2 Usuario nº 3
MSC MCC
noRuido
ruido
Genérica
Tarea 1
Tarea 2
MCC =Micrófono con cable
MSC = Micrófono sin cable
Ruido = Entorno ruidoso
noRuido = Entorno no ruidoso
Adaptacióndiccionarios
Generación de ficheros de etiquetas
Parametrizaciónficherosde audio
Normalización
AdaptaciónMAP
AdaptaciónMLLR
.dic
.data
AdaptaciónAdaptación
Formateopara HTK
Modelosadaptados
Modelosadaptados
Evaluación y pruebasEvaluación y pruebas
Evaluación de los modelos genéricosEvaluación de los modelos genéricos
Locutor Media Varianza
Mujer 54,2 29,0
Hombre 24,0 9,0
Evaluación y pruebasEvaluación y pruebas
Evaluación de los modelos genéricosEvaluación de los modelos genéricos Experimentos de adaptaciónExperimentos de adaptación
Experimento 1Experimento 1: Emplear para cada : Emplear para cada emoción las mismas 90 frases de emoción las mismas 90 frases de entrenamiento y 10 frases de test siempre.entrenamiento y 10 frases de test siempre.
Experimento 2Experimento 2: Dividir las frases en 10 : Dividir las frases en 10 grupos de manera que se prueben todas grupos de manera que se prueben todas las frases, haciendo un promedio de los las frases, haciendo un promedio de los resultados.resultados.
Evaluación y pruebasEvaluación y pruebas
Determinación de laDeterminación de la ττ óptimaóptima
emocioni
igenerico errorerrorMejora
1 2 3 4 5 6 7
Hombre Experimento 1 98,0 98,0 92,1 86,9 83,7 83,0 82,3
Hombre Experimento 2 59,1 60,1 60,1 58,8 - 57 -
Mujer Experimento 1 161,4 160,8 164,1 158,8 151,7 134,0 135,3
Mujer Experimento 2 129,7 132,7 133,9 134,7 - 134,7 -
Evaluación y pruebasEvaluación y pruebas
Determinación de laDeterminación de la ττ óptimaóptima Proporción entre entrenamiento y testProporción entre entrenamiento y test
Evaluación y pruebasEvaluación y pruebas
Determinación de laDeterminación de la ττ óptimaóptima Proporción entre entrenamiento y testProporción entre entrenamiento y test Reconocimiento cruzado Reconocimiento cruzado
Promedio (%)
Total 16,1
Sorpresa-Miedo 12,7
Alegría-Asco-Enfado-Tristeza-Neutra 13,2
Reconocimiento cruzado en el
hombre
Evaluación y pruebasEvaluación y pruebas
Determinación de laDeterminación de la ττ óptimaóptima Proporción entre entrenamiento y testProporción entre entrenamiento y test Reconocimiento cruzadoReconocimiento cruzado
Promedio (%)
Total 44,1
Enfado-Neutra 11,8
Enfado-Neutra-Tristeza 23,4
Enfado-Neutra-Sorpresa 18,8
Enfado-Neutra-Tristeza-Sorpresa 26,9
Reconocimiento cruzado en la mujer
Evaluación y pruebasEvaluación y pruebas
Determinación de laDeterminación de la ττ óptimaóptima Proporción entre entrenamiento y testProporción entre entrenamiento y test Reconocimiento cruzado Reconocimiento cruzado
Evaluación y pruebasEvaluación y pruebas
Determinación de laDeterminación de la ττ óptimaóptima Proporción entre entrenamiento y Proporción entre entrenamiento y
testtest Reconocimiento cruzadoReconocimiento cruzado Entrenamiento con varias emocionesEntrenamiento con varias emociones
Evaluación y pruebasEvaluación y pruebas
ConclusionesConclusiones
Se han mejorado y simplificado la portabilidad y configuración Se han mejorado y simplificado la portabilidad y configuración del sistemadel sistema
Se ha añadido la posibilidad de que el locutor realice una Se ha añadido la posibilidad de que el locutor realice una adaptación de los modelos al sistemaadaptación de los modelos al sistema Interfaz gráficaInterfaz gráfica ScriptScript de Windows de Windows
Primera aproximación al guiado del robotPrimera aproximación al guiado del robot En la adaptación de habla emocionada son mucho más En la adaptación de habla emocionada son mucho más
efectivos los valores bajos de efectivos los valores bajos de ττ para dar más peso a los datos para dar más peso a los datos de adaptaciónde adaptación
El habla neutra no es la que mejor reconoce a las demás El habla neutra no es la que mejor reconoce a las demás emocionesemociones
Entrenar con más emociones no significa reconocer mejorEntrenar con más emociones no significa reconocer mejor
Líneas futuras de Líneas futuras de investigacióninvestigación
Llevar a cabo la implementación del Llevar a cabo la implementación del prototipo para el sistema de guiado prototipo para el sistema de guiado del robotdel robot
Estudiar la mejora en el Estudiar la mejora en el reconocimiento con emociones reconocimiento con emociones empleando la técnica MLLRempleando la técnica MLLR
¿PREGUNTAS?