Las tecnologías del habla: presente y...

Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola

XVII Congreso de la Sociedad Chilena de LingüísticaUniversidad de Concepción

29 de octubre de 2007

Las tecnologías del habla: presente yfuturo

Joaquim LlisterriGrup de Fonètica, Departament de FilologiaEspanyola, Universitat Autònoma de Barcelona

[email protected]

http://liceu.uab.cat/~joaquim




Materiales en Internet

http://liceu.uab.cat/~joaquim/

speech_technology/SOCHIL_07/SOCHIL_07.html



La interacción entre personas yordenadores

La interacción entre personasmediatizada por un ordenador







La interacción oral entre personas yordenadores

La conversión de texto en habla

El reconocimiento del habla

Los sistemas de diálogo









HCI, Human - Computer Interaction



PantallaTecladoRatónLápizTacto

Canal visualLengua escrita


La interacción entre personas

• Hace unos 5.000 años queescribimos

… pero hace unos 100.000 añosque hablamos (250.000 -50.000 años según los autores)


Las nuevas necesidades

• Desarrollo de la Sociedad de laInformación “para todos”

• Automatización de serviciostelefónicos

• Sistemas portátiles sin teclado


“The domain of speech technology is thedevelopment of automatic systems to allowhuman users and computers to interactdirectly through the medium of speech”

New Horizons in European Speech technology,Report of the ESPRIT Workshop on SpeechTechnology, Aarhus, Denmark, May 1987.

Las tecnologías del habla


¿Qué quisiéramos tener?

Un ordenador que…

Habla

Reconoce

El habla

Al usuario

Entiende

Ayuda alusuarioTraduce

La lenguaescritaLa lengua

oral


Hal 2001: A Space OdisseyClarke (1950) - Kubrick (1968)


LingWear, Wearable Linguistic AssistantInterACT, International Center for Advanced Communication Technologies

http://www.is.cs.cmu.edu/LingWear/movie.html


¿Qué tecnologías necesitamos?

Un ordenador que…

Habla Síntesis (CTH)Síntesis (CTH)

Reconoce

El habla ReconocimientoReconocimiento

Al usuario IdentificaciónIdentificación

“Entiende” Comprensión


¿Qué tecnologías necesitamos?

Un ordenador que…

Ayuda Sistema de diálogoSistema de diálogo

Traduce El escrito TA

El habla TA oralTA oral








La conversión de texto en habla(TTS, Text-to-Speech Synthesis)

Del texto… …al habla GTP-UPC


Módulos de tratamiento lingüístico de unconversor de texto en habla



Actor, Loquendohttp://actor.loquendo.com/actordemo/

Es, m, f

EsCh, f

EsMx, f

EsAr, mCat, f Cat, m


Loquendo Gilded TTShttp://actor.loquendo.com/actordemo/








El reconocimiento automático del habla(ASR, Automatic Speech Recognition)

Del habla … … al texto


Speech-Enabled Interactive Voice Response Systems. Web ProForum Tutorials,International Engineering Consortium.

http://www.iec.org/online/tutorials/speech_enabled/index.html


Modelo de reconocimiento de habla continuaMariño (1999)


Dragon Naturally Speaking

• Edición estándar y profesional

• Vocabulario legal

• Vocabulario médico

• Versión en español

http://www.nuance.com/naturallyspeaking/

http://spain.nuance.com/naturallyspeaking/

Dictado automático


Dragon Naturally Speakinghttp://www.nuance.com/talk/


Nuance Mobile Dictation “The amazing race” http://www.youtube.com/watch?v=-L4Jk6GDud0


Windows Vistahttp://www.youtube.com/watch?v=G-dYiTc88Pc









• Sistema de diálogo, Sistemaconversacional

• SLS, Spoken Language System

Programa diseñado para facilitar lainteracción natural mediante el hablaentre una persona y un sistemainformático



Eh, pues mire, queríasaber a qué hora salela… el último tren, eh…hacia Barcelona, desdeMadrid, el sábado

Reconocimiento Comprensión

PETICIÓN, DESTINO=“Barcelona”,ORIGEN=“Madrid”, Fecha: DÍA=“28”,

HORA=“Último”

Generación de respuesta

El último tren sale a las11 y 53 minutos de la noche

Síntesis


Módulos de tratamiento lingüístico de unsistema de diálogo



• Portales de voz



Grabación previa

Selección por voz

Informaciónsolicitada

Restaurantes

Restaurantes de Ávila



Restaurantesde _________

ÁvilaMadrid

SalamancaCuenca…



Sistema automático

Selección por voz

Informaciónsolicitada

Farmacias de guardia

Existe unafarmacia…



ochoHe encontrado nueve

diez

Existe una farmacia de guardia

Mensajes pregrabadospara insertar palabras

procedentes de una lista

Conversión de texto escrito en habla


Banca Telefónicahttp://www.natvox.es/demos_bpt.html

BpT, Banca por TeléfonoNatural Vox






La interacción entre personas mediatizadapor un ordenador

Conversión entre lengua oral y lenguaescrita

Traducción de lengua oral

Conversión de lengua oral a movimientoslabiales

Traducción entre lengua oral y lengua designos









• Conversión entre modalidades• Escrito - Oral

Conversión de texto en habla (TTS,Text-to-Speech Synthesis)

• Oral - EscritoReconocimiento automático delhabla (ASR, Automatic SpeechRecognition)



• Conversión entre modalidades• Escrito - Escrito

Traducción automática de textos(MT, Machine Translation)

• Oral - OralTraducción automática del habla(SLT, Spoken Language Translation)








Arquitectura de C-STARhttp://www-

clips.imag.fr/projets/cstar/clips/Architecture.html


NESPOLE! NEgotiating through SPOken Language in E-commercehttp://nespole.itc.it/public/deliverables/D3forWeb/D3forWeb_f

ile/v3_document.htm

"... I'm available on Friday the 19th...”

"...sí sí venerdì diciannove

posso, sì perchè sai oggi

vado via per il viaggio D, la

verità è che questo mese è

pieno di viaggi parto il

giorno sei per un viaggio e

starò via fino al dodici ed è

per questo che il giorno

diciannove mi va proprio

bene francamente..."

“...yes yes on friday

nineteen can, yes

because know I go me of

trip today, the truth such is

that this month is very

traveller I go me the day six

of trip and I am until the

twelve as soon as the day

nineteen comes me very

well outspokenly”

=


Verbmobilhttp://verbmobil.dfki.de/overview-us.html

• Sistema móvil de traducción de diálogosespontáneos (1993-2000)

• Dominios restringidos: citas, preparaciónde viajes, reservas de hotel

• Lenguas: alemán, inglés y japonés



Verbmobilhttp://verbmobil.dfki.de/overview-us.html


TC-STARhttp://www.tc-star.org/

Technology and Corpora for Speech-to-

Speech Translation

• 2004-2006 IST-2002-2.3.1.6 Multimodalinterfaces

• Traducción de habla espontánea envarios dominios


TC-STARhttp://www.tc-star.org/Demo/demo_apr07_tcstar.zip








Department of Speech, Music and HearingKTH Stockholm

http://www.speech.kth.se/teleface/

Teleface• Ayuda visual -lectura labial- enconversacionestelefónicas parapersonas condiscapacidadesauditivas

Para ver esta película, debedisponer de QuickTime™ y de

un descompresor .

Para ver esta película, debedisponer de QuickTime™ y de

un descompresor .


Umanifyhttp://www.youtube.com/umanify

• Asistentes virtualesinteractivos parapáginas web y teléfonosmóviles

• Conversión de texto enhabla basada en latecnología de Loquendosincronizada conmovimientos labiales








eSIGNhttp://www.sign-lang.uni-

hamburg.de/eSIGN/

Essential Sign Language Information on GovernmentNetworks

• Introducción de vídeos en lengua de signos enpáginas web

• Basado en léxicos de signos y en avatares quecumplen la función de “hablantes virtuales” delengua de señas

• Los signos se capturan a partir de un hablante o segeneran a partir de instrucciones


Visia 2http://www.sign-lang.uni-

hamburg.de/eSIGN/Movies/Movie_Visia2_news.html


SiSihttp://www-

03.ibm.com/press/us/en/pressrelease/22316.wss

SiSi - Say it, Sign it

• IBM, University of East Anglia, RoyalNational Institute for the Blind

• Conversión automática de lengua oral alengua de signos británica

• Un avatar produce en lengua de signos,en tiempo real, los enunciados hablados


SiSihttp://www.youtube.com/watch?v=RarMKnjqzZU






Otras aplicaciones de las tecnologías del hablahttp://www.youtube.com/watch?v=YhWmzTjScfA


¡Muchas gracias!Materiales en Internet






Materiales en Internet



Date post:	17-Sep-2020
Category:	Documents
Upload:	others
View:	0 times
Download:	0 times

Las tecnologías del habla: presente y...

Documents