El estudio del habla para las aplicaciones...

Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola

I Congreso Internacional de Filología HispánicaJóvenes Investigadores “Orientaciones metodológicas”

Universidad de Oviedo, 8 de mayo de 2006

El estudio del habla para las aplicacionestecnológicas

Joaquim Llisterri

Grup de Fonètica - Departament de FilologiaEspanyola

Universitat Autònoma de Barcelona

[email protected]

http://liceu.uab.es/~joaquim



El desarrollo histórico de dos disciplinas

La incorporación de conocimientosfonéticos a las tecnologías del habla

Reflexiones finales





Reflexiones finales



La fonética experimental

Las tecnologías del habla







La herramienta: el quimógrafo

El método: el método experimental

La aplicación a la filología: Rousselot

El desarrollo del instrumental

La consolidación de una metodología detrabajo en fonética experimental









La herramientaEl método gráfico

•• 17341734: mecanismo diseñado por un metereólogofrancés para inscribir, en un cilindro giratoriorecubierto de papel y accionado por unmecanismo de relojería, las variaciones develocidad del viento recogidas por unanemómetro

•• 18751875: Marey consolida la utilización del métodográfico en fisiología


La herramientaEl método gráfico

•• 18851885: Karl Ludwig utiliza el método gráficopara registrar los movimientos respiratorios

•• 18751875: Rosapelly estudia los movimientos de loslabios, de la lengua, las variaciones de presióndel aire en el tracto vocal, y las vibraciones dela laringe mediante el método gráfico


La herramientaEl quimógrafo

Institut de Phonétique de Strasbourghttp://misha1.u-strasbg.fr/IPS/Sauvegardes/galerie.htm


La herramientaEl quimógrafo

Marcel Hervieu, La machine à rectifierla prononciation- L’ABC de la languefrançaise,http://www.languefrancaise.net/dossiers/dossiers.php?id_dossier=37









La metodologíaClaude Bernard

18651865: Introduction à l'étude de la

médecine expérimentale

• Experimentación: proceso en el cualel investigador varía de formacontrolada y premeditada losfenómenos que observa


La metodologíaClaude Bernard

• Las observaciones deben tener una explicación,que también se somete a nuevos experimentoshasta que se encuentra la causa del fenómeno

• Los experimentos no se realizan al azar, sinopartiendo de una hipótesis de modo que todo elproceso experimental esté guiado por unobjetivo









La aplicación a la filologíaL’Abbé Rousselot (1846-1924)

Phonetic Portrait Gallery - Olle Engstrandhttp://www.ling.su.se/staff/olle/Gubbar.html


La aplicación a la filologíaLa obra de Rousselot

• El método gráfico permite superar

"l'imperfection de l'oreille pour préciser lesfaits que sont du domaine de laphilologie"

ROUSSELOT, P.J. (1892) Les modifications

phonétiques du langage étudiées dans le patois d'une

famille de Cellefrouin, Paris, H. Welter.


La aplicación a la filologíaLa obra de Rousselot

•• 18971897: Fundación del primer laboratorio defonética experimental de la historia por el AbbéRousselot en el Collège de France

•• 19241924: ROUSSELOT, P.J. (1924) Principes de

phonétique expérimentale, Nouvelle éditionrevue et corrigée, Paris, H. Didier, 2 vols.









El desarrollo del instrumental - El espectrógrafoSona-Graph 6061A, Kay Elemetrics


El desarrollo del instrumental - El espectrógrafoDSP Sona-Graph 5500, Kay Elemetrics


El desarrollo del instrumental - El espectrógrafoCSL 4500, Kay Elemetrics


El desarrollo del instrumentalProgramas de dominio público

Praathttp://www.praat.org

WaveSurferhttp://www.speech.kth.se/wavesurfer/


LaringógrafoLaryngograph http://www.laryngograph.com/


CineradiologíaC. Ericsdotter

http://www.ling.su.se/staff/ericsdotter/projects/big_mouth.htm


Articulografía electromagnéticaAG500 Carstens Medizinelektronik

http://www.articulograph.de/


Paladar artificialUCLA Phonetics Lab

http://www.linguistics.ucla.edu/faciliti/facilities/physiology/epg.html


Electropalatografía en 3Dhttp://www.humnet.ucla.edu/humnet/linguistics/faciliti/

facilities/physiology/epg.html









La consolidación de una metodologíaEl método experimental en fonética

TeoríaHipótesis

Acotación delcampo de trabajoEstudio

experimental

Selección de los datosInformantes o sujetos

del experimentoCorpus de trabajo

Análisis articulatorio, acústico o perceptivo de los datosmediante técnicas instrumentales

Cuantificación de los datos y tratamiento estadístico

Análisis de los resultados y conclusiones del experimento


La consolidación de una metodologíaCaracterización de los estudios experimentales

• Estudios descriptivos

• Estudios orientados a la obtención dedatos en relación con un modelo deproducción o de percepción

• Estudios orientados a ámbitos deaplicación de la fonética


La consolidación de una metodologíaCaracterización de los estudios experimentales

• Acotación precisa del fenómeno

• Control de las variables

• Corpus diseñado ad-hoc

• Corpus leído o semi-espontáneo

• Número de hablantes relativamentereducido







Desarrollo histórico de las tecnologías delhabla

Las etapas

Las líneas de investigación y losresultados alcanzados




Las etapas



Desarrollo histórico de las tecnologías del habla

• Surgidas en un principio del ámbito de laingeniería de telecomunicaciones

• Desarrolladas siguiendo la evolución dela informática

• Los principales grupos de investigaciónprovienen del campo de la ingeniería detelecomunicaciones o de la informática




Las etapas



FANT, C.G. (2005) "Speech Technology and Research: Retrospect and Prospect", inEUROSPEECH 2005 - INTERSPEECH 2005. Proceedings of the 9th European Conference on

Speech Communication and Technology. 4-8 September, 2005. Lisbon, Portugal. http://di-130c.mit.edu/Pages/Papers/Fant_Interspeech2005.html

• 1925-1945 Época de la electrónica

• 1945-1965 La etapa de los pioneros

• 1965-1985 Conocimientos básicos ydesarrollo de tecnologías

• 1985-2005 Métodos estadísticos ygrandes bases de datos




Las etapas



FANT, C.G. (2004) "Speech research in a historical perspective", in From Sound to Sense: 50+

Years of Discoveries in Speech Communication. Massachusetts Institute of Technology, Cambridge,MA., 11-13 June 2004.

http://www.rle.mit.edu/soundtosense/conference/pdfs/invitedspeakers/Fant%20PAPER.pdf

1950-1965

• Fonética acústica y rasgos distintivos

• Codificación y compresión del habla

• Inicios de la síntesis del habla


Pattern PlaybackHaskins Laboratories

• Sistema analógico de reproducción deespectrogramas estilizados

http://www.haskins.yale.edu/Haskins/MISC/PP/pp.html


JAKOBSON, R.- FANT, C.G.- HALLE, M. (1952) Preliminaries to

Speech Analysis. The Distinctive Features and Their Correlates.Cambridge, Mass: The MIT Press.

Roman Jakobson (1896-1982)Gunnar Fant (1919-)Morris Halle (1923-)


• Sistema de síntesispor reglasdesarrollado en laJoint Speech Research

Unit (JSRU) porHolmes, Mattingly &Shearme

[Klatt, 1987 (17)]

Holmes, Mattingly& Shearme (1964)

http://mambo.ucsc.edu/psl/smus/smus.html





1965-1980

• Tratamiento digital del habla

• Conversión de texto en habla

• Reconocimiento del habla


• Desarrollado a partir delos trabajos de Allen(1976, 1985) en el MIT,basado en el sintetizadorpor formantes de Klatt

[Klatt, 1987 (30)]

MITalkAllen, Hunnicut & Klatt (1979)

http://www.speech.kth.se/~sheri/http://www.ling.su.se/fon/phoneticians/Gubbar.html





1980-1995• Modelos de Markov y redes

neuronales• Conversión de texto en habla• Reconocimiento del habla• Modelos articulatorios





1995-2004

• Grandes bases de datos

• Traducción automática del habla

• Síntesis multimodal

• Modelos prosódicos


Locutor virtual, Enginyeria La Sallehttp://www.salle.url.edu/eng/elsDCTS/tsenyal/catala/index.htm

Secció de Teoria delSenyal, Enginyeria LaSalle, Universitat RamonLlull


Actor, Loquendohttp://actor.loquendo.com/

Es, m, f

EsCh, f

EsMx, f

EsAr, m

Cat, f





Reflexiones finales



La “tensión” entre conocimientolingüístico y desarrollo de aplicaciones

Un ejemplo: el desarrollo de un móduloprosódico para un conversor de texto enhabla







• En sus inicios las tecnologías delhabla pretendían incorporarconocimiento fonético …



• … sin embargo,

“in the last decades we have witnesseda decrease in the amount of phoneticknowldege used in ASR and TTS”

STRIK, H. (2005) "Is phonetic knowledge of any use for speech technology?",in BARRY, W.J.- van DOMMELEN, W.A. (Eds.) The Integration ofPhonetic Knowledge in Speech Technology. Dordrecht: Springer (Text,Speech and Language Technology, 25). pp. 168.http://lands.let.kun.nl/literature/strik.2005.1.pdf


• … sin embargo,“the linguistic approach soon lost terrain, in recognition

applications at least, to (nonlinguistically oriented)engineers who were less concerned with formallinguistic insights, treating the signal as a pattern justlike any other, and this with outstanding success”

BARRY, W.J.- van DOMMELEN, W.- KOREMAN, J. (2005) "Phonetic knowledge in speechtechnology - and phonetic knowledge from speech technology?", in BARRY, W.J.- van

DOMMELEN, W.A. (Eds.) The Integration of Phonetic Knowledge in Speech Technology.Dordrecht: Springer (Text, Speech and Language Technology, 25). p. 1.

http://www.coli.uni-saarland.de/~koreman/Publications/2005/Eurospeech2001.pdf




“phonetics does not provide ready-made quantitative models that canbe plugged directly into a system”

STRIK, H. (2005) "Is phonetic knowledge of any use for speech technology?",in BARRY, W.J.- van DOMMELEN, W.A. (Eds.) The Integration of

Phonetic Knowledge in Speech Technology. Dordrecht: Springer (Text,Speech and Language Technology, 25). pp. 177.

http://lands.let.kun.nl/literature/strik.2005.1.pdf



• Hacerse una idea de un fenómeno

• Obtener datos cuantitativos sobre el fenómeno

• Presentar los datos en un formato que permitaincorporarlos a una aplicación






• La información fonética sobre undeterminado fenómeno

• no es lo suficientemente detallada

• no está cuantificada

• no se expresa con el formalismoadecuado para un entornocomputacional



• Datos de laboratorio

• Obtenidos mediante un diseñoexperimental en que se establece uncontrol de las variables

• A menudo, en condiciones muydistintas de aquellas en las que seemplean las tecnologías del habla



• Acceso a grandes corpus realistas“The greater access phonetically trained researchers have

to the databases and tools used in mainline techologyapplications, the more likely is that quantitativeanswers to phonetic questions can be presented in away which can be useful for speech technologyapplications”






• Acceso a corpus

• ELDA (Evaluation and Language

resources Distribution Agency) y LDC(Linguistic Data Consortium)

• Proyectos con financiación pública

• Proyectos empresariales confinanciación privada



• Proyectos en colaboración entreespecialistas en fonética y equipos quedesarrollan tecnologías del habla

• Diseño de corpus considerado desde elpunto de vista fonético y desde lasnecesidades de la aplicación



• Las líneas de investigación“the phonetics community has not focused on

questions most relevant for speech technologywhile the speech technology community has notdeveloped algorithms and data structures thatare optimally receptive for the incorporation ofphonetic knowledge”

SANTEN, J.P.H. van (2005) "Phonetic knowledge in text-to-speech synthesis", inBARRY, W.J.- van DOMMELEN, W.A. (Eds.) The Integration of Phonetic

Knowledge in Speech Technology. Dordrecht: Springer (Text, Speech andLanguage Technology, 25). pp. 149.







• Un ejemplo: diseño de un módulo prosódicopara el tratamiento de las interrogativas en elsistema de conversión de texto en habla Actor®

(Loquendo)

GARRIDO, J. M.- ORTÍN, I.- QUAZZA, S.- SALZA, P. L.- MANCINI, F.(2000) "Desarrollo de un módulo de asignación de parámetros prosódicos

para la versión en español del sistema de conversión texto-hablaACTOR®", Procesamiento del Lenguaje Natural 26: 183-190.

http://www.sepln.org/revistaSEPLN/revista/26/garrido-alminana.pdf


Modelo entonativo del conversor de texto en habla Actor (Loquendo) en españolGARRIDO, J. M.- ORTÍN, I.- QUAZZA, S.- SALZA, P. L.- MANCINI, F. (2000) "Desarrollo de un módulo de

asignación de parámetros prosódicos para la versión en español del sistema de conversión texto-habla ACTOR®",Procesamiento del Lenguaje Natural 26: 183-190.


• En Actor®, las unidades de síntesis son fragmentoslargos de señal extraída del contexto prosódicoapropiado en el corpus de síntesis

• La F0 de la señal original se mantiene inalterada• Adecuado para “prosodia enunciativa neutra”

representada en la base de datos acústica• Necesidad de un módulo de cálculo de F0 para los

enunciados interrogativos





• Constitución de un corpus de oracionesinterrogativas

• Lectura por parte del mismo locutorutilizado en el corpus de síntesis

• Análisis en función de un modeloprosódico adecuado para la síntesis





• Estilización de la curva melódica

• Definición de cuatro niveles tonales

• P (pico)

• V (valle)

• M (medio)

• P+ (nivel por encima de un pico)


Estilización de la curva melódicaGARRIDO, J. M.- ORTÍN, I.- QUAZZA, S.- SALZA, P. L.- MANCINI, F. (2000) "Desarrollo de un módulo de



Curva melódicadel enunciado‘¿Conoces elcontenido delartículo de laConstitución?’ enla que aparecenlos puntos deinflexiónconsideradosdurante elanálisis



Asignación de niveles tonalesGARRIDO, J. M.- ORTÍN, I.- QUAZZA, S.- SALZA, P. L.- MANCINI, F. (2000) "Desarrollo de un módulo de



M

P+

V

P

Curva melódica delsegmento ‘Sabescuando pasan…’perteneciente alenunciado '¿Sabescuándo pasan arecoger los mueblesviejos este mes?' enla que aparecenrepresentados lospuntos M, P+, V y P


M

P+

V

P





• Estructura jerárquica de los patronesmelódicos• Patrones locales

• En el ámbito del grupo acentual• Patrones globales

• En el ámbito del grupo entonativo• En el ámbito de la oración





• Segmentación prosódica en• Grupo acentual

• Sílaba tónica + sílabas átonas• Grupo tónico

• Palabra tónica + átonas que la preceden• Marcado con etiquetas categoriales para la

asignación de pausas• Grupo entonativo

• Suele coincidir con el grupo fónico o con límitessintácticos


Patrones localesGARRIDO, J. M.- ORTÍN, I.- QUAZZA, S.- SALZA, P. L.- MANCINI, F. (2000) "Desarrollo de un módulo de



1 2 3 4

Curva melódica delenunciado‘¿Conoces elcontenido delartículo de laConstitución?’ en elque aparecenestilizados el patróninicial (1), dosintermedios (2,3) yel patrón final (4)


1 2 3 4


Patrones globalesGARRIDO, J. M.- ORTÍN, I.- QUAZZA, S.- SALZA, P. L.- MANCINI, F. (2000) "Desarrollo de un módulo de



Curva melódica delenunciado ‘El acto de lafirma transcurrió tal ycomo habían pactadoambas delegaciones lavíspera’, pronunciadapor un locutormasculino. Las líneasrectas representan las‘líneas de referencia’correspondientes a lospuntos P (superior) y V(inferior) de la curvamelódica



Grupos entonativosGARRIDO, J. M.- ORTÍN, I.- QUAZZA, S.- SALZA, P. L.- MANCINI, F. (2000) "Desarrollo de un módulo de



Curva melódicacorrespondiente alenunciado ‘El acto de lafirma transcurrió tal ycomo habían pactadoambas delegaciones lavíspera’ pronunciadopor un locutorfemenino. Sobre cadagrupo entonativo se handibujado las líneas dereferenciacorrespondientes



Evaluación del modeloGARRIDO, J. M.- ORTÍN, I.- QUAZZA, S.- SALZA, P. L.- MANCINI, F. (2000) "Desarrollo de un módulo de



• 24 pares formados por estímulo natural -estímulo sintetizado

• 10 jueces expertos y 20 no expertos

• Evaluación del grado de semejanza entrela curva melódica natural y la sintetizadaen una escala del 1 al 4


Evaluación del modeloGARRIDO, J. M.- ORTÍN, I.- QUAZZA, S.- SALZA, P. L.- MANCINI, F. (2000) "Desarrollo de un módulo de







Reflexiones finales


Reflexiones finales

• El método de trabajo propio de lafonética experimental permite obtenerresultados útiles para el desarrollo de lastecnologías del habla

• Corpus adecuado a la aplicación

• Modelo adecuado para unaimplementación


Reflexiones finales

• Orientación hacia las posibilidades deaplicación

• Flexibilidad en lo que respecta a modelosy teorías

• Mínimo conocimiento del “entornotecnológico”





Reflexiones finales



http://liceu.uab.es/~joaquim/speech_technology/Oviedo_06/Fonetica_TecnolHabl

a_Oviedo_06.pdf

Date post:	09-May-2020
Category:	Documents
Upload:	others
View:	1 times
Download:	0 times

El estudio del habla para las aplicaciones...

Documents