Gmm/hmm

Pages: 14 (3309 mots) Publié le: 9 octobre 2012
Reconnaissance de parole non native fondée sur l’utilisation de confusion phonétique et de contraintes graphèmiques
Ghazi Bouselmi, Dominique Fohr, Irina Illina, Jean-Paul Haton
Projet Parole, LORIA-CNRS & INRIA, “http ://parole.loria.fr/”, BP 239, 54600 Vandoeuvre-lès-Nancy, France { bousselm,fohr,illina,jph }@loria.fr

ABSTRACT
This paper presents a fully automated approach for therecognition of non native speech based on acoustic model modification. For a native language (LM) and a spoken language (LP), pronunciation variants of the phones of LP are automatically extracted from an existing non native database. These variants are stored in a confusion matrix between phones of LP and sequences of phones of LM. This confusion concept deals with the problem of non existence of matchbetween some LM and LP phones. The confusion matrix is then used to modify the acoustic models (HMMs) of LP phones by integrating corresponding LM phone models as alternative HMM paths. We introduce graphemic contraints in the confusion extraction process. We claim that prononciation errors may depend on the graphemes related to each phone. The modified ASR system achieved a significant improvementvarying between 20.3% and 43.2% (relative) in “sentence error rate” and between 26.6% and 50.0% (relative) in “word error rate”. The introduction of graphemic contraints in the phonetic confusion allowed improvements while using the wordloop grammar.

mot dynamiquement durant la phase de reconnaissance. Dans [5], une confusion phonétique est extraite d’une façon similaire à la précédente.Toutefois, la prononciation canonique est alignée avec une prononciation phonétique exprimée en termes de phonèmes natifs. Les deux SRAPs de la langue parlée et maternelle sont utilisés à cet effet. Par la suite, les modèles gaussiens des phonèmes natifs sont fusionnés avec ceux des phonèmes natifs avec lesquels ils ont été confondus, et ce pour chaque état des modèles de Markov sous-jacents (HMM). Suiteà une étude de prononciations non native réalisée avec des locuteurs français, nous avons mis en exergue deux principaux problèmes. Nous avons constaté que les locuteurs non natifs ont tendence à prononcer certains phonèmes de la LP comme des phonèmes de leur langue maternelle. Par exemple, certains phonèmes de la LP qui n’existent pas dans la LM sont souvent réalisés comme des phonèmesacoustiquement proches de la LM. C’est le cas de la consonne anglaise ’[D]’ (dans le mot the) qui est souvent prononcée ’[z]’ par les locuteurs français. Le second problème, que nous avons constaté, est que la graphie d’un mot influence le locuteur non natif dans la façon de prononcer ce mot. Face à des mots qu’ils ne connaissent pas, ou encore des mots dont la graphie est identique dans les deux langues,ces locuteurs ont souvent tendence à réaliser une pononciation similaire à leur LM. Pour illustrer cela, considérons l’exemple de la table 1 où sont présentées les prononciations canoniques et les prononciations réalisées par des locuteurs français pour les mots anglais “approach” et “position”. La table 1 montre que le phonème anglais ’[@]’ est réalisé comme le phonème français ’[a]’ lorsqu’ilcorrespond au caratère ’a’ et comme le phonème français ’[O]’ lorsqu’il correspond au caratère ’o’. TAB . 1: Prononciation du phonème anglais @
Mot Approach Position Prononcitaion canonique (phonèmes anglais) [@] [p] [r] [O] [tS] [p] [@] [Z] [i] [S] [@] [n] Réalisation acoustique par des français (phonèmes français) [a] [p] [r] [O] [t] [S] [p] [O] [z] [i] [S] [O] [n]

1.

I NTRODUCTION

Ladégradation des performances des systèmes de reconnaissance automatique de la parole (SRAP) confrontés à un locuteur non natif est un problème bien connu. Une solution pour améliorer les performances des RAPs en présence de parole non native consiste à augmenter leur tolérance face à des variantions de prononciation. Le problème consiste à introduire dans ces systèmes des connaissances relatives à...
Lire le document complet

Veuillez vous inscrire pour avoir accès au document.

Devenez membre d'Etudier

Inscrivez-vous
c'est gratuit !