Chapitre svm

Pages: 15 (3573 mots) Publié le: 12 août 2013
2.1 Introduction :


Depuis quelques années, des nouvelles méthodes d’apprentissage se développent sur la base de la Théorie de l’Apprentissage Statistique (Statistical Learning Theory) de Vapnik et Chervonenkis [Vapnik, 1995]. L’une de ces méthodes, appelée Machine à Vecteur de Support ou SVM (Support Vector Machine) , permet de réaliser des estimations en classification (à deux classes ouplus) [Burges, 1998] ou en régression [Smola et al., 1998].
De telles méthodes permettent généralement de s’affranchir de contraintes statistiques sur les données étudiées comme la normalité de la distribution. De plus, elles sont non linéaires ce qui leur donne un pouvoir de généralisation supérieure dans certains cas, aux méthodes de régressions plus classiques.
Dans ce chapitre, nousprésenterons tout d’abord une théorie de la classification avec les SVM puis les résultats de l’utilisation de cette méthode pour « la vérification pour l’identification des signature manuscrites Off-line. »

2.2 Théorie des Support Vector Machines
Le SVM est un modèle discriminant qui tente de minimiser les erreurs d’apprentissage tout en maximisant la marge séparant les données des classes. Lamaximisation de la marge est une méthode de régularisation qui réduit la complexité du classifieur. Elle sert à pénaliser les paramètres du modèle de la même façon que la méthode du «weight decay» qui altère les poids de grande amplitude dans un PMC [1][G.E. Hinton, 1987]. La pénalisation des paramètres du SVM dans le but de maximiser la marge est une méthode de sélection de modèle implicite àl’apprentissage. Ce processus produit un ensemble réduit de prototypes faisant partie de l’ensemble d’apprentissage qu’on appelle communément vecteurs de support. Son comportement est, par ailleurs, conditionné par le type du noyau utilisé et par les valeurs octroyées à ses paramètres. Le noyau d’un SVM est une fonction symétrique défini-positive qui permet de projeter les données dans un espace transformé degrande dimension dans lequel s’opère plus facilement la séparation des classes, de la même façon que les neurones cachés d’un PMC permettent de projeter les données entrées dans un espace de représentation dans lequel les poids de la couche de sortie définissent des fonction discriminantes linéaires des classes. Les valeurs des paramètres de noyaux affectent directement la complexité de lafrontière de décision du classifieur. Aussi, ses valeurs influencent le nombre de vecteurs de support du classifieur.
De nombreux travaux ont démontré la supériorité du SVM sur les méthodes discriminantes classiques telles que le PMC, le discriminant de Fisher, le réseau RBF, etc. Des versions modifiées du SVM permettent les meilleures performances sur plusieurs bases de données standards [Y. LeCun, L.Bottou, Y. Bengio, and P. Haffner ,2001]. Sa robustesse vis à vis de la dimensionnalité des données et son pouvoir accru de généralisation, font que le SVM est nettement plus avantageux.[NEJEM EDDINE AYAT 2004].

2.2.1. Minimisation du risque structurel :
Commençons par préciser le formalisme dans lequel nous allons nous placer Il s’agit d’un apprentissage supervisé sur une base d’exemples S, detaille finie On considère que des vecteurs x sont générés dans Rd indépendamment les uns des autres selon une distribution de probabilité fixée mais inconnue P(x). Un professeur attribue à chaque vecteur d’entrée x une valeur y, parfois appelée sortie désirée selon une loi P(y\x) également fixée mais inconnue Une base d’exemples ou échantillon S , de taille m , est alors un ensemble de mobservations
S={(x1,y1),(x2,y2),…,(xm,ym)}
Indépendantes et identiquement distribuées (i.i.d) selon la loi jointe
P(x,y)=P(x)P(y\ x).
D’autre part, on dispose d’une machine à apprendre, ou d’un système d’apprentissage capable de réaliser une famille de fonctions {f(x,[pic]) /[pic]} ou [pic] est un ensemble de paramètres abstraits.
Le problème de l’apprentissage consiste en la recherche d’une...
Lire le document complet

Veuillez vous inscrire pour avoir accès au document.

Vous pouvez également trouver ces documents utiles

  • Chapitre par Chapitre
  • Chapitre par chapitre
  • Chapitre par chapitre
  • Chapitre
  • Chapitre ses
  • Chapitre
  • chapitre
  • Chapitre

Devenez membre d'Etudier

Inscrivez-vous
c'est gratuit !