Minimisation du regret: liens avec l'optimisation convexe et l'apprentissage statistiqueMinimisation du regret : liens avec l’optimisation convexe et l’apprentissage statistique
Joon Kwon mercredi 4 octobre 2017
Journée de rentrée du CMAP
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
..
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Introduction
▶ Apprentissage séquentiel (online learning) : minimisation du regret
▶ Optimisation convexe …afficher plus de contenu…

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Une borne de regret simple
Comment choisir xt ∈ Rd en fonction de u1, . . . , ut−1 ∈ Rd pour avoir une borne sur
T∑
t=1
⟨ut |x⟩ −
T∑
t=1
⟨ut |xt⟩ ⩽
On prend x1 ∈ Rd quelconque puis xt+1 = xt + ut .
On considère 1
2 ∥xt − x∥2
0 ⩽ 1
2 ∥x1 − x∥2 +
T∑
t=1
( 1
2 ∥xt+1 − x∥2 − 1
2 ∥xt − x∥2︸ ︷︷ ︸
⟨ut |xt−x⟩+ 1
2∥ut∥2
)
T∑
t=1
⟨ut |x − xt⟩ ⩽
∥x1 − x∥2
2 +
1
2
T∑
t=1
∥ut∥2.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Une borne de regret simple
Comment choisir xt ∈ Rd en fonction de u1, . . . , ut−1 ∈ Rd pour avoir une borne sur
T∑
t=1
⟨ut |x⟩ −
T∑
t=1
⟨ut |xt⟩ ⩽
On prend x1 ∈ Rd quelconque puis xt+1 = xt + ut .
On considère 1
2 ∥xt − x∥2
0 ⩽ 1
2 ∥x1 − x∥2 +
T∑
t=1
( 1
2 ∥xt+1 − x∥2 − …afficher plus de contenu…

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Cas smooth : convergence en 1/T , voire 1/T 2
▶ ∀x , x ′ ∈ Rd , ∥∇f (x)−∇f (x ′)∥ ⩽ β ∥x − x ′∥ xt+1 = xt −
1
β
∇f (xt) =⇒ f (xt+1)− f (xt) ⩽ − 1
2β ∥∇f (xt)∥2
T∑
t=1 f (xt)− T f (x∗) ⩽ β ∥x1 − x∗∥2
2 + f (x1)− f (xT+1)
Théorème (Nesterov 83)
Il existe un algorithme de premier ordre tel que f (xT+1)− f (x∗) ⩽
2β ∥x1 − x∗∥2
T 2.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Cas smooth : convergence en 1/T , voire 1/T 2
▶ ∀x , x ′ ∈ Rd , ∥∇f (x)−∇f (x ′)∥ ⩽ β ∥x − x ′∥ xt+1 = xt −
1
β
∇f (xt) =⇒ f (xt+1)− f (xt) ⩽ − 1
2β ∥∇f (xt)∥2
T+1∑
t=2 f (xt)− T f (x∗) ⩽ β ∥x1 − x∗∥2
2
Théorème (Nesterov