Ridge et Lasso

Résumé

Dans les premiers chapitres de cet ouvrage, nous avons supposé que le modèle de régression

$$Y = X\beta + \varepsilon $$

était valide et que la matrice X était de plein rang (hypothèse H₁). Cependant, il existe des cas fréquents où cette hypothèse n’est pas satisfaite et en particulier :

• 1. si n < p, le nombre de variables est supérieur au nombre d’observations ;

• 2. si n ≥ p mais X₁, ..., X _p est une famille liée de ℝⁿ: Cela correspond à une (ou plusieurs) variable(s) linéairement redondante(s), c’est-à-dire

  $$\exists j : {X_j} = \sum\limits_{i \ne j} {{\alpha _i}{X_i}.} $$