Les moindres carrés sont un grand classique des mathématiques appliquées en prépa. On retrouve régulièrement cette méthode dans les annales, notamment dans les sujets HEC Maths 2 2005, HEC Maths 2 2012, ESSEC 2012, HEC Maths 1 2013, HEC Maths 1 2016, HEC Maths 2 2019 et HEC Maths 1 2025.
C’est un thème important car il apparaît dans plusieurs parties du programme : statistiques, algèbre bilinéaire et optimisation.
On présente ici deux méthodes pour résoudre un problème de moindres carrés. Il y a en effet deux manière différentes d’aborder le problème en fonction de si on se place dans un cadre d’algèbre linéaire ou plutôt de fonctions à plusieurs variables.
Le problème des moindres carrés
Soit A ∈ Mₙ,ₚ(ℝ) de rang p, X ∈ Mₚ,₁(ℝ) et B ∈ Mₙ,₁(ℝ). On cherche X qui minimise ‖AX − B‖² c’est à dire minₓ ‖AX − B‖².
En régression linéaire, la méthode des moindres carrés permet de déterminer la droite qui s’ajuste au mieux à un ensemble de données en minimisant la somme des carrés des écarts entre les valeurs observées et les valeurs prédites.
Dans le cadre d’une régression linéaire, A représente la matrice des variables explicatives, X le vecteur des coefficients du modèle à déterminer et B le vecteur des valeurs observées.
Comme A est de rang p, dim(Im(A)) = p et les colonnes de A sont linéairement indépendantes. Géométriquement, AX appartient à Im(A). On cherche donc le vecteur de Im(A) le plus proche de B.
Lire plus : inverser une matrice 2×2
Méthode 1 de résolution de moindres carrés – Le projecteur orthogonal
Soit P le projecteur orthogonal sur Im(A). Le projeté orthogonal PB est le vecteur de Im(A) le plus proche de B. Ainsi, minₓ ‖AX − B‖ = ‖PB − B‖. Il reste à déterminer P.
Étape 1 – Inversibilité de ᵀAA
Comme rg(A) = p, Ker(A) = {0}. Montrons maintenant que Ker(ᵀAA) = Ker(A).
Première inclusion :
Y ∈ Ker(A)
⇒ AY = 0
⇒ ᵀAAY = ᵀA(AY) = 0
⇒ Y ∈ Ker(ᵀAA).
⇒ Ker(A) ⊂ Ker(ᵀAA).
Réciproquement,
Y ∈ Ker(ᵀAA)
⇒ ᵀAAY = 0
⇒ ᵀYᵀAAY = 0
⇒ ‖AY‖² = 0
⇒ AY = 0
⇒ Y ∈ Ker(A).
⇒ Ker(ᵀAA) ⊂ Ker(A).
Finalement, Ker(ᵀAA) = Ker(A) = {0}. Ainsi ᵀAA est injective. Comme ᵀAA ∈ Mₚ(ℝ),
⇒ ᵀAA est inversible.
Étape 2 – Détermination du projecteur
Soit B ∈ Mₙ,₁(ℝ) et posons Y = PB. Comme Y ∈ Im(A), ∃ X ∈ Mₚ,₁(ℝ), Y = AX.
De plus, vu que B-PB ⟂ Im(A), on a:
B − Y ⟂ Im(A).
Les colonnes de A appartenant à Im(A),
ᵀA(B − Y) = 0
⇒ ᵀAB = ᵀAY.
⇒ ᵀAB = ᵀAAX. (Comme Y = AX)
⇒ X = (ᵀAA)⁻¹ᵀAB (Puisque ᵀAA est inversible,)
⇒ Y = A(ᵀAA)⁻¹ᵀAB.
Or Y = PB, donc
P = A(ᵀAA)⁻¹ᵀA.
On obtient donc la formule du projecteur orthogonal sur Im(A) :
P = A(ᵀAA)⁻¹ᵀA.
Et surtout, le vecteur X recherché est
Xₘᵢₙ = (ᵀAA)⁻¹ᵀAB.
Lire plus : déterminer si une matrce est inversible
Méthode 2 de résolution de moindres carrés – L’optimisation
On considère directement
f : Mₚ,₁(ℝ) → ℝ
X ↦ ‖AX − B‖².
Minimiser ‖AX − B‖ revient à minimiser son carré.
On développe :
f(X) = (AX − B)ᵀ(AX − B) = ᵀXᵀAAX − 2ᵀBAX + ᵀBB.
On calcule alors le gradient :
∇f(X) = 2ᵀAAX − 2ᵀAB.
Une condition nécessaire du premier ordre est
∇f(X) = 0
⇒ ᵀAAX = ᵀAB.
Comme ᵀAA est inversible,
X = (ᵀAA)⁻¹ᵀAB.
On retrouve exactement le même résultat.
Montrer qu’il s’agit d’un minimum global
On utilise le théorème du programme sur les formes quadratiques.
La fonction f est de classe C² sur Mₚ,₁(ℝ) ≃ ℝᵖ, qui est un ouvert convexe.
On a
∇f(X) = 2ᵀAAX − 2ᵀAB
donc sa matrice hessienne est constante :
∇²f(X) = 2ᵀAA.
La forme quadratique associée au hessien est donc, pour X ∈ Mₚ,₁(ℝ) et H ∈ Mₚ,₁(ℝ),
qₓ(H) = ᵀH Hf(X) H
= 2ᵀHᵀAAH
= 2‖AH‖².
Or
‖AH‖² ≥ 0.
Ainsi,
∀X ∈ Mₚ,₁(ℝ), ∀H ∈ Mₚ,₁(ℝ), qₓ(H) ≥ 0.
De plus, on a trouvé précédemment un point critique
X₀ = (ᵀAA)⁻¹ᵀAB.
Le théorème donne donc directement :
f atteint un minimum absolu en X₀.
Ainsi,
Xₘᵢₙ = (ᵀAA)⁻¹ᵀAB.
On retrouve exactement le même résultat que par la méthode du projecteur orthogonal.
Lire plus : comprendre les ouverts et les fermés
Ce qu’il faut retenir des moindres carrés
Les deux méthodes conduisent à la même formule :
Xₘᵢₙ = (ᵀAA)⁻¹ᵀAB.
La première méthode repose sur la géométrie euclidienne: on projette B orthogonalement sur Im(A).
La seconde repose sur l’optimisation : on développe le carré de la norme, on calcule le gradient et on utilise la condition du premier ordre.
Dans les deux cas, le cœur du raisonnement est identique : on cherche le vecteur de Im(A) qui est le plus proche possible de B.
La formule (ᵀAA)⁻¹ᵀA est donc à connaître et surtout à savoir retrouver. Elle apparaît très régulièrement dans les problèmes de moindres carrés et constitue un excellent exemple de la manière dont géométrie, algèbre bilinéaire et optimisation peuvent se rejoindre dans un même problème.
