ECG approfondies · Chapitre 13 · Quatrième semestre

Compléments d'algèbre bilinéaire

2e année

Endomorphismes symétriques, matrices symétriques, projection orthogonale, théorème spectral en base orthonormée.

Sommaire

Ce qu'il faut savoir faire

Endomorphismes symétriques
Matrices symétriques
Projection orthogonale
Théorème spectral en base orthonormée

Le semestre précédent a construit deux théories qui se sont ignorées. D'un côté la réduction : on cherche une base dans laquelle un endomorphisme s'écrit le plus simplement possible, et l'on découvre que tous n'y arrivent pas. De l'autre la structure euclidienne : un produit scalaire, une norme, des angles droits, des bases orthonormées. Ce chapitre organise leur rencontre, et cette rencontre est spectaculaire : dès qu'un endomorphisme peut passer d'un côté à l'autre du produit scalaire, au sens de la définition de la section $1$ , non seulement il est diagonalisable, mais il l'est dans une base orthonormée.

Le premier fruit de cette rencontre est géométrique et se résume en une phrase : le meilleur point d'un sous-espace. Étant donné un vecteur $x$ et un sous-espace $F$ , le point de $F$ le plus proche de $x$ existe, il est unique, et c'est exactement le projeté orthogonal $p_{F} (x)$ . Le théorème de Pythagore, qui semblait n'être qu'un souvenir du collège, devient ici un théorème de minimisation. Et comme minimiser une distance, c'est minimiser une somme de carrés, ce résultat purement géométrique donne la méthode des moindres carrés, c'est-à-dire l'ajustement d'un nuage de points par une droite : la statistique descriptive n'est qu'une projection orthogonale déguisée.

Le second fruit est algébrique, et c'est le sommet du chapitre : toute matrice symétrique réelle se diagonalise dans une base orthonormée. C'est le théorème spectral. Il s'écrit $A = P D P^{⊤}$ avec $D$ diagonale et $P$ orthogonale, c'est-à-dire vérifiant $P^{- 1} = P^{⊤}$ : on obtient l'inverse de la matrice de passage en la transposant, sans le moindre calcul. Aucune hypothèse supplémentaire n'est requise, aucun cas particulier ne résiste : la symétrie suffit.

Pourquoi la symétrie change-t-elle tout ? Parce qu'elle dit que l'endomorphisme peut « passer d'un côté à l'autre » du produit scalaire, $⟨ f (x), y ⟩ = ⟨ x, f (y) ⟩$ , et que cette liberté a une conséquence immédiate : deux vecteurs propres associés à deux valeurs propres différentes sont orthogonaux. Les sous-espaces propres, qui dans le cas général sont seulement en somme directe, deviennent ici deux à deux perpendiculaires. La géométrie sépare ce que l'algèbre seule ne séparait pas, et c'est exactement ce qui permet de fabriquer une base orthonormée de vecteurs propres.

Les deux moitiés du chapitre n'en font donc qu'une. La projection orthogonale est un endomorphisme symétrique, elle en est même l'exemple fondamental ; les équations normales des moindres carrés ne disent rien d'autre que « l'écart est orthogonal à l'espace des solutions possibles » ; et la matrice $A^{⊤} A$ , qui gouverne les moindres carrés, est symétrique positive, ce qui la relie à la section $5$ . Une seule identité, $⟨ f (x), y ⟩ = ⟨ x, f (y) ⟩$ , commande tout le chapitre.

Ce socle sert immédiatement après. Le chapitre suivant cherche les extrema d'une fonction de plusieurs variables : la condition du second ordre y fait intervenir la matrice hessienne, qui est symétrique, et tout se joue sur le signe de ses valeurs propres, c'est-à-dire sur la notion de matrice positive de la section $5$ . En probabilités, la matrice de variance-covariance d'un vecteur aléatoire est elle aussi symétrique positive. Autrement dit, les objets construits ici ne sont pas une curiosité d'algébriste : ce sont les outils des deux chapitres les plus appliqués du programme.

Un mot enfin sur le cadre, car il est strict et le respecter fait gagner des points. Tout se passe en dimension finie et sur $R$ : aucun objet de ce chapitre n'est complexe. Les valeurs propres se cherchent exclusivement en résolvant le système $(A - λ I_{n}) X = 0$ avec discussion sur $λ$ , ou grâce à un polynôme annulateur, ou par lecture d'une matrice triangulaire. Et surtout, la phrase « la matrice est symétrique » n'a de sens, du point de vue de l'endomorphisme qu'elle représente, que dans une base orthonormée : c'est le piège numéro un du chapitre, et la section $1$ commence par là.

Voici les notations employées dans tout le chapitre.

Notation	Signification
$(E, ⟨ \cdot, \cdot ⟩)$	espace euclidien, muni de son produit scalaire
$∥ x ∥$	norme associée, $∥ x ∥ = \sqrt{⟨ x, x ⟩}$
$⟨ X, Y ⟩ = X^{⊤} Y$	produit scalaire canonique de $R^{n}$
$A^{⊤}$	transposée de la matrice $A$
$M_{n, p} (R)$ , $M_{n} (R)$	matrices réelles à $n$ lignes et $p$ colonnes, matrices carrées
$S_{n} (R)$	matrices symétriques réelles d'ordre $n$
$S_{n}^{+} (R)$ , $S_{n}^{+ +} (R)$	matrices symétriques positives, définies positives
$I_{n}$	matrice identité d'ordre $n$
$F^{⊥}$	supplémentaire orthogonal du sous-espace $F$
$p_{F}$ , $P_{F}$	projecteur orthogonal sur $F$ , et sa matrice
$d (x, F)$	distance du vecteur $x$ au sous-espace $F$
$Sp (f)$ , $Sp (A)$	spectre d'un endomorphisme, d'une matrice
$E_{λ} (f)$ , $E_{λ} (A)$	sous-espace propre associé à la valeur propre $λ$
$B_{0} = (e_{1}, \dots, e_{n})$ , $B = (u_{1}, \dots, u_{n})$	base canonique, base orthonormée
$□$	fin d'une démonstration

Endomorphismes symétriques et matrices symétriques

Dans toute cette section, $(E, ⟨ \cdot, \cdot ⟩)$ désigne un espace euclidien, c'est-à-dire un espace vectoriel réel de dimension finie $n ⩾ 1$ muni d'un produit scalaire. On note $∥ x ∥ = \sqrt{⟨ x, x ⟩}$ la norme associée. Rappelons le seul résultat du semestre précédent dont nous aurons constamment besoin : dans une base orthonormée $B = (u_{1}, \dots, u_{n})$ , les coordonnées d'un vecteur se lisent au produit scalaire, $x = \sum_{k = 1}^{n} ⟨ x, u_{k} ⟩ u_{k}$ , et le produit scalaire se calcule sur les colonnes de coordonnées, $⟨ x, y ⟩ = X^{⊤} Y$ .

Définition et premiers exemples

Définition

Soit $f$ un endomorphisme de $E$ . On dit que $f$ est symétrique lorsque

\forall (x, y) \in E^{2}, ⟨ f (x), y ⟩ = ⟨ x, f (y) ⟩ .

Autrement dit, dans un produit scalaire, on a le droit de faire passer $f$ d'un vecteur à l'autre. Cette liberté d'apparence anodine est la seule hypothèse de tout le chapitre, et elle produira le théorème spectral.

Remarque

Le mot « symétrique » dépend du produit scalaire, pas seulement de $f$ . Un même endomorphisme peut être symétrique pour un produit scalaire et ne pas l'être pour un autre. Quand plusieurs produits scalaires sont en jeu dans un énoncé, il faut donc préciser lequel, exactement comme on précise le point sous un symbole d'équivalence en analyse.

Exemple

a. L'identité. Pour tous $x$ et $y$ , $⟨ id (x), y ⟩ = ⟨ x, y ⟩ = ⟨ x, id (y) ⟩$ : l'identité est symétrique.

b. Les homothéties. Si $f = λ id$ avec $λ \in R$ , alors par bilinéarité $⟨ f (x), y ⟩ = λ ⟨ x, y ⟩ = ⟨ x, f (y) ⟩$ . En particulier l'endomorphisme nul est symétrique.

c. Un exemple non trivial. Fixons un vecteur $a \in E$ et posons $f (x) = ⟨ a, x ⟩ a$ . Cet endomorphisme est bien linéaire, puisque $x \mapsto ⟨ a, x ⟩$ l'est. Il est symétrique, car pour tous $x$ et $y$

⟨ f (x), y ⟩ = ⟨ a, x ⟩ ⟨ a, y ⟩ = ⟨ x, f (y) ⟩,

les deux membres valant le même produit de deux nombres réels. Nous verrons en section $2$ que, lorsque $a$ est unitaire, $f$ est exactement la projection orthogonale sur la droite $Vect (a)$ .

Exemple

Un exemple en dimension plus grande. Munissons $M_{n} (R)$ de son produit scalaire canonique $⟨ A, B ⟩ = tr (A^{⊤} B)$ , vu au semestre précédent, et considérons l'endomorphisme de transposition $φ : A ⟼ A^{⊤}$ . Il est symétrique. En effet, pour toutes matrices $A$ et $B$ ,

⟨ φ (A), B ⟩ = tr ((A^{⊤})^{⊤} B) = tr (A B),

tandis que, en utilisant $tr (M^{⊤}) = tr (M)$ puis $tr (B A) = tr (A B)$ ,

⟨ A, φ (B) ⟩ = tr (A^{⊤} B^{⊤}) = tr ((B A)^{⊤}) = tr (B A) = tr (A B) .

Les deux quantités coïncident, donc $φ$ est un endomorphisme symétrique de $M_{n} (R)$ . Cet exemple montre que la notion ne concerne pas seulement $R^{n}$ : elle vit dans n'importe quel espace euclidien.

Exemple

Un endomorphisme qui n'est pas symétrique. Munissons $R^{2}$ de son produit scalaire canonique et considérons la rotation d'un quart de tour $f (x_{1}, x_{2}) = (- x_{2}, x_{1})$ . Alors

⟨ f (e_{1}), e_{2} ⟩ = ⟨ (0, 1), (0, 1) ⟩ = 1 et ⟨ e_{1}, f (e_{2}) ⟩ = ⟨ (1, 0), (- 1, 0) ⟩ = - 1.

Les deux nombres diffèrent : $f$ n'est pas symétrique. C'était prévisible géométriquement, puisqu'une rotation d'angle non nul ne conserve aucune direction.

La caractérisation matricielle

Propriété

Théorème. Soient $f$ un endomorphisme de $E$ et $B = (u_{1}, \dots, u_{n})$ une base orthonormée de $E$ . Notons $A = (a_{i j})$ la matrice de $f$ dans $B$ . Alors

f est sym \overset{ˊ}{e} trique ⟺ A est sym \overset{ˊ}{e} trique, c’est- \overset{ˋ}{a} -dire A^{⊤} = A .

Démonstration. Commençons par la remarque qui porte toute la preuve. Par définition de la matrice de $f$ , la $j$ -ième colonne de $A$ contient les coordonnées de $f (u_{j})$ dans $B$ :

f (u_{j}) = \sum_{i = 1}^{n} a_{i j} u_{i} .

Comme la base est orthonormée, la $i$ -ième coordonnée s'obtient en faisant le produit scalaire avec $u_{i}$ , ce qui donne l'identité fondamentale

a_{i j} = ⟨ f (u_{j}), u_{i} ⟩ .

Sens direct. Supposons $f$ symétrique. Pour tous indices $i$ et $j$ ,

a_{i j} = ⟨ f (u_{j}), u_{i} ⟩ = ⟨ u_{j}, f (u_{i}) ⟩ = ⟨ f (u_{i}), u_{j} ⟩ = a_{j i},

la troisième égalité venant de la symétrie du produit scalaire lui-même. Donc $A^{⊤} = A$ .

Réciproque. Supposons $A^{⊤} = A$ . Soient $x$ et $y$ deux vecteurs de $E$ , de colonnes de coordonnées $X$ et $Y$ dans $B$ . La colonne de $f (x)$ est $A X$ , et comme la base est orthonormée, le produit scalaire se calcule sur les coordonnées :

⟨ f (x), y ⟩ = (A X)^{⊤} Y = X^{⊤} A^{⊤} Y = X^{⊤} A Y = X^{⊤} (A Y) = ⟨ x, f (y) ⟩ .

Ainsi $f$ est symétrique. $□$

Remarque

Une base suffit, et le résultat vaut alors pour toutes. Le théorème est une équivalence : si la matrice de $f$ est symétrique dans une base orthonormée, alors $f$ est symétrique, donc sa matrice est symétrique dans toute base orthonormée. On n'a donc jamais besoin de vérifier la symétrie dans plusieurs bases.

Propriété

Cas de $R^{n}$ . Munissons $R^{n}$ de son produit scalaire canonique et identifions les vecteurs aux colonnes de $M_{n, 1} (R)$ . Pour $A \in M_{n} (R)$ , l'endomorphisme $u_{A} : X ⟼ A X$ est symétrique si et seulement si $A \in S_{n} (R)$ .

Démonstration. La base canonique $B_{0}$ est orthonormée pour le produit scalaire canonique, et la matrice de $u_{A}$ dans $B_{0}$ est $A$ : c'est le théorème précédent. On peut aussi le vérifier directement, puisque $⟨ A X, Y ⟩ = (A X)^{⊤} Y = X^{⊤} A^{⊤} Y$ et $⟨ X, A Y ⟩ = X^{⊤} A Y$ . $□$

Le piège : la base doit être orthonormée

Remarque

En base quelconque, une matrice symétrique ne signifie rien. L'hypothèse « base orthonormée » du théorème n'est pas un ornement : sans elle, l'équivalence est fausse dans les deux sens. Voici un contre-exemple entièrement travaillé, à savoir refaire.

Munissons $R^{2}$ de son produit scalaire canonique et considérons la famille

v_{1} = (1, 0), v_{2} = (1, 1) .

C'est une base de $R^{2}$ (deux vecteurs non colinéaires), mais elle n'est pas orthonormée, puisque $⟨ v_{1}, v_{2} ⟩ = 1 \neq 0$ . Définissons l'endomorphisme $f$ par sa matrice dans cette base :

M = (\begin{array}{cc} 0 & 1 \\ 1 & 0 \end{array}), c’est- \overset{ˋ}{a} -dire f (v_{1}) = v_{2} et f (v_{2}) = v_{1} .

La matrice $M$ est on ne peut plus symétrique. Pourtant $f$ ne l'est pas. Pour le voir, revenons à la base canonique : $e_{1} = v_{1}$ et $e_{2} = v_{2} - v_{1}$ , donc par linéarité

f (e_{1}) = v_{2} = (1, 1), f (e_{2}) = f (v_{2}) - f (v_{1}) = v_{1} - v_{2} = (0, - 1) .

Il ne reste qu'à tester la définition :

⟨ f (e_{1}), e_{2} ⟩ = ⟨ (1, 1), (0, 1) ⟩ = 1, ⟨ e_{1}, f (e_{2}) ⟩ = ⟨ (1, 0), (0, - 1) ⟩ = 0.

Ces deux nombres sont différents, donc $f$ n'est pas un endomorphisme symétrique. La matrice de $f$ dans la base canonique, qui est orthonormée, le confirme :

A = (\begin{array}{cc} 1 & 0 \\ 1 & - 1 \end{array}) \neq A^{⊤} .

La morale. La symétrie d'une matrice est une propriété de la matrice ; la symétrie d'un endomorphisme est une propriété géométrique. Le pont entre les deux, c'est le caractère orthonormé de la base, et rien d'autre. Dans une copie, la phrase « la base $B$ étant orthonormée » doit accompagner toute traduction matricielle.

Méthode

Montrer qu'un endomorphisme est symétrique. Deux stratégies, à choisir selon la façon dont l'énoncé présente $f$ .

Par la définition, lorsque $f$ est donné par une formule : calculer $⟨ f (x), y ⟩$ , calculer $⟨ x, f (y) ⟩$ , et constater que les deux expressions coïncident. Le bon réflexe est de développer les deux membres jusqu'à obtenir une expression visiblement symétrique en $x$ et $y$ , comme le produit $⟨ a, x ⟩ ⟨ a, y ⟩$ de l'exemple c. ci-dessus.
Par la matrice, lorsque $f$ est donné par une matrice ou par ses images sur une base : vérifier d'abord que la base est orthonormée, puis constater que la matrice est symétrique. Si la base fournie ne l'est pas, il faut soit revenir à la définition, soit changer de base, mais on ne conclut jamais directement.

Dans les deux cas, la phrase qui rapporte les points est celle qui nomme l'hypothèse utilisée : « la base $B$ étant orthonormée, la symétrie de $f$ équivaut à celle de sa matrice ».

L'ensemble des matrices symétriques

Propriété

$S_{n} (R)$ , ensemble des matrices symétriques réelles d'ordre $n$ , est un sous-espace vectoriel de $M_{n} (R)$ , de dimension

\dim S_{n} (R) = \frac{n (n + 1)}{2} .

Démonstration. L'ensemble $S_{n} (R)$ contient la matrice nulle, et si $A$ et $B$ sont symétriques et $λ$ réel, alors par linéarité de la transposition

(A + λ B)^{⊤} = A^{⊤} + λ B^{⊤} = A + λ B,

donc $A + λ B$ est symétrique : c'est bien un sous-espace vectoriel.

Pour la dimension, notons $(E_{i j})$ la base canonique de $M_{n} (R)$ et considérons la famille

F = (E_{i i})_{1 ⩽ i ⩽ n} \cup (E_{i j} + E_{j i})_{1 ⩽ i < j ⩽ n} .

Ces matrices sont symétriques. Elles engendrent $S_{n} (R)$ : si $A = (a_{i j})$ est symétrique, alors

A = \sum_{i = 1}^{n} a_{i i} E_{i i} + \sum_{1 ⩽ i < j ⩽ n} a_{i j} (E_{i j} + E_{j i}),

car les coefficients situés sous la diagonale sont imposés par ceux situés au-dessus. Elles sont libres : une combinaison linéaire nulle a tous ses coefficients nuls, puisque chacun d'eux est un coefficient de la matrice obtenue, et que les matrices $E_{i j}$ sont libres. La famille $F$ est donc une base, et son cardinal vaut

n + \frac{n (n - 1)}{2} = \frac{2 n + n (n - 1)}{2} = \frac{n (n + 1)}{2} . □

Exemple

Pour $n = 2$ , la dimension vaut $3$ et une base est

(\begin{array}{cc} 1 & 0 \\ 0 & 0 \end{array}), (\begin{array}{cc} 0 & 0 \\ 0 & 1 \end{array}), (\begin{array}{cc} 0 & 1 \\ 1 & 0 \end{array}) .

Pour $n = 3$ , la dimension vaut $6$ : trois coefficients diagonaux et trois coefficients au-dessus de la diagonale. Retenez le principe plutôt que la formule : on choisit librement la partie triangulaire supérieure, diagonale comprise.

Propriété

Stabilité. Soient $A$ et $B$ deux matrices symétriques d'ordre $n$ et $λ$ un réel.

$A^{⊤}$ , $λ A$ et $A + B$ sont symétriques.
Pour tout entier $k ⩾ 0$ , $A^{k}$ est symétrique.
Si $A$ est inversible, $A^{- 1}$ est symétrique.
Pour toute matrice $M \in M_{n, p} (R)$ , les matrices $M^{⊤} M$ et $M M^{⊤}$ sont symétriques.
En revanche, $A B$ n'est pas symétrique en général, et l'on a précisément

A B \in S_{n} (R) ⟺ A B = B A .

Démonstration. 1. C'est la stabilité du sous-espace vectoriel démontrée ci-dessus, et $A^{⊤} = A$ par hypothèse.

2. Par récurrence, ou directement grâce à la règle $(M N)^{⊤} = N^{⊤} M^{⊤}$ appliquée $k - 1$ fois :

(A^{k})^{⊤} = (A^{⊤})^{k} = A^{k} .

3. Transposons l'égalité $A A^{- 1} = I_{n}$ : il vient $(A^{- 1})^{⊤} A^{⊤} = I_{n}$ , c'est-à-dire $(A^{- 1})^{⊤} A = I_{n}$ puisque $A^{⊤} = A$ . Ainsi $(A^{- 1})^{⊤}$ est l'inverse de $A$ , donc $(A^{- 1})^{⊤} = A^{- 1}$ .

4. $(M^{⊤} M)^{⊤} = M^{⊤} (M^{⊤})^{⊤} = M^{⊤} M$ , et de même pour $M M^{⊤}$ . Notons que $M^{⊤} M$ est d'ordre $p$ et $M M^{⊤}$ d'ordre $n$ : ce ne sont pas les mêmes matrices, ni même en général de la même taille.

5. Calculons la transposée du produit :

(A B)^{⊤} = B^{⊤} A^{⊤} = B A .

Dire que $A B$ est symétrique, c'est dire que $A B = (A B)^{⊤}$ , c'est-à-dire $A B = B A$ . $□$

Exemple

Le produit de deux matrices symétriques n'est pas symétrique. Prenons

A = (\begin{array}{cc} 0 & 1 \\ 1 & 0 \end{array}), B = (\begin{array}{cc} 1 & 0 \\ 0 & 2 \end{array}) .

Les deux sont symétriques, et pourtant

A B = (\begin{array}{cc} 0 & 2 \\ 1 & 0 \end{array})

ne l'est pas. Le critère précédent l'annonçait : $B A = (\begin{array}{cc} 0 & 1 \\ 2 & 0 \end{array}) \neq A B$ , les deux matrices ne commutent pas.

Remarque

Cette dernière propriété est la source d'une erreur très fréquente. $S_{n} (R)$ est stable par combinaison linéaire et par puissances d'une même matrice, mais pas par produit de deux matrices différentes. Signalons au passage, sans le développer, que le sous-espace des matrices antisymétriques (celles vérifiant $A^{⊤} = - A$ ) est de dimension $\frac{n (n - 1)}{2}$ , et que les deux sous-espaces sont supplémentaires dans $M_{n} (R)$ : leur intersection est réduite à la matrice nulle (une matrice à la fois symétrique et antisymétrique vérifie $A = - A$ ), et la somme de leurs dimensions vaut $n^{2}$ .

Matrices orthogonales

Le théorème spectral produira des matrices de passage particulières : celles dont les colonnes forment une base orthonormée. Elles méritent un nom et une étude, d'autant qu'elles rendent le calcul d'inverse gratuit.

Définition

Une matrice $P \in M_{n} (R)$ est dite orthogonale lorsque

P^{⊤} P = I_{n} .

Propriété

Caractérisations. Pour $P \in M_{n} (R)$ , les assertions suivantes sont équivalentes.

$P$ est orthogonale, c'est-à-dire $P^{⊤} P = I_{n}$ .
Les colonnes de $P$ forment une base orthonormée de $R^{n}$ .
$P$ est inversible et $P^{- 1} = P^{⊤}$ .
$P$ conserve le produit scalaire : $⟨ P X, P Y ⟩ = ⟨ X, Y ⟩$ pour tous $X$ et $Y$ de $R^{n}$ .
$P$ conserve la norme : $∥ P X ∥ = ∥ X ∥$ pour tout $X$ de $R^{n}$ .

Démonstration. Notons $C_{1}, \dots, C_{n}$ les colonnes de $P$ .

$1 ⟺ 2$ . Le coefficient d'indice $(i, j)$ de $P^{⊤} P$ s'obtient en multipliant la $i$ -ième ligne de $P^{⊤}$ , qui est $C_{i}^{⊤}$ , par la $j$ -ième colonne de $P$ , qui est $C_{j}$ :

(P^{⊤} P)_{i j} = C_{i}^{⊤} C_{j} = ⟨ C_{i}, C_{j} ⟩ .

Dire que $P^{⊤} P = I_{n}$ , c'est donc dire que $⟨ C_{i}, C_{j} ⟩$ vaut $1$ si $i = j$ et $0$ sinon, c'est-à-dire que la famille $(C_{1}, \dots, C_{n})$ est orthonormée. Une famille orthonormée de $n$ vecteurs dans un espace de dimension $n$ étant libre, c'est une base.

$1 ⟺ 3$ . Si $P^{⊤} P = I_{n}$ , alors $P$ admet $P^{⊤}$ pour inverse à gauche ; comme il s'agit de matrices carrées, cela suffit à assurer que $P$ est inversible d'inverse $P^{⊤}$ . Réciproquement, si $P^{- 1} = P^{⊤}$ , alors $P^{⊤} P = P^{- 1} P = I_{n}$ .

$1 ⟹ 4$ . Pour tous $X$ et $Y$ ,

⟨ P X, P Y ⟩ = (P X)^{⊤} (P Y) = X^{⊤} P^{⊤} P Y = X^{⊤} I_{n} Y = X^{⊤} Y = ⟨ X, Y ⟩ .

$4 ⟹ 5$ . Il suffit de prendre $Y = X$ et de passer à la racine carrée.

$5 ⟹ 1$ . Supposons que $P$ conserve la norme. L'identité de polarisation, vue au semestre précédent,

⟨ X, Y ⟩ = \frac{1}{2} (∥ X + Y ∥^{2} - ∥ X ∥^{2} - ∥ Y ∥^{2}),

montre que $P$ conserve alors aussi le produit scalaire : on l'applique au couple $(P X, P Y)$ et l'on remplace chaque norme par celle du vecteur correspondant, en utilisant $P (X + Y) = P X + P Y$ . En particulier, pour les vecteurs de la base canonique, $⟨ P e_{i}, P e_{j} ⟩ = ⟨ e_{i}, e_{j} ⟩$ . Or $P e_{i} = C_{i}$ : les colonnes de $P$ forment donc une famille orthonormée, et l'on conclut par l'équivalence $1 ⟺ 2$ . $□$

Remarque

Le nom est trompeur. Une matrice orthogonale n'est pas une matrice « dont les colonnes sont orthogonales » : elles doivent aussi être unitaires. La matrice $(\begin{array}{cc} 2 & 0 \\ 0 & 3 \end{array})$ a des colonnes orthogonales et n'est pas orthogonale. Il aurait fallu dire « orthonormée » ; l'usage en a décidé autrement, il faut faire avec.

Propriété

Opérations. Soient $P$ et $Q$ deux matrices orthogonales d'ordre $n$ .

$P Q$ est orthogonale.
$P^{- 1} = P^{⊤}$ est orthogonale.
On a aussi $P P^{⊤} = I_{n}$ , autrement dit les lignes de $P$ forment elles aussi une base orthonormée de $R^{n}$ .

Démonstration. 1. $(P Q)^{⊤} (P Q) = Q^{⊤} (P^{⊤} P) Q = Q^{⊤} Q = I_{n}$ .

2. Puisque $P^{- 1} = P^{⊤}$ , on a $(P^{⊤})^{⊤} P^{⊤} = P P^{⊤} = P P^{- 1} = I_{n}$ , donc $P^{⊤}$ est orthogonale.

3. L'égalité $P P^{⊤} = I_{n}$ vient d'être écrite ; en la lisant comme au point $1 ⟺ 2$ de la caractérisation, appliqué à $P^{⊤}$ , on obtient que les colonnes de $P^{⊤}$ , c'est-à-dire les lignes de $P$ , forment une base orthonormée. $□$

Propriété

Matrices de passage entre bases orthonormées. Soient $B$ une base orthonormée de l'espace euclidien $E$ et $B^{'}$ une autre base de $E$ . Notons $P$ la matrice de passage de $B$ à $B^{'}$ . Alors

B^{'} est orthonorm \overset{ˊ}{e} e ⟺ P est orthogonale .

Démonstration. Les colonnes de $P$ sont les colonnes de coordonnées des vecteurs de $B^{'}$ dans la base $B$ . Comme $B$ est orthonormée, le produit scalaire de deux vecteurs est le produit scalaire canonique de leurs colonnes de coordonnées. Dire que $B^{'}$ est orthonormée revient donc exactement à dire que les colonnes de $P$ forment une famille orthonormée de $R^{n}$ , c'est-à-dire que $P$ est orthogonale. $□$

Remarque

C'est la propriété qui fait tout le confort du chapitre. Une formule de changement de base s'écrit d'ordinaire $A^{'} = P^{- 1} A P$ , et le calcul de $P^{- 1}$ est fastidieux. Entre deux bases orthonormées, elle devient

A^{'} = P^{⊤} A P,

sans le moindre calcul d'inverse. On en déduit au passage une autre preuve du fait qu'une matrice symétrique en base orthonormée le reste dans toute autre base orthonormée :

(P^{⊤} A P)^{⊤} = P^{⊤} A^{⊤} (P^{⊤})^{⊤} = P^{⊤} A P .

Exemple

a. $I_{n}$ est orthogonale. Plus généralement, toute matrice diagonale dont les coefficients diagonaux valent $1$ ou $- 1$ est orthogonale.

b. La matrice $P = \frac{1}{\sqrt{2}} (\begin{array}{cc} 1 & - 1 \\ 1 & 1 \end{array})$ est orthogonale : ses colonnes $\frac{1}{\sqrt{2}} (1, 1)$ et $\frac{1}{\sqrt{2}} (- 1, 1)$ sont unitaires et orthogonales. On vérifie sans peine que $P^{⊤} P = I_{2}$ .

c. Pour tout réel $θ$ , la matrice de rotation $R_{θ} = (\begin{array}{cc} \cos θ & - \sin θ \\ \sin θ & \cos θ \end{array})$ est orthogonale, car

R_{θ}^{⊤} R_{θ} = (\begin{array}{cc} \cos^{2} θ + \sin^{2} θ & - \cos θ \sin θ + \sin θ \cos θ \\ - \sin θ \cos θ + \cos θ \sin θ & \sin^{2} θ + \cos^{2} θ \end{array}) = I_{2} .

d. La matrice $\frac{1}{3} (\begin{array}{ccc} 1 & 2 & 2 \\ 2 & 1 & - 2 \\ 2 & - 2 & 1 \end{array})$ est orthogonale : chaque colonne est de norme $\frac{1}{3} \sqrt{1 + 4 + 4} = 1$ , et les produits scalaires deux à deux valent $\frac{1}{9} (2 + 2 - 4) = 0$ , $\frac{1}{9} (2 - 4 + 2) = 0$ et $\frac{1}{9} (4 - 2 - 2) = 0$ .

Méthode

Vérifier qu'une matrice est orthogonale. Deux stratégies, selon la forme de la matrice.

Par le calcul matriciel : effectuer le produit $P^{⊤} P$ et constater qu'il vaut $I_{n}$ . C'est le plus rapide quand la matrice contient des paramètres.
Colonne par colonne : vérifier que chaque colonne est de norme $1$ , puis que les produits scalaires deux à deux sont nuls. Il y a $n$ normes et $\frac{n (n - 1)}{2}$ produits scalaires à contrôler, mais chaque calcul est immédiat. C'est le plus sûr quand la matrice est numérique.

Dans les deux cas, l'oubli le plus fréquent est celui de la normalisation : des colonnes orthogonales mais non unitaires ne donnent pas une matrice orthogonale.

Projection orthogonale

Nous entrons dans la première moitié des résultats annoncés : le meilleur point d'un sous-espace. Dans toute cette section, $F$ désigne un sous-espace vectoriel de l'espace euclidien $E$ , de dimension $p$ avec $1 ⩽ p ⩽ n$ .

Définition du projeté orthogonal

Rappelons le résultat du semestre précédent qui rend tout possible : pour tout sous-espace $F$ de l'espace euclidien $E$ , on a $E = F \oplus F^{⊥}$ , et de plus $\dim F^{⊥} = n - \dim F$ et $(F^{⊥})^{⊥} = F$ . Tout vecteur de $E$ se décompose donc, de manière unique, en une composante dans $F$ et une composante orthogonale à $F$ .

Définition

Soit $x \in E$ . Il existe un unique vecteur $y \in F$ tel que $x - y \in F^{⊥}$ . Ce vecteur s'appelle le projeté orthogonal de $x$ sur $F$ et se note $p_{F} (x)$ . L'application $p_{F} : E \to E$ ainsi définie s'appelle la projection orthogonale sur $F$ .

L'existence et l'unicité sont exactement la décomposition $E = F \oplus F^{⊥}$ : le vecteur $x$ s'écrit de façon unique $x = y + z$ avec $y \in F$ et $z \in F^{⊥}$ , et l'on pose $p_{F} (x) = y$ .

Projeté orthogonal d'un vecteur sur un sous-espace, et vecteur d'écart orthogonal au sous-espace

Remarque

La figure résume la définition : on « laisse tomber » $x$ perpendiculairement sur $F$ . Le vecteur $x - p_{F} (x)$ , appelé écart, est orthogonal à $F$ tout entier, et non pas seulement à $p_{F} (x)$ . C'est cette orthogonalité à tout le sous-espace qui sera la clé de la section $3$ .

Expression en base orthonormée

Propriété

Théorème. Soit $(u_{1}, \dots, u_{p})$ une base orthonormée de $F$ . Alors, pour tout $x \in E$ ,

p_{F} (x) = \sum_{k = 1}^{p} ⟨ x, u_{k} ⟩ u_{k} .

Démonstration. Posons $y = \sum_{k = 1}^{p} ⟨ x, u_{k} ⟩ u_{k}$ . Ce vecteur appartient à $F$ , puisque c'est une combinaison linéaire des $u_{k}$ . Montrons que $x - y$ appartient à $F^{⊥}$ .

Soit $j \in {1, \dots, p}$ . Par bilinéarité du produit scalaire,

⟨ x - y, u_{j} ⟩ = ⟨ x, u_{j} ⟩ - \sum_{k = 1}^{p} ⟨ x, u_{k} ⟩ ⟨ u_{k}, u_{j} ⟩ .

La famille étant orthonormée, $⟨ u_{k}, u_{j} ⟩$ vaut $0$ sauf pour $k = j$ où il vaut $1$ : la somme se réduit à son seul terme d'indice $j$ , et

⟨ x - y, u_{j} ⟩ = ⟨ x, u_{j} ⟩ - ⟨ x, u_{j} ⟩ = 0.

Le vecteur $x - y$ est donc orthogonal à chacun des $u_{j}$ , donc à toute combinaison linéaire de ces vecteurs, c'est-à-dire à $F$ tout entier : $x - y \in F^{⊥}$ .

Ainsi $y \in F$ et $x - y \in F^{⊥}$ : par unicité dans la définition, $y = p_{F} (x)$ . $□$

Propriété

Corollaire. La projection orthogonale $p_{F}$ vérifie :

$p_{F}$ est un endomorphisme de $E$ ;
$p_{F} \circ p_{F} = p_{F}$ , et plus précisément $p_{F} (y) = y$ pour tout $y \in F$ ;
$Im p_{F} = F$ et $\ker p_{F} = F^{⊥}$ ;
$p_{F^{⊥}} = id - p_{F}$ .

Démonstration. 1. L'expression $x \mapsto \sum_{k} ⟨ x, u_{k} ⟩ u_{k}$ est linéaire en $x$ , chaque application $x \mapsto ⟨ x, u_{k} ⟩$ l'étant par bilinéarité du produit scalaire.

2. Si $y \in F$ , alors $y \in F$ et $y - y = 0 \in F^{⊥}$ : la définition donne $p_{F} (y) = y$ . Comme $p_{F} (x)$ appartient toujours à $F$ , on en déduit $p_{F} (p_{F} (x)) = p_{F} (x)$ pour tout $x$ .

3. L'inclusion $Im p_{F} \subset F$ est immédiate, et l'égalité vient du point 2. puisque tout $y \in F$ est l'image de lui-même. Pour le noyau : $p_{F} (x) = 0$ signifie que la composante de $x$ dans $F$ est nulle, c'est-à-dire $x = x - p_{F} (x) \in F^{⊥}$ ; réciproquement, si $x \in F^{⊥}$ , alors $x = 0 + x$ avec $0 \in F$ et $x \in F^{⊥}$ , donc $p_{F} (x) = 0$ .

4. Soit $x \in E$ . Écrivons $x = p_{F} (x) + (x - p_{F} (x))$ . Le premier terme appartient à $F = (F^{⊥})^{⊥}$ et le second à $F^{⊥}$ . Cette écriture est donc la décomposition de $x$ adaptée à $E = F^{⊥} \oplus (F^{⊥})^{⊥}$ , et la composante dans $F^{⊥}$ vaut $x - p_{F} (x)$ : c'est dire que $p_{F^{⊥}} (x) = x - p_{F} (x)$ . $□$

Exemple

Dans $R^{3}$ muni du produit scalaire canonique, soit $F = Vect (u_{1}, u_{2})$ avec

u_{1} = \frac{1}{\sqrt{2}} (1, 1, 0), u_{2} = (0, 0, 1) .

Ces deux vecteurs sont unitaires et orthogonaux : $(u_{1}, u_{2})$ est une base orthonormée de $F$ . Pour $x = (2, 4, 5)$ , on calcule

⟨ x, u_{1} ⟩ = \frac{2 + 4}{\sqrt{2}} = \frac{6}{\sqrt{2}}, ⟨ x, u_{2} ⟩ = 5,

d'où

p_{F} (x) = \frac{6}{\sqrt{2}} \times \frac{1}{\sqrt{2}} (1, 1, 0) + 5 (0, 0, 1) = (3, 3, 5) .

On vérifie : $x - p_{F} (x) = (- 1, 1, 0)$ est bien orthogonal à $u_{1}$ et à $u_{2}$ .

Un projecteur orthogonal est un endomorphisme symétrique

Propriété

Théorème (caractérisation des projecteurs orthogonaux). Soit $p$ un endomorphisme de l'espace euclidien $E$ .

La projection orthogonale $p_{F}$ sur un sous-espace $F$ est un endomorphisme symétrique vérifiant $p_{F} \circ p_{F} = p_{F}$ .
Réciproquement, si $p \circ p = p$ et si $p$ est symétrique, alors $p$ est la projection orthogonale sur $F = Im p$ .

Démonstration. 1. Soient $x$ et $y$ dans $E$ . Décomposons $y = p_{F} (y) + (y - p_{F} (y))$ . Comme $p_{F} (x) \in F$ et $y - p_{F} (y) \in F^{⊥}$ , le produit scalaire de ces deux vecteurs est nul, donc

⟨ p_{F} (x), y ⟩ = ⟨ p_{F} (x), p_{F} (y) ⟩ + \underset{= 0}{\underset{⏟}{⟨ p_{F} (x), y - p_{F} (y) ⟩}} = ⟨ p_{F} (x), p_{F} (y) ⟩ .

Le membre de droite est symétrique en $x$ et $y$ . En refaisant le même calcul en décomposant cette fois $x$ , on obtient de la même façon

⟨ x, p_{F} (y) ⟩ = ⟨ p_{F} (x), p_{F} (y) ⟩ .

Les deux quantités sont donc égales : $⟨ p_{F} (x), y ⟩ = ⟨ x, p_{F} (y) ⟩$ , et $p_{F}$ est symétrique. La relation $p_{F} \circ p_{F} = p_{F}$ a été établie au corollaire précédent.

2. Supposons $p \circ p = p$ et $p$ symétrique, et posons $F = Im p$ . Comme $p$ est un projecteur, on sait que $E = Im p \oplus \ker p$ . Il suffit donc de montrer que $\ker p = F^{⊥}$ , car alors, pour tout $x$ , la décomposition

x = \underset{\in F}{\underset{⏟}{p (x)}} + \underset{\in \ker p = F^{⊥}}{\underset{⏟}{(x - p (x))}}

sera exactement celle qui définit le projeté orthogonal, ce qui donnera $p (x) = p_{F} (x)$ . Vérifions au passage que $x - p (x) \in \ker p$ :

p (x - p (x)) = p (x) - p (p (x)) = p (x) - p (x) = 0.

Première inclusion. Soit $x \in \ker p$ et soit $y \in F$ , c'est-à-dire $y = p (z)$ pour un certain $z \in E$ . En utilisant la symétrie de $p$ ,

⟨ x, y ⟩ = ⟨ x, p (z) ⟩ = ⟨ p (x), z ⟩ = ⟨ 0, z ⟩ = 0.

Donc $x \in F^{⊥}$ , ce qui prouve $\ker p \subset F^{⊥}$ .

Égalité par les dimensions. Le théorème du rang donne $\dim \ker p = n - \dim Im p = n - \dim F$ , et l'on sait que $\dim F^{⊥} = n - \dim F$ . Les deux sous-espaces ont donc la même dimension, et l'inclusion précédente devient une égalité : $\ker p = F^{⊥}$ . $□$

Remarque

Les deux hypothèses sont indispensables. Un projecteur qui n'est pas symétrique projette « de travers », le long d'une direction qui n'est pas perpendiculaire. Reprenons l'endomorphisme $f$ du contre-exemple de la section $1$ , de matrice $A = (\begin{array}{cc} 1 & 0 \\ 1 & - 1 \end{array})$ dans la base canonique. Un calcul immédiat donne $A^{2} = (\begin{array}{cc} 1 & 0 \\ 0 & 1 \end{array})$ , donc $f$ n'est pas un projecteur ; mais la matrice $B = (\begin{array}{cc} 1 & 0 \\ 1 & 0 \end{array})$ vérifie $B^{2} = B$ sans être symétrique : l'endomorphisme associé est un projecteur sur la droite $Vect ((1, 1))$ , parallèlement à $Vect ((0, 1))$ , et ces deux droites ne sont pas perpendiculaires.

Ce théorème est très demandé aux concours, sous la forme : « montrer que $p$ est la projection orthogonale sur $Im p$ ». La réponse tient en deux vérifications, $p \circ p = p$ et la symétrie, jamais en un calcul de projeté.

Matrice d'une projection orthogonale

Propriété

Soit $B$ une base orthonormée de $E$ et $P_{F}$ la matrice de $p_{F}$ dans $B$ . Alors

P_{F}^{⊤} = P_{F} et P_{F}^{2} = P_{F} .

Réciproquement, toute matrice $M$ vérifiant $M^{⊤} = M$ et $M^{2} = M$ est, dans une base orthonormée, la matrice de la projection orthogonale sur $Im M$ .

Démonstration. C'est la traduction matricielle du théorème précédent, licite parce que la base est orthonormée : la symétrie de $p_{F}$ équivaut à celle de $P_{F}$ (section $1$ ), et $p_{F} \circ p_{F} = p_{F}$ équivaut à $P_{F}^{2} = P_{F}$ . $□$

Propriété

Projection sur une droite. Soit $a$ un vecteur non nul de $E$ et $D = Vect (a)$ . Alors, pour tout $x \in E$ ,

p_{D} (x) = \frac{⟨ a, x ⟩}{∥ a ∥^{2}} a .

Dans $R^{n}$ muni du produit scalaire canonique, la matrice de $p_{D}$ dans la base canonique est

P_{D} = \frac{1}{∥ a ∥^{2}} a a^{⊤} .

Démonstration. Le vecteur $u = \frac{a}{∥ a ∥}$ est unitaire et $(u)$ est une base orthonormée de $D$ . Le théorème d'expression en base orthonormée donne donc

p_{D} (x) = ⟨ x, u ⟩ u = ⟨ x, \frac{a}{∥ a ∥} ⟩ \frac{a}{∥ a ∥} = \frac{⟨ a, x ⟩}{∥ a ∥^{2}} a .

Pour la matrice, plaçons-nous dans $R^{n}$ et identifions les vecteurs à des colonnes. Le produit $a a^{⊤}$ est une matrice carrée d'ordre $n$ (une colonne fois une ligne), et pour toute colonne $X$ , l'associativité du produit matriciel donne

(a a^{⊤}) X = a (a^{⊤} X) = ⟨ a, X ⟩ a,

puisque $a^{⊤} X$ est le nombre réel $⟨ a, X ⟩$ . Ainsi $\frac{1}{∥ a ∥^{2}} a a^{⊤} X = p_{D} (X)$ pour tout $X$ , ce qui identifie la matrice.

On peut vérifier les deux propriétés attendues. Symétrie : $(a a^{⊤})^{⊤} = (a^{⊤})^{⊤} a^{⊤} = a a^{⊤}$ . Idempotence :

P_{D}^{2} = \frac{1}{∥ a ∥^{4}} a \underset{= ∥ a ∥^{2}}{\underset{⏟}{(a^{⊤} a)}} a^{⊤} = \frac{∥ a ∥^{2}}{∥ a ∥^{4}} a a^{⊤} = P_{D} . □

Exemple

Dans $R^{3}$ , prenons $a = (1, 2, 2)$ , de norme $∥ a ∥ = \sqrt{1 + 4 + 4} = 3$ . La matrice de la projection orthogonale sur $D = Vect (a)$ est

P_{D} = \frac{1}{9} (\begin{array}{c} 1 \\ 2 \\ 2 \end{array}) (\begin{array}{ccc} 1 & 2 & 2 \end{array}) = \frac{1}{9} (\begin{array}{ccc} 1 & 2 & 2 \\ 2 & 4 & 4 \\ 2 & 4 & 4 \end{array}) .

Elle est bien symétrique, et l'on vérifie sur un vecteur : pour $x = (3, 0, 0)$ , la formule donne $p_{D} (x) = \frac{3}{9} (1, 2, 2) = (\frac{1}{3}, \frac{2}{3}, \frac{2}{3})$ , ce que confirme le produit $P_{D} X$ .

Distance à un sous-espace

Nous arrivons au théorème qui justifie tout ce qui précède : la projection orthogonale n'est pas seulement une construction commode, c'est la solution d'un problème de minimisation.

Définition

Soient $x \in E$ et $F$ un sous-espace vectoriel de $E$ . On appelle distance de $x$ à $F$ le réel

d (x, F) = \inf_{y \in F} ∥ x - y ∥ .

Propriété

Théorème de minimisation. Soient $F$ un sous-espace vectoriel de $E$ et $x \in E$ . Pour tout $y \in F$ ,

∥ x - y ∥^{2} = ∥ x - p_{F} (x) ∥^{2} + ∥ p_{F} (x) - y ∥^{2} .

Par conséquent :

la borne inférieure définissant $d (x, F)$ est atteinte, et elle l'est en un unique point de $F$ , à savoir $p_{F} (x)$ ;
$d (x, F) = ∥ x - p_{F} (x) ∥$ ;
$d (x, F)^{2} = ∥ x ∥^{2} - ∥ p_{F} (x) ∥^{2}$ , et en particulier $∥ p_{F} (x) ∥ ⩽ ∥ x ∥$ (inégalité de Bessel).

Démonstration. Soit $y \in F$ . Décomposons astucieusement le vecteur $x - y$ en faisant apparaître le projeté :

x - y = \underset{\in F^{⊥}}{\underset{⏟}{(x - p_{F} (x))}} + \underset{\in F}{\underset{⏟}{(p_{F} (x) - y)}},

la seconde appartenance venant du fait que $p_{F} (x)$ et $y$ sont tous deux dans $F$ , qui est un sous-espace vectoriel. Ces deux vecteurs sont orthogonaux, donc le théorème de Pythagore s'applique et donne l'égalité annoncée.

1. et 2. Dans cette égalité, le premier terme du membre de droite ne dépend pas de $y$ et le second est positif ou nul. On en déduit

∥ x - y ∥^{2} ⩾ ∥ x - p_{F} (x) ∥^{2} pour tout y \in F,

avec égalité si et seulement si $∥ p_{F} (x) - y ∥ = 0$ , c'est-à-dire $y = p_{F} (x)$ . La quantité $∥ x - y ∥$ est donc minimale pour $y = p_{F} (x)$ et pour cette valeur seulement : la borne inférieure est un minimum, atteint en l'unique point $p_{F} (x)$ .

3. Appliquons de nouveau Pythagore, cette fois à la décomposition $x = p_{F} (x) + (x - p_{F} (x))$ , dont les deux termes sont orthogonaux :

∥ x ∥^{2} = ∥ p_{F} (x) ∥^{2} + ∥ x - p_{F} (x) ∥^{2} = ∥ p_{F} (x) ∥^{2} + d (x, F)^{2} .

D'où $d (x, F)^{2} = ∥ x ∥^{2} - ∥ p_{F} (x) ∥^{2}$ , et comme $d (x, F)^{2} ⩾ 0$ , il vient $∥ p_{F} (x) ∥^{2} ⩽ ∥ x ∥^{2}$ , puis l'inégalité de Bessel en passant à la racine carrée. $□$

Le projeté orthogonal est le point du sous-espace le plus proche : le théorème de Pythagore le prouve

Remarque

Ce théorème est le cœur du chapitre. Il transforme un problème d'analyse, « minimiser une distance », en un problème de géométrie, « rendre l'écart orthogonal ». Toute la section $3$ n'est que ce théorème, appliqué à un sous-espace bien choisi.

Notons aussi la formule 3., très pratique en calcul : elle évite d'écrire le vecteur $x - p_{F} (x)$ quand on ne veut que la distance. Avec une base orthonormée $(u_{1}, \dots, u_{p})$ de $F$ , elle s'écrit

d (x, F)^{2} = ∥ x ∥^{2} - \sum_{k = 1}^{p} ⟨ x, u_{k} ⟩^{2} .

Propriété

Distance à un hyperplan. Soit $H$ un hyperplan de $E$ , c'est-à-dire un sous-espace de dimension $n - 1$ , et soit $a$ un vecteur non nul tel que $H^{⊥} = Vect (a)$ . Alors, pour tout $x \in E$ ,

p_{H} (x) = x - \frac{⟨ a, x ⟩}{∥ a ∥^{2}} a et d (x, H) = \frac{∣ ⟨ a, x ⟩ ∣}{∥ a ∥} .

Démonstration. Puisque $H^{⊥}$ est la droite $Vect (a)$ , la formule de projection sur une droite donne $p_{H^{⊥}} (x) = \frac{⟨ a, x ⟩}{∥ a ∥^{2}} a$ , et le corollaire $p_{H} = id - p_{H^{⊥}}$ fournit la première égalité. Pour la distance,

d (x, H) = ∥ x - p_{H} (x) ∥ = ∥ \frac{⟨ a, x ⟩}{∥ a ∥^{2}} a ∥ = \frac{∣ ⟨ a, x ⟩ ∣}{∥ a ∥^{2}} \times ∥ a ∥ = \frac{∣ ⟨ a, x ⟩ ∣}{∥ a ∥},

la valeur absolue étant obligatoire dans l'homogénéité de la norme. $□$

Exemple

Dans $R^{3}$ , considérons le plan $H$ d'équation $x - y + 2 z = 0$ et le vecteur $x_{0} = (3, 1, 1)$ . Le plan $H$ est exactement l'ensemble des vecteurs orthogonaux à $a = (1, - 1, 2)$ , autrement dit $H^{⊥} = Vect (a)$ , avec $∥ a ∥^{2} = 1 + 1 + 4 = 6$ . Comme $⟨ a, x_{0} ⟩ = 3 - 1 + 2 = 4$ , la formule donne

p_{H} (x_{0}) = (3, 1, 1) - \frac{4}{6} (1, - 1, 2) = (\frac{7}{3}, \frac{5}{3}, - \frac{1}{3}), d (x_{0}, H) = \frac{4}{\sqrt{6}} = \frac{2 \sqrt{6}}{3} .

Contrôle : $\frac{7}{3} - \frac{5}{3} - \frac{2}{3} = 0$ , le projeté appartient bien à $H$ . Retenez ce cas de figure : lorsque le sous-espace est donné par une équation, le vecteur des coefficients de cette équation engendre l'orthogonal, et tout le calcul tient en deux lignes.

Trois façons de calculer un projeté

Méthode

Calculer $p_{F} (x)$ : choisir la bonne méthode. Les trois techniques suivantes donnent toutes le bon résultat ; ce qui les distingue, c'est la quantité de calcul.

(i) Par une base orthonormée de $F$ . On orthonormalise une base de $F$ (procédé de Gram-Schmidt), puis on applique la formule

p_{F} (x) = \sum_{k = 1}^{p} ⟨ x, u_{k} ⟩ u_{k} .

Quand la choisir : lorsque $\dim F$ est petite (droite, plan), ou lorsqu'une base orthonormée de $F$ est déjà fournie par l'énoncé. Le coût : Gram-Schmidt, avec ses racines carrées.

(ii) Par le supplémentaire orthogonal. On détermine une base orthonormée de $F^{⊥}$ , on calcule $p_{F^{⊥}} (x)$ , puis

p_{F} (x) = x - p_{F^{⊥}} (x) .

Quand la choisir : lorsque $F$ est un hyperplan donné par une équation, car $F^{⊥}$ est alors la droite engendrée par le vecteur des coefficients de l'équation. Projeter sur une droite ne coûte rien ; projeter sur un hyperplan de $R^{5}$ coûte quatre orthonormalisations.

(iii) Par les équations normales. On écrit le projeté dans une base quelconque $(v_{1}, \dots, v_{p})$ de $F$ ,

p_{F} (x) = \sum_{k = 1}^{p} α_{k} v_{k},

et l'on traduit le fait que l'écart est orthogonal à $F$ par le système de $p$ équations

⟨ x - p_{F} (x), v_{j} ⟩ = 0, j = 1, \dots, p .

Quand la choisir : lorsque la base de $F$ donnée par l'énoncé n'est pas orthogonale et qu'on ne veut pas orthonormaliser. Le système obtenu est un système linéaire de taille $p$ , à coefficients les produits scalaires $⟨ v_{i}, v_{j} ⟩$ ; il est toujours résoluble et sa solution est unique.

Contrôle final, quelle que soit la méthode : vérifier que $p_{F} (x)$ appartient bien à $F$ , et que $x - p_{F} (x)$ est orthogonal à chaque vecteur d'une base de $F$ . Deux produits scalaires, dix secondes, et l'erreur de calcul est détectée.

Exemple

Un projeté par les équations normales. Dans $R^{3}$ muni du produit scalaire canonique, considérons

F = Vect (v_{1}, v_{2}) avec v_{1} = (1, 1, 0), v_{2} = (1, 0, 1), et x = (1, 2, 3) .

Les vecteurs $v_{1}$ et $v_{2}$ ne sont pas orthogonaux, puisque $⟨ v_{1}, v_{2} ⟩ = 1$ . Plutôt que d'orthonormaliser, écrivons

p_{F} (x) = α_{1} v_{1} + α_{2} v_{2}

et traduisons l'orthogonalité de l'écart aux deux vecteurs $v_{1}$ et $v_{2}$ :

{\begin{cases} ⟨ x, v_{1} ⟩ = α_{1} ⟨ v_{1}, v_{1} ⟩ + α_{2} ⟨ v_{2}, v_{1} ⟩ \\ ⟨ x, v_{2} ⟩ = α_{1} ⟨ v_{1}, v_{2} ⟩ + α_{2} ⟨ v_{2}, v_{2} ⟩ \end{cases}

Les produits scalaires valent $⟨ v_{1}, v_{1} ⟩ = 2$ , $⟨ v_{1}, v_{2} ⟩ = 1$ , $⟨ v_{2}, v_{2} ⟩ = 2$ , $⟨ x, v_{1} ⟩ = 3$ et $⟨ x, v_{2} ⟩ = 4$ . Le système s'écrit donc

{\begin{cases} 2 α_{1} + α_{2} = 3 \\ α_{1} + 2 α_{2} = 4 \end{cases}

L'opération $L_{1} - 2 L_{2}$ élimine $α_{1}$ et donne $- 3 α_{2} = - 5$ , donc $α_{2} = \frac{5}{3}$ . En reportant dans la première équation, $2 α_{1} = 3 - \frac{5}{3} = \frac{4}{3}$ , d'où $α_{1} = \frac{2}{3}$ . Finalement

p_{F} (x) = \frac{2}{3} (1, 1, 0) + \frac{5}{3} (1, 0, 1) = (\frac{7}{3}, \frac{2}{3}, \frac{5}{3}) .

Vérification. L'écart vaut

x - p_{F} (x) = (1 - \frac{7}{3}, 2 - \frac{2}{3}, 3 - \frac{5}{3}) = (- \frac{4}{3}, \frac{4}{3}, \frac{4}{3}),

et l'on a bien $⟨ x - p_{F} (x), v_{1} ⟩ = - \frac{4}{3} + \frac{4}{3} = 0$ ainsi que $⟨ x - p_{F} (x), v_{2} ⟩ = - \frac{4}{3} + \frac{4}{3} = 0$ . La distance vaut

d (x, F) = ∥ (- \frac{4}{3}, \frac{4}{3}, \frac{4}{3}) ∥ = \frac{4}{3} \sqrt{3},

ce que confirme la formule $d (x, F)^{2} = ∥ x ∥^{2} - ∥ p_{F} (x) ∥^{2} = 14 - \frac{49 + 4 + 25}{9} = 14 - \frac{26}{3} = \frac{16}{3}$ .

Exemple

Le même projeté par la méthode (ii). Le sous-espace $F$ de l'exemple précédent est un plan de $R^{3}$ : son supplémentaire orthogonal est une droite. Cherchons un vecteur $a$ orthogonal à $v_{1}$ et à $v_{2}$ : le système ${\begin{cases} a_{1} + a_{2} = 0 \\ a_{1} + a_{3} = 0 \end{cases}$ donne $a = (- 1, 1, 1)$ , de norme au carré $3$ . Alors

p_{F^{⊥}} (x) = \frac{⟨ a, x ⟩}{∥ a ∥^{2}} a = \frac{- 1 + 2 + 3}{3} (- 1, 1, 1) = \frac{4}{3} (- 1, 1, 1) = (- \frac{4}{3}, \frac{4}{3}, \frac{4}{3}),

et $p_{F} (x) = x - p_{F^{⊥}} (x) = (\frac{7}{3}, \frac{2}{3}, \frac{5}{3})$ : on retrouve exactement le résultat précédent, en deux lignes au lieu de dix. Quand $F$ est un hyperplan, on projette toujours sur $F^{⊥}$ .

Le problème des moindres carrés

Cette section est une application, et une seule : celle du théorème de minimisation. Elle mérite pourtant une section entière, car c'est le point où l'algèbre bilinéaire rejoint la statistique.

Position du problème

Considérons un système linéaire $A X = b$ , où $A \in M_{n, p} (R)$ , $b \in R^{n}$ et l'inconnue $X$ est dans $R^{p}$ . Le cas qui nous intéresse est celui où

n > p,

c'est-à-dire plus d'équations que d'inconnues : le système est dit surdéterminé. La situation type est celle d'une expérience répétée $n$ fois pour estimer $p$ paramètres, avec $n$ bien plus grand que $p$ . Un tel système n'a en général aucune solution : les mesures sont bruitées, les équations se contredisent.

Renonçons donc à résoudre, et cherchons plutôt à rendre l'erreur la plus petite possible, en minimisant la norme du résidu :

trouver X \in R^{p} minimisant ∥ A X - b ∥ .

Comme la norme euclidienne est une racine de somme de carrés, minimiser $∥ A X - b ∥$ revient à minimiser $∥ A X - b ∥^{2}$ , c'est-à-dire une somme de carrés : d'où le nom de la méthode.

Remarque

La traduction géométrique tient en une phrase. Lorsque $X$ décrit $R^{p}$ , le vecteur $A X$ décrit exactement l'image de $A$ , c'est-à-dire le sous-espace de $R^{n}$ engendré par les colonnes de $A$ . Minimiser $∥ A X - b ∥$ , c'est donc chercher le point de $Im A$ le plus proche de $b$ : c'est le problème de la section $2$ , et la réponse est connue d'avance. Le minimum est atteint lorsque

A X = p_{Im A} (b),

et il vaut alors $d (b, Im A)$ . Tout le travail restant consiste à traduire cette égalité en un système que l'on sache résoudre.

Les équations normales

Propriété

Théorème des équations normales. Soient $A \in M_{n, p} (R)$ et $b \in R^{n}$ . Pour $X \in R^{p}$ ,

X minimise ∥ A X - b ∥ ⟺ A^{⊤} A X = A^{⊤} b .

Ce dernier système, de taille $p$ , s'appelle le système des équations normales.

Démonstration. Notons $C_{1}, \dots, C_{p}$ les colonnes de $A$ , de sorte que $Im A = Vect (C_{1}, \dots, C_{p})$ . D'après le théorème de minimisation appliqué au sous-espace $F = Im A$ de $R^{n}$ , le vecteur $A X$ réalise le minimum de $∥ A X - b ∥$ si et seulement si $A X = p_{F} (b)$ , c'est-à-dire si et seulement si l'écart $b - A X$ appartient à $F^{⊥}$ .

Or un vecteur est orthogonal à $F = Vect (C_{1}, \dots, C_{p})$ si et seulement s'il est orthogonal à chacun des $C_{j}$ . La condition s'écrit donc

\forall j \in {1, \dots, p}, C_{j}^{⊤} (b - A X) = 0.

Ces $p$ nombres réels sont précisément les $p$ coefficients de la colonne $A^{⊤} (b - A X)$ , puisque la $j$ -ième ligne de $A^{⊤}$ est $C_{j}^{⊤}$ . La condition équivaut donc à

A^{⊤} (b - A X) = 0, c’est- \overset{ˋ}{a} -dire A^{⊤} A X = A^{⊤} b . □

Propriété

La matrice $A^{⊤} A$ . Soit $A \in M_{n, p} (R)$ .

$A^{⊤} A$ est une matrice symétrique d'ordre $p$ .
$\ker (A^{⊤} A) = \ker A$ .
$A^{⊤} A$ est inversible si et seulement si les colonnes de $A$ forment une famille libre. Dans ce cas, le problème des moindres carrés admet une unique solution, donnée par la résolution du système $A^{⊤} A X = A^{⊤} b$ .

Démonstration. 1. $(A^{⊤} A)^{⊤} = A^{⊤} (A^{⊤})^{⊤} = A^{⊤} A$ .

2. Si $A X = 0$ , alors $A^{⊤} A X = 0$ : l'inclusion $\ker A \subset \ker (A^{⊤} A)$ est immédiate. Réciproquement, supposons $A^{⊤} A X = 0$ . Multiplions à gauche par la ligne $X^{⊤}$ :

0 = X^{⊤} A^{⊤} A X = (A X)^{⊤} (A X) = ∥ A X ∥^{2} .

Une norme nulle caractérise le vecteur nul, donc $A X = 0$ , c'est-à-dire $X \in \ker A$ . D'où l'égalité des deux noyaux.

3. La matrice carrée $A^{⊤} A$ est inversible si et seulement si son noyau est réduit à ${0}$ , donc, par le point 2., si et seulement si $\ker A = {0}$ , c'est-à-dire si et seulement si les colonnes de $A$ sont libres. Le système des équations normales a alors une unique solution, qui est l'unique minimiseur d'après le théorème précédent. $□$

Remarque

Deux commentaires de rédaction. D'abord, l'existence d'un minimum n'est jamais en question ici : elle est garantie par le théorème de minimisation, puisqu'un projeté orthogonal existe toujours. C'est l'unicité du minimiseur $X$ qui demande l'hypothèse « colonnes libres » : si les colonnes de $A$ sont liées, plusieurs $X$ donnent le même vecteur $A X = p_{Im A} (b)$ .

Ensuite, en pratique on résout le système $A^{⊤} A X = A^{⊤} b$ par pivot ; on n'écrit pas la solution sous la forme $X = (A^{⊤} A)^{- 1} A^{⊤} b$ pour la calculer, car inverser coûte plus cher que résoudre. La forme inversée sert à raisonner, pas à calculer.

Méthode

Résoudre un problème de moindres carrés.

Identifier les inconnues et écrire le problème sous la forme matricielle « minimiser $∥ A X - b ∥$ » : $A$ contient les données, $X$ les paramètres cherchés, $b$ les observations.
Calculer $A^{⊤} A$ (matrice carrée de taille le nombre de paramètres) et $A^{⊤} b$ .
Résoudre le système $A^{⊤} A X = A^{⊤} b$ par pivot de Gauss.
Conclure, et si l'énoncé le demande, calculer la valeur minimale $∥ A X - b ∥$ , qui est la distance de $b$ à $Im A$ .
Contrôle : les résidus $r_{i}$ doivent être orthogonaux à chaque colonne de $A$ . Quand la première colonne ne contient que des $1$ , cela signifie que la somme des résidus est nulle : une vérification qui ne coûte rien.

La droite d'ajustement

Voici l'application qui a rendu la méthode célèbre. On dispose de $n$ couples de données $(x_{1}, y_{1}), \dots, (x_{n}, y_{n})$ , et l'on cherche la droite d'équation $y = a + b x$ qui « passe au plus près » du nuage de points, au sens où elle minimise la somme des carrés des écarts verticaux :

Φ (a, b) = \sum_{i = 1}^{n} (y_{i} - a - b x_{i})^{2} .

Remarque

Pourquoi des écarts verticaux, et pourquoi des carrés ? Deux choix sont faits dans cette définition, et un énoncé peut demander de les commenter.

Les écarts sont mesurés verticalement, c'est-à-dire dans la direction de la variable $y$ , et non perpendiculairement à la droite. C'est cohérent avec le problème posé : on cherche à prédire $y$ à partir de $x$ , donc l'erreur qui compte est celle commise sur $y$ .

Les écarts sont élevés au carré plutôt que pris en valeur absolue. La raison est technique et décisive : une somme de carrés est une norme euclidienne au carré, donc le problème devient une projection orthogonale, avec une solution explicite. Avec des valeurs absolues, il n'y aurait ni projeté, ni formule.

Propriété

Théorème. Supposons que les $x_{i}$ ne soient pas tous égaux, et notons $\overset{ˉ}{x} = \frac{1}{n} \sum_{i = 1}^{n} x_{i}$ et $\overset{ˉ}{y} = \frac{1}{n} \sum_{i = 1}^{n} y_{i}$ . Alors $Φ$ admet un minimum, atteint en un unique couple $(a, b)$ , donné par

b = \frac{\sum_{i = 1}^{n} (x_{i} - \overset{ˉ}{x}) (y_{i} - \overset{ˉ}{y})}{\sum_{i = 1}^{n} (x_{i} - \overset{ˉ}{x})^{2}} et a = \overset{ˉ}{y} - b \overset{ˉ}{x} .

Démonstration. Mise sous forme matricielle. Posons

A = (\begin{array}{cc} 1 & x_{1} \\ 1 & x_{2} \\ ⋮ & ⋮ \\ 1 & x_{n} \end{array}) \in M_{n, 2} (R), X = (\begin{array}{c} a \\ b \end{array}), Y = (\begin{array}{c} y_{1} \\ ⋮ \\ y_{n} \end{array}) .

La $i$ -ième composante de $A X - Y$ vaut $a + b x_{i} - y_{i}$ , donc

∥ A X - Y ∥^{2} = \sum_{i = 1}^{n} (a + b x_{i} - y_{i})^{2} = Φ (a, b) .

Minimiser $Φ$ revient donc exactement à résoudre le problème des moindres carrés associé à $A$ et $Y$ .

Les colonnes de $A$ sont libres. Supposons $α C_{1} + β C_{2} = 0$ , c'est-à-dire $α + β x_{i} = 0$ pour tout $i$ . Comme les $x_{i}$ ne sont pas tous égaux, il existe deux indices $i$ et $j$ tels que $x_{i} \neq x_{j}$ ; en retranchant les deux égalités correspondantes, $β (x_{i} - x_{j}) = 0$ donne $β = 0$ , puis $α = 0$ . La famille est libre, donc $A^{⊤} A$ est inversible et la solution est unique.

Les équations normales. Calculons les deux matrices en jeu :

A^{⊤} A = (\begin{array}{cc} n & \sum_{i = 1}^{n} x_{i} \\ \sum_{i = 1}^{n} x_{i} & \sum_{i = 1}^{n} x_{i}^{2} \end{array}), A^{⊤} Y = (\begin{array}{c} \sum_{i = 1}^{n} y_{i} \\ \sum_{i = 1}^{n} x_{i} y_{i} \end{array}) .

Le système $A^{⊤} A X = A^{⊤} Y$ s'écrit donc

{\begin{cases} n a + (\sum_{i = 1}^{n} x_{i}) b = \sum_{i = 1}^{n} y_{i} \\ (\sum_{i = 1}^{n} x_{i}) a + (\sum_{i = 1}^{n} x_{i}^{2}) b = \sum_{i = 1}^{n} x_{i} y_{i} \end{cases}

Résolution. La première équation, divisée par $n$ , donne immédiatement

a + b \overset{ˉ}{x} = \overset{ˉ}{y}, c’est- \overset{ˋ}{a} -dire a = \overset{ˉ}{y} - b \overset{ˉ}{x} .

C'est un résultat remarquable en soi : la droite d'ajustement passe par le point moyen $(\overset{ˉ}{x}, \overset{ˉ}{y})$ . Reportons cette valeur de $a$ dans la seconde équation, en utilisant $\sum_{i} x_{i} = n \overset{ˉ}{x}$ :

n \overset{ˉ}{x} (\overset{ˉ}{y} - b \overset{ˉ}{x}) + b \sum_{i = 1}^{n} x_{i}^{2} = \sum_{i = 1}^{n} x_{i} y_{i},

soit, en regroupant les termes en $b$ ,

b (\sum_{i = 1}^{n} x_{i}^{2} - n {\overset{ˉ}{x}}^{2}) = \sum_{i = 1}^{n} x_{i} y_{i} - n \overset{ˉ}{x} \overset{ˉ}{y} .

Reconnaître les formes centrées. Il reste à voir que ces deux quantités sont celles de l'énoncé. Développons :

\sum_{i = 1}^{n} (x_{i} - \overset{ˉ}{x}) (y_{i} - \overset{ˉ}{y}) = \sum_{i = 1}^{n} x_{i} y_{i} - \overset{ˉ}{y} \sum_{i = 1}^{n} x_{i} - \overset{ˉ}{x} \sum_{i = 1}^{n} y_{i} + n \overset{ˉ}{x} \overset{ˉ}{y} .

Comme $\sum_{i} x_{i} = n \overset{ˉ}{x}$ et $\sum_{i} y_{i} = n \overset{ˉ}{y}$ , les trois derniers termes valent $- n \overset{ˉ}{x} \overset{ˉ}{y} - n \overset{ˉ}{x} \overset{ˉ}{y} + n \overset{ˉ}{x} \overset{ˉ}{y} = - n \overset{ˉ}{x} \overset{ˉ}{y}$ , d'où

\sum_{i = 1}^{n} (x_{i} - \overset{ˉ}{x}) (y_{i} - \overset{ˉ}{y}) = \sum_{i = 1}^{n} x_{i} y_{i} - n \overset{ˉ}{x} \overset{ˉ}{y} .

Le cas particulier $y_{i} = x_{i}$ donne de même $\sum_{i} (x_{i} - \overset{ˉ}{x})^{2} = \sum_{i} x_{i}^{2} - n {\overset{ˉ}{x}}^{2}$ . Cette dernière quantité est strictement positive, puisque les $x_{i}$ ne sont pas tous égaux à $\overset{ˉ}{x}$ . On peut donc diviser, et

b = \frac{\sum_{i = 1}^{n} (x_{i} - \overset{ˉ}{x}) (y_{i} - \overset{ˉ}{y})}{\sum_{i = 1}^{n} (x_{i} - \overset{ˉ}{x})^{2}} . □

Remarque

Pourquoi ces formules sont celles des statistiques. En divisant numérateur et dénominateur par $n$ , on reconnaît la covariance de la série double au numérateur et la variance de la série des $x_{i}$ au dénominateur. La pente de la droite d'ajustement est donc le quotient de la covariance par la variance : la formule que l'on utilise en statistique descriptive n'est rien d'autre qu'une projection orthogonale, et sa démonstration est celle qu'on vient d'écrire.

Exemple

Un ajustement complet. On observe les quatre couples

(1, 3), (2, 4), (4, 9), (5, 12) .

Les données. Ici $n = 4$ , et

\sum_{i = 1}^{4} x_{i} = 12, \sum_{i = 1}^{4} y_{i} = 28, \sum_{i = 1}^{4} x_{i}^{2} = 1 + 4 + 16 + 25 = 46, \sum_{i = 1}^{4} x_{i} y_{i} = 3 + 8 + 36 + 60 = 107.

D'où $\overset{ˉ}{x} = 3$ et $\overset{ˉ}{y} = 7$ .

Le système normal. Avec les matrices de la démonstration,

A^{⊤} A = (\begin{array}{cc} 4 & 12 \\ 12 & 46 \end{array}), A^{⊤} Y = (\begin{array}{c} 28 \\ 107 \end{array}),

et le système $A^{⊤} A X = A^{⊤} Y$ s'écrit

{\begin{cases} 4 a + 12 b = 28 \\ 12 a + 46 b = 107 \end{cases}

La première ligne donne $a = 7 - 3 b$ . En reportant dans la seconde, $12 (7 - 3 b) + 46 b = 84 + 10 b = 107$ , donc

b = \frac{23}{10} = 2,3 puis a = 7 - 3 \times 2,3 = 0,1.

Contrôle par les formules centrées. Les écarts à la moyenne valent $x_{i} - \overset{ˉ}{x} = - 2, - 1, 1, 2$ et $y_{i} - \overset{ˉ}{y} = - 4, - 3, 2, 5$ , d'où

\sum_{i = 1}^{4} (x_{i} - \overset{ˉ}{x}) (y_{i} - \overset{ˉ}{y}) = 8 + 3 + 2 + 10 = 23, \sum_{i = 1}^{4} (x_{i} - \overset{ˉ}{x})^{2} = 4 + 1 + 1 + 4 = 10,

et l'on retrouve bien $b = \frac{23}{10}$ puis $a = \overset{ˉ}{y} - b \overset{ˉ}{x} = 7 - 6,9 = 0,1$ .

La droite et l'erreur. La droite d'ajustement a pour équation $y = 0,1 + 2,3 x$ . Les valeurs ajustées sont $2,4$ , $4,7$ , $9,3$ et $11,6$ , donc les résidus valent

r = (0,6; - 0,7; - 0,3; 0,4) .

Leur somme est nulle, comme annoncé par la méthode, et l'erreur minimale vaut

∥ A X - Y ∥^{2} = 0,36 + 0,49 + 0,09 + 0,16 = 1,1.

Aucune droite ne fait mieux que $\sqrt{1,1}$ : c'est la distance de $Y$ au plan $Im A$ de $R^{4}$ .

Réduction des endomorphismes et des matrices symétriques

Nous abordons la seconde moitié du chapitre. L'objet est le même, les endomorphismes symétriques, mais la question change : au lieu de projeter, on cherche à diagonaliser.

Les sous-espaces propres sont orthogonaux

Propriété

Théorème. Soit $f$ un endomorphisme symétrique de l'espace euclidien $E$ . Si $λ$ et $μ$ sont deux valeurs propres distinctes de $f$ , alors les sous-espaces propres associés sont orthogonaux :

\forall x \in E_{λ} (f), \forall y \in E_{μ} (f), ⟨ x, y ⟩ = 0.

Démonstration. Soient $λ \neq μ$ deux valeurs propres de $f$ , $x \in E_{λ} (f)$ et $y \in E_{μ} (f)$ . L'idée est de calculer le nombre $⟨ f (x), y ⟩$ de deux façons.

Première façon. Comme $x$ est un vecteur propre associé à $λ$ , on a $f (x) = λ x$ , donc par bilinéarité

⟨ f (x), y ⟩ = ⟨ λ x, y ⟩ = λ ⟨ x, y ⟩ .

Seconde façon. Comme $f$ est symétrique, on peut faire passer $f$ de l'autre côté, puis utiliser $f (y) = μ y$ :

⟨ f (x), y ⟩ = ⟨ x, f (y) ⟩ = ⟨ x, μ y ⟩ = μ ⟨ x, y ⟩ .

Conclusion. Les deux expressions désignent le même réel, donc

λ ⟨ x, y ⟩ = μ ⟨ x, y ⟩, c’est- \overset{ˋ}{a} -dire (λ - μ) ⟨ x, y ⟩ = 0.

Comme $λ - μ \neq 0$ , on obtient $⟨ x, y ⟩ = 0$ , ce qu'il fallait démontrer. $□$

Remarque

C'est LA démonstration exigible du chapitre, et elle tombe régulièrement aux concours. Retenez son architecture, qui tient en trois lignes : un même produit scalaire, calculé de deux façons, puis on factorise. La version matricielle s'écrit exactement de même : si $A \in S_{n} (R)$ , $A X = λ X$ et $A Y = μ Y$ avec $λ \neq μ$ , alors

λ X^{⊤} Y = (A X)^{⊤} Y = X^{⊤} A^{⊤} Y = X^{⊤} A Y = μ X^{⊤} Y,

donc $X^{⊤} Y = 0$ .

Notons enfin ce que le théorème ne dit pas : deux vecteurs propres associés à la même valeur propre n'ont aucune raison d'être orthogonaux. À l'intérieur d'un sous-espace propre, il n'y a rien de gratuit ; c'est là qu'il faudra orthonormaliser.

Le théorème spectral

Propriété

Théorème spectral (résultat ADMIS, conformément au programme). Trois énoncés équivalents.

Version endomorphisme. Tout endomorphisme symétrique d'un espace euclidien $E$ est diagonalisable, et il existe une base orthonormée de $E$ formée de vecteurs propres de cet endomorphisme.
Version matricielle. Toute matrice symétrique réelle $A \in S_{n} (R)$ est diagonalisable, et il existe une matrice orthogonale $P$ et une matrice diagonale $D$ telles que

A = P D P^{⊤}, avec P^{- 1} = P^{⊤} .

Les colonnes de $P$ sont des vecteurs propres de $A$ formant une base orthonormée de $R^{n}$ , et les coefficients diagonaux de $D$ sont les valeurs propres associées, écrites dans le même ordre. 3. Version somme directe. $R^{n}$ est la somme directe des sous-espaces propres de $A$ , et ceux-ci sont deux à deux orthogonaux.

Remarque

Ce théorème est admis, et c'est normal. Sa démonstration demande des outils qui ne sont pas au programme. En revanche, tout ce qui l'entoure est exigible : l'orthogonalité des sous-espaces propres (démontrée ci-dessus), la mise en pratique (méthode ci-dessous) et les conséquences (sous-section suivante). Dans une copie, on écrit « d'après le théorème spectral, $A$ étant symétrique réelle, elle est diagonalisable en base orthonormée », et l'on passe au calcul.

Remarquons que la version 2. contient trois affirmations bien distinctes, et qu'il faut les citer toutes les trois : $A$ est diagonalisable, la matrice de passage peut être choisie orthogonale, et $P^{- 1} = P^{⊤}$ . C'est la troisième qui allège les calculs de puissances.

Remarque

La portée exacte de l'hypothèse de symétrie. Il faut mesurer à quel point ce théorème est fort, et se garder de le retourner.

La symétrie donne gratuitement la diagonalisabilité. En général, une matrice n'est pas diagonalisable. Prenons

N = (\begin{array}{cc} 0 & 1 \\ 0 & 0 \end{array}) .

Cherchons ses valeurs propres en résolvant $(N - λ I_{2}) X = 0$ , c'est-à-dire le système ${\begin{cases} - λ x_{1} + x_{2} = 0 \\ - λ x_{2} = 0 \end{cases}$ . Si $λ \neq 0$ , la seconde équation donne $x_{2} = 0$ , puis la première $x_{1} = 0$ : seule la solution nulle, donc $λ$ n'est pas valeur propre. Si $λ = 0$ , le système se réduit à $x_{2} = 0$ et $E_{0} (N) = Vect (e_{1})$ , de dimension $1$ . Ainsi $Sp (N) = {0}$ et la somme des dimensions des sous-espaces propres vaut $1 < 2$ : la matrice $N$ n'est pas diagonalisable. Elle n'est évidemment pas symétrique.

La réciproque du théorème est fausse. Une matrice diagonalisable n'a aucune raison d'être symétrique. La matrice

B = (\begin{array}{cc} 1 & 1 \\ 0 & 2 \end{array})

est triangulaire, donc ses valeurs propres se lisent sur sa diagonale : $Sp (B) = {1, 2}$ . Deux valeurs propres distinctes en dimension $2$ suffisent à la diagonalisabilité. Pourtant $B$ n'est pas symétrique, et l'on peut vérifier que ses vecteurs propres $(1, 0)$ et $(1, 1)$ ne sont pas orthogonaux : $B$ est diagonalisable, mais pas en base orthonormée.

Résumé. Symétrique $⟹$ diagonalisable en base orthonormée. Aucune des deux implications réciproques n'est vraie.

Diagonaliser orthogonalement en pratique

Méthode

Diagonaliser orthogonalement une matrice symétrique $A \in S_{n} (R)$ . Cinq étapes, dans cet ordre.

Chercher les valeurs propres en résolvant le système $(A - λ I_{n}) X = 0$ par pivot de Gauss, avec discussion sur $λ$ : les valeurs propres sont les réels $λ$ pour lesquels le système admet une solution non nulle. On peut aussi exploiter un polynôme annulateur ou une structure évidente (matrice triangulaire, colonnes proportionnelles). Piège : chaque division par une expression contenant $λ$ oblige à traiter à part le cas où cette expression s'annule.
Déterminer chaque sous-espace propre $E_{λ} (A)$ en résolvant le système pour la valeur trouvée, et en donner une base. Contrôle : la somme des dimensions doit valoir $n$ , le théorème spectral le garantit ; si ce n'est pas le cas, il y a une erreur de calcul.
Orthonormaliser à l'intérieur de chaque sous-espace propre. Si $\dim E_{λ} = 1$ , il suffit de normer le vecteur trouvé. Si $\dim E_{λ} ⩾ 2$ , on applique le procédé de Gram-Schmidt à la base de ce sous-espace propre, et uniquement à elle. Piège majeur : on n'orthonormalise jamais entre deux sous-espaces propres différents, puisque le théorème de la sous-section précédente les rend déjà orthogonaux ; le faire mélangerait des vecteurs propres associés à des valeurs propres différentes, et le résultat ne serait plus un vecteur propre.
Concaténer les bases orthonormées obtenues. On obtient une base orthonormée de $R^{n}$ formée de vecteurs propres : la matrice $P$ dont les colonnes sont ces vecteurs est orthogonale, et $D$ est la matrice diagonale des valeurs propres, dans le même ordre que les colonnes de $P$ .
Écrire $A = P D P^{⊤}$ et vérifier $P^{⊤} P = I_{n}$ . Cette vérification coûte quelques produits scalaires et détecte immédiatement un défaut de normalisation, qui est l'erreur la plus fréquente.

Exemple

Un premier cas, en dimension $2$ . Diagonalisons orthogonalement $A = (\begin{array}{cc} 3 & 4 \\ 4 & - 3 \end{array})$ , qui est bien symétrique.

Valeurs propres. Le système $(A - λ I_{2}) X = 0$ s'écrit

{\begin{cases} (3 - λ) x + 4 y = 0 \\ 4 x - (3 + λ) y = 0 \end{cases}

L'opération $4 L_{1} - (3 - λ) L_{2}$ élimine $x$ sans jamais diviser :

[16 + (3 - λ) (3 + λ)] y = (25 - λ^{2}) y = 0.

Si $λ^{2} \neq 25$ , on obtient $y = 0$ , puis $4 x = 0$ avec la seconde équation, donc $x = 0$ : pas de vecteur propre. Ainsi $Sp (A) \subset {- 5, 5}$ , et le calcul des sous-espaces propres ci-dessous, en exhibant un vecteur non nul pour chacune des deux valeurs, donnera l'égalité.

Sous-espaces propres. Pour $λ = 5$ , la première équation devient $- 2 x + 4 y = 0$ , soit $x = 2 y$ : $E_{5} = Vect ((2, 1))$ . Pour $λ = - 5$ , elle devient $8 x + 4 y = 0$ , soit $y = - 2 x$ : $E_{- 5} = Vect ((1, - 2))$ . Les deux droites sont orthogonales, comme annoncé par le théorème, puisque $2 - 2 = 0$ .

Conclusion. En normant chaque vecteur, on obtient

P = \frac{1}{\sqrt{5}} (\begin{array}{cc} 2 & 1 \\ 1 & - 2 \end{array}), D = (\begin{array}{cc} 5 & 0 \\ 0 & - 5 \end{array}), A = P D P^{⊤},

et l'on vérifie $P^{⊤} P = \frac{1}{5} (\begin{array}{cc} 4 + 1 & 2 - 2 \\ 2 - 2 & 1 + 4 \end{array}) = I_{2}$ . La trace confirme le spectre : $tr (A) = 3 - 3 = 0 = 5 + (- 5)$ .

Exemple

Une diagonalisation orthogonale complète. Diagonalisons orthogonalement

A = (\begin{array}{ccc} 2 & 2 & 2 \\ 2 & 5 & 4 \\ 2 & 4 & 5 \end{array}) .

La matrice est symétrique réelle : le théorème spectral s'applique, elle est diagonalisable en base orthonormée. Reste à faire le travail.

Étape 1 : les valeurs propres. Le système $(A - λ I_{3}) X = 0$ s'écrit

{\begin{cases} (2 - λ) x + 2 y + 2 z = 0 \\ 2 x + (5 - λ) y + 4 z = 0 \\ 2 x + 4 y + (5 - λ) z = 0 \end{cases}

La différence des deux dernières lignes fait disparaître $x$ :

L_{2} - L_{3} : (1 - λ) y - (1 - λ) z = 0, soit (1 - λ) (y - z) = 0.

Cas $λ \neq 1$ . Alors $y = z$ , et le système se réduit aux deux équations

(2 - λ) x + 4 y = 0 et 2 x + (9 - λ) y = 0.

Si $λ = 2$ , la première donne $y = 0$ , donc $z = 0$ , et la seconde donne $x = 0$ : seule la solution nulle, $2$ n'est pas valeur propre. Supposons donc $λ \notin {1, 2}$ et éliminons $x$ en calculant $(2 - λ) L_{2}^{'} - 2 L_{1}^{'}$ :

[(2 - λ) (9 - λ) - 8] y = 0, avec (2 - λ) (9 - λ) - 8 = λ^{2} - 11 λ + 10 = (λ - 1) (λ - 10) .

Comme $λ \neq 1$ , ce coefficient est nul si et seulement si $λ = 10$ . Pour $λ \notin {1, 2, 10}$ , on obtient donc $y = 0$ , puis $z = 0$ , puis $x = 0$ : pas de valeur propre. Pour $λ = 10$ , la première équation devient $- 8 x + 4 y = 0$ , soit $y = 2 x$ , et avec $z = y$ :

E_{10} (A) = Vect ((1, 2, 2)), \dim E_{10} (A) = 1.

Cas $λ = 1$ . Le système devient

{\begin{cases} x + 2 y + 2 z = 0 \\ 2 x + 4 y + 4 z = 0 \\ 2 x + 4 y + 4 z = 0 \end{cases}

Les deux dernières lignes sont le double de la première : il ne reste qu'une équation, celle d'un plan. Donc

E_{1} (A) = {(x, y, z) \in R^{3}; x + 2 y + 2 z = 0} = Vect (w_{1}, w_{2}), w_{1} = (2, - 1, 0), w_{2} = (2, 0, - 1),

de dimension $2$ .

Étape 2 : contrôle. $Sp (A) = {1, 10}$ et $\dim E_{1} + \dim E_{10} = 2 + 1 = 3$ : conforme au théorème spectral. La trace confirme, puisqu'elle vaut la somme des valeurs propres comptées avec multiplicité : $tr (A) = 2 + 5 + 5 = 12 = 1 + 1 + 10$ .

Étape 3 : orthonormalisation. Le sous-espace $E_{10}$ est une droite : il suffit de normer. Comme $∥ (1, 2, 2) ∥ = 3$ ,

u_{3} = \frac{1}{3} (1, 2, 2) .

Le sous-espace $E_{1}$ est un plan et sa base $(w_{1}, w_{2})$ n'est pas orthogonale, puisque $⟨ w_{1}, w_{2} ⟩ = 4$ . Appliquons Gram-Schmidt à l'intérieur de $E_{1}$ . D'abord

u_{1} = \frac{w_{1}}{∥ w_{1} ∥} = \frac{1}{\sqrt{5}} (2, - 1, 0) .

Ensuite, on retranche à $w_{2}$ sa composante sur $u_{1}$ : comme $⟨ w_{2}, u_{1} ⟩ = \frac{4}{\sqrt{5}}$ ,

w_{2}^{'} = w_{2} - ⟨ w_{2}, u_{1} ⟩ u_{1} = (2, 0, - 1) - \frac{4}{5} (2, - 1, 0) = (\frac{2}{5}, \frac{4}{5}, - 1) = \frac{1}{5} (2, 4, - 5) .

Ce vecteur est bien dans le plan $E_{1}$ , puisque $2 + 8 - 10 = 0$ . Sa norme vaut $\frac{1}{5} \sqrt{4 + 16 + 25} = \frac{\sqrt{45}}{5} = \frac{3}{\sqrt{5}}$ , d'où

u_{2} = \frac{1}{3 \sqrt{5}} (2, 4, - 5) .

Étape 4 : concaténation. Vérifions au passage le théorème d'orthogonalité des sous-espaces propres, qui nous dispense de tout calcul supplémentaire :

⟨ (2, - 1, 0), (1, 2, 2) ⟩ = 2 - 2 + 0 = 0, ⟨ (2, 4, - 5), (1, 2, 2) ⟩ = 2 + 8 - 10 = 0.

La famille $(u_{1}, u_{2}, u_{3})$ est donc une base orthonormée de $R^{3}$ formée de vecteurs propres de $A$ . On pose

P = (\begin{array}{ccc} \frac{2}{\sqrt{5}} & \frac{2}{3 \sqrt{5}} & \frac{1}{3} \\ - \frac{1}{\sqrt{5}} & \frac{4}{3 \sqrt{5}} & \frac{2}{3} \\ 0 & - \frac{5}{3 \sqrt{5}} & \frac{2}{3} \end{array}), D = (\begin{array}{ccc} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 10 \end{array}) .

Étape 5 : vérification et conclusion. Les trois colonnes sont unitaires : $\frac{4 + 1}{5} = 1$ , $\frac{4 + 16 + 25}{45} = 1$ et $\frac{1 + 4 + 4}{9} = 1$ . Elles sont deux à deux orthogonales, les produits scalaires valant respectivement $\frac{4 - 4}{15} = 0$ , $\frac{2 - 2}{3 \sqrt{5}} = 0$ et $\frac{2 + 8 - 10}{9 \sqrt{5}} = 0$ . Donc $P^{⊤} P = I_{3}$ , la matrice $P$ est orthogonale, et

A = P D P^{⊤} .

Conséquences immédiates

Propriété

Soit $A \in S_{n} (R)$ , écrite $A = P D P^{⊤}$ avec $P$ orthogonale et $D = diag (λ_{1}, \dots, λ_{n})$ .

Puissances : pour tout entier $k ⩾ 0$ , $A^{k} = P D^{k} P^{⊤}$ , où $D^{k} = diag (λ_{1}^{k}, \dots, λ_{n}^{k})$ .
Trace : $tr (A) = λ_{1} + \dots + λ_{n}$ , les valeurs propres étant comptées avec leur multiplicité.
Encadrement du produit scalaire. En notant $λ_{\min}$ et $λ_{\max}$ la plus petite et la plus grande valeur propre de $A$ , on a

\forall X \in R^{n}, λ_{\min} ∥ X ∥^{2} ⩽ ⟨ A X, X ⟩ ⩽ λ_{\max} ∥ X ∥^{2} .

Démonstration. 1. Par récurrence sur $k$ . Le cas $k = 0$ est l'égalité $I_{n} = P I_{n} P^{⊤}$ , vraie puisque $P$ est orthogonale. Si $A^{k} = P D^{k} P^{⊤}$ , alors

A^{k + 1} = A^{k} A = P D^{k} \underset{= I_{n}}{\underset{⏟}{P^{⊤} P}} D P^{⊤} = P D^{k + 1} P^{⊤} .

C'est ici que l'orthogonalité de $P$ économise tout le travail : il n'y a aucun inverse à calculer.

2. Les matrices $A$ et $D$ sont semblables, or la trace est invariante par similitude (résultat du semestre précédent) : $tr (A) = tr (D) = λ_{1} + \dots + λ_{n}$ .

3. Notons $(u_{1}, \dots, u_{n})$ la base orthonormée de vecteurs propres donnée par les colonnes de $P$ , avec $A u_{k} = λ_{k} u_{k}$ . Décomposons $X$ dans cette base : $X = \sum_{k = 1}^{n} c_{k} u_{k}$ avec $c_{k} = ⟨ X, u_{k} ⟩$ . Alors, par linéarité,

A X = \sum_{k = 1}^{n} c_{k} A u_{k} = \sum_{k = 1}^{n} λ_{k} c_{k} u_{k},

et le produit scalaire se calcule sur les coordonnées, la base étant orthonormée :

⟨ A X, X ⟩ = \sum_{k = 1}^{n} λ_{k} c_{k}^{2}, ∥ X ∥^{2} = \sum_{k = 1}^{n} c_{k}^{2} .

Comme $λ_{\min} ⩽ λ_{k} ⩽ λ_{\max}$ pour tout $k$ et que les $c_{k}^{2}$ sont positifs, on peut encadrer terme à terme :

λ_{\min} \sum_{k = 1}^{n} c_{k}^{2} ⩽ \sum_{k = 1}^{n} λ_{k} c_{k}^{2} ⩽ λ_{\max} \sum_{k = 1}^{n} c_{k}^{2},

ce qui est exactement l'encadrement annoncé. $□$

Remarque

Les deux bornes de l'encadrement sont atteintes : en prenant pour $X$ un vecteur propre associé à $λ_{\min}$ , l'inégalité de gauche devient une égalité, et de même à droite avec $λ_{\max}$ . Ce sont donc les meilleures constantes possibles. Cet encadrement est l'outil qui reliera, dans la section suivante, le signe des valeurs propres au signe de $⟨ A X, X ⟩$ .

Exemple

Puissances de la matrice précédente. Reprenons $A = (\begin{array}{ccc} 2 & 2 & 2 \\ 2 & 5 & 4 \\ 2 & 4 & 5 \end{array})$ , de valeurs propres $1$ (double) et $10$ (simple).

On peut bien sûr écrire $A^{k} = P diag (1, 1, 10^{k}) P^{⊤}$ et effectuer les produits. Il y a plus rapide, en combinant les deux moitiés du chapitre. Comme $R^{3} = E_{1} \oplus E_{10}$ avec deux sous-espaces propres orthogonaux, tout vecteur $X$ s'écrit

X = q_{1} (X) + q_{10} (X),

où $q_{1}$ et $q_{10}$ désignent les projections orthogonales sur $E_{1}$ et sur $E_{10}$ . Appliquer $A^{k}$ multiplie chaque composante par la puissance de la valeur propre correspondante :

A^{k} X = 1^{k} q_{1} (X) + 10^{k} q_{10} (X) = X + (10^{k} - 1) q_{10} (X) .

Or $E_{10}$ est la droite engendrée par $a = (1, 2, 2)$ , dont la matrice de projection a été calculée en section $2$ :

Q_{10} = \frac{1}{9} (\begin{array}{ccc} 1 & 2 & 2 \\ 2 & 4 & 4 \\ 2 & 4 & 4 \end{array}) .

On en déduit, sans aucun produit matriciel,

A^{k} = I_{3} + \frac{10^{k} - 1}{9} (\begin{array}{ccc} 1 & 2 & 2 \\ 2 & 4 & 4 \\ 2 & 4 & 4 \end{array}) .

Le cas $k = 1$ redonne bien $A$ , ce qui valide le calcul.

Matrices symétriques positives

Cette dernière section est courte, mais elle est la porte d'entrée du chapitre suivant : c'est ici que le signe entre en scène.

Définitions

Définition

Soit $A \in S_{n} (R)$ une matrice symétrique réelle. On dit que :

$A$ est positive lorsque $⟨ A X, X ⟩ ⩾ 0$ pour tout $X \in R^{n}$ ; on note alors $A \in S_{n}^{+} (R)$ ;
$A$ est définie positive lorsque $⟨ A X, X ⟩ > 0$ pour tout $X \in R^{n}$ non nul ; on note alors $A \in S_{n}^{+ +} (R)$ .

Remarque

Trois précisions de rédaction, chacune sanctionnée quand elle manque.

La symétrie fait partie de la définition. On ne parle de matrice positive que pour une matrice symétrique. Une copie qui écrit « la matrice est positive » sans avoir vérifié la symétrie ne dit rien.

« Positive » ne signifie pas « à coefficients positifs ». La matrice $(\begin{array}{cc} 1 & 2 \\ 2 & 1 \end{array})$ a tous ses coefficients positifs, et pourtant, pour $X = (1, - 1)$ ,

⟨ A X, X ⟩ = X^{⊤} A X = - 2 < 0.

Le mot « positive » porte sur la quantité $⟨ A X, X ⟩$ , jamais sur les coefficients.

Le quantificateur change entre les deux définitions. Pour « positive », l'inégalité est large et vaut pour tout $X$ , $0$ compris (où elle est trivialement une égalité). Pour « définie positive », elle est stricte et l'on doit exclure $X = 0$ , sans quoi la condition serait impossible à satisfaire.

Rappelons l'écriture matricielle utilisée en permanence dans cette section : pour le produit scalaire canonique,

⟨ A X, X ⟩ = (A X)^{⊤} X = X^{⊤} A^{⊤} X = X^{⊤} A X,

la dernière égalité utilisant la symétrie de $A$ . La quantité $X^{⊤} A X$ est un nombre réel, à ne jamais confondre avec une matrice.

Caractérisation par le spectre

Propriété

Théorème. Soit $A \in S_{n} (R)$ .

$A$ est positive si et seulement si toutes ses valeurs propres sont positives ou nulles.
$A$ est définie positive si et seulement si toutes ses valeurs propres sont strictement positives.

Démonstration. 1. Sens direct. Supposons $A$ positive et soit $λ$ une valeur propre de $A$ , associée à un vecteur propre $X \neq 0$ . Alors

0 ⩽ ⟨ A X, X ⟩ = ⟨ λ X, X ⟩ = λ ∥ X ∥^{2} .

Comme $X \neq 0$ , on a $∥ X ∥^{2} > 0$ , donc $λ ⩾ 0$ .

1. Réciproque. Supposons toutes les valeurs propres positives ou nulles, donc $λ_{\min} ⩾ 0$ . L'encadrement de la section précédente, licite car $A$ est symétrique, donne pour tout $X$

⟨ A X, X ⟩ ⩾ λ_{\min} ∥ X ∥^{2} ⩾ 0,

donc $A$ est positive.

2. Sens direct. Si $A$ est définie positive et si $λ$ est une valeur propre associée à $X \neq 0$ , le même calcul donne $λ ∥ X ∥^{2} = ⟨ A X, X ⟩ > 0$ , donc $λ > 0$ .

2. Réciproque. Si toutes les valeurs propres sont strictement positives, alors $λ_{\min} > 0$ et, pour tout $X \neq 0$ ,

⟨ A X, X ⟩ ⩾ λ_{\min} ∥ X ∥^{2} > 0,

puisque $∥ X ∥^{2} > 0$ . Donc $A$ est définie positive. $□$

Remarque

C'est le théorème qui rend la notion calculable. Vérifier « $⟨ A X, X ⟩ ⩾ 0$ pour tout $X$ » directement demande une inégalité en $n$ variables ; vérifier le signe des valeurs propres demande une diagonalisation. La seconde tâche est un exercice standard, la première ne l'est pas. Dans un problème, la question « montrer que $A$ est positive » se traite donc presque toujours par le spectre, sauf si la matrice se présente sous la forme $M^{⊤} M$ (ci-dessous).

Exemples et propriétés

Propriété

Pour toute matrice $M \in M_{n, p} (R)$ , la matrice $M^{⊤} M$ est symétrique positive. Elle est définie positive si et seulement si les colonnes de $M$ sont libres.
Une matrice symétrique définie positive est inversible.
Toute matrice symétrique positive $A$ admet une racine carrée symétrique positive, c'est-à-dire une matrice $R \in S_{n}^{+} (R)$ telle que $R^{2} = A$ . Cette racine carrée est de plus unique (unicité admise).

Démonstration. 1. La symétrie a été vue en section $1$ . Pour la positivité, soit $X \in R^{p}$ :

⟨ M^{⊤} M X, X ⟩ = X^{⊤} M^{⊤} M X = (M X)^{⊤} (M X) = ∥ M X ∥^{2} ⩾ 0.

Cette quantité est nulle si et seulement si $M X = 0$ . Ainsi, $M^{⊤} M$ est définie positive si et seulement si $M X \neq 0$ pour tout $X \neq 0$ , c'est-à-dire si et seulement si $\ker M = {0}$ , ce qui revient à dire que les colonnes de $M$ sont libres. C'est exactement la condition rencontrée à la section $3$ pour l'unicité de la solution des moindres carrés.

2. Soit $A$ définie positive et soit $X \in \ker A$ . Alors $⟨ A X, X ⟩ = ⟨ 0, X ⟩ = 0$ , ce qui interdit $X \neq 0$ par définition. Donc $\ker A = {0}$ et $A$ est inversible. On peut aussi invoquer le spectre : toutes les valeurs propres sont strictement positives, donc $0$ n'est pas valeur propre.

3. Existence. Le théorème spectral donne $A = P D P^{⊤}$ avec $P$ orthogonale et $D = diag (λ_{1}, \dots, λ_{n})$ . Comme $A$ est positive, tous les $λ_{i}$ sont positifs ou nuls, et l'on peut poser

Δ = diag (\sqrt{λ_{1}}, \dots, \sqrt{λ_{n}}), R = P Δ P^{⊤} .

Cette matrice convient. Elle est symétrique, car

R^{⊤} = (P Δ P^{⊤})^{⊤} = P Δ^{⊤} P^{⊤} = P Δ P^{⊤} = R,

une matrice diagonale étant symétrique. Elle est positive, puisque ses valeurs propres sont les $\sqrt{λ_{i}} ⩾ 0$ . Enfin, en utilisant $P^{⊤} P = I_{n}$ ,

R^{2} = P Δ \underset{= I_{n}}{\underset{⏟}{P^{⊤} P}} Δ P^{⊤} = P Δ^{2} P^{⊤} = P D P^{⊤} = A .

L'unicité est admise. $□$

Exemple

Une racine carrée explicite. Considérons

A = (\begin{array}{cc} 4 & 2 \\ 2 & 1 \end{array}) .

Elle est symétrique, et l'on remarque qu'elle s'écrit $A = a a^{⊤}$ avec $a = (2, 1)$ . D'après la section $2$ , la matrice de la projection orthogonale sur la droite $Vect (a)$ est $Q = \frac{1}{∥ a ∥^{2}} a a^{⊤} = \frac{1}{5} A$ , donc

A = 5 Q .

Les valeurs propres de $A$ se lisent alors sans calcul : $Q$ est un projecteur orthogonal sur une droite de $R^{2}$ , donc $Q a = a$ et $Q b = 0$ pour $b = (1, - 2)$ , vecteur orthogonal à $a$ . Ainsi $Sp (A) = {0, 5}$ : la matrice $A$ est positive, mais pas définie positive, ce que confirme le fait qu'elle n'est pas inversible.

Sa racine carrée est $R = \sqrt{5} Q = \frac{1}{\sqrt{5}} A$ , c'est-à-dire

R = \frac{1}{\sqrt{5}} (\begin{array}{cc} 4 & 2 \\ 2 & 1 \end{array}), et en effet R^{2} = \frac{1}{5} A^{2} = \frac{1}{5} (\begin{array}{cc} 20 & 10 \\ 10 & 5 \end{array}) = A .

Exemple

Une matrice définie positive. La matrice $A = (\begin{array}{ccc} 2 & 2 & 2 \\ 2 & 5 & 4 \\ 2 & 4 & 5 \end{array})$ de la section $4$ a pour spectre ${1, 10}$ , deux valeurs strictement positives : elle est donc définie positive. Sa racine carrée symétrique positive est $R = P diag (1, 1, \sqrt{10}) P^{⊤}$ , avec la matrice $P$ déjà construite. On voit ici tout l'intérêt de la forme $A = P D P^{⊤}$ : une fois la diagonalisation orthogonale faite, puissances, racine carrée et signe se lisent sur $D$ .

Méthode

Montrer qu'une matrice symétrique est positive. Trois voies, à essayer dans cet ordre.

Reconnaître une forme $M^{⊤} M$ . C'est la voie la plus rapide quand elle est disponible, car elle ne demande aucune diagonalisation : on écrit $⟨ M^{⊤} M X, X ⟩ = ∥ M X ∥^{2} ⩾ 0$ et c'est terminé. Le caractère défini positif se lit alors sur l'injectivité de $M$ .
Calculer $⟨ A X, X ⟩$ directement et reconnaître une somme de carrés. Par exemple, pour $A = (\begin{array}{cc} 2 & 1 \\ 1 & 1 \end{array})$ et $X = (x, y)$ ,

⟨ A X, X ⟩ = 2 x^{2} + 2 x y + y^{2} = x^{2} + (x + y)^{2} ⩾ 0,

et cette quantité ne s'annule que si $x = 0$ et $x + y = 0$ , c'est-à-dire $X = 0$ : la matrice est définie positive. 3. Diagonaliser et regarder le signe des valeurs propres. C'est la voie générale, celle du théorème de caractérisation ; elle coûte une diagonalisation complète, mais elle aboutit toujours.

Erreur à ne pas commettre : conclure du signe des coefficients. Ni les coefficients diagonaux positifs, ni tous les coefficients positifs n'entraînent quoi que ce soit. En revanche, une matrice positive a nécessairement ses coefficients diagonaux positifs, puisque $⟨ A e_{i}, e_{i} ⟩ = a_{i i} ⩾ 0$ : c'est une condition nécessaire commode pour éliminer un candidat.

Où ces notions resservent

Nous nous arrêtons ici, mais il faut savoir vers quoi tout cela pointe.

Au chapitre suivant, on cherchera les extrema d'une fonction de plusieurs variables. La condition du premier ordre annulera les dérivées partielles ; la condition du second ordre fera intervenir la matrice des dérivées partielles secondes, la matrice hessienne, qui est symétrique. On y montrera qu'un point critique en lequel la hessienne est définie positive est un minimum local, et que le cas défini négatif donne un maximum local : autrement dit, la condition « $f^{''} (c) > 0$ » d'une variable devient « la hessienne est définie positive », et c'est exactement le signe des valeurs propres étudié ici.

En probabilités, la matrice de variance-covariance d'un vecteur aléatoire est elle aussi symétrique positive, pour une raison qui ressemble beaucoup au point 1. ci-dessus : elle s'écrit comme une espérance de produits, et la quantité $⟨ A X, X ⟩$ y devient une variance, donc un nombre positif.

Dans les deux cas, le travail conceptuel a déjà été fait dans ce chapitre. Il ne restera qu'à l'appliquer.

Ce qu'il faut retenir

Objet	Caractérisation	Réflexe de concours
$f$ endomorphisme symétrique	$⟨ f (x), y ⟩ = ⟨ x, f (y) ⟩$	matrice symétrique en base orthonormée
$P$ matrice orthogonale	$P^{⊤} P = I_{n}$	colonnes orthonormées, $P^{- 1} = P^{⊤}$
$p_{F} (x)$ projeté orthogonal	$p_{F} (x) \in F$ et $x - p_{F} (x) \in F^{⊥}$	base orthonormée de $F$ , ou de $F^{⊥}$ si $F$ est un hyperplan
$p$ projecteur orthogonal	$p \circ p = p$ et $p$ symétrique	ne jamais oublier la seconde condition
$d (x, F)$	$∥ x - p_{F} (x) ∥$ , minimum atteint en $p_{F} (x)$	Pythagore, puis $d^{2} = ∥ x ∥^{2} - ∥ p_{F} (x) ∥^{2}$
Moindres carrés	$A^{⊤} A X = A^{⊤} b$	l'écart est orthogonal aux colonnes de $A$
$A$ symétrique réelle	$A = P D P^{⊤}$ , $P$ orthogonale	théorème spectral, cité puis appliqué
$A$ positive, définie positive	valeurs propres $⩾ 0$ , resp. $> 0$	passer par le spectre, ou reconnaître $M^{⊤} M$

Remarque

Les six erreurs qui coûtent des points.

Confondre matrice symétrique et endomorphisme symétrique hors base orthonormée. La matrice de $f$ peut être symétrique dans une base non orthonormée sans que $f$ le soit, comme le montre le contre-exemple de la section $1$ . Toute traduction matricielle doit être précédée de la mention « la base étant orthonormée ».

Oublier d'orthonormaliser à l'intérieur d'un sous-espace propre de dimension au moins $2$ . Deux vecteurs propres associés à la même valeur propre n'ont aucune raison d'être orthogonaux. Sans Gram-Schmidt à l'intérieur de ce sous-espace, la matrice $P$ obtenue n'est pas orthogonale et l'égalité $A = P D P^{⊤}$ est fausse.

Orthonormaliser entre deux sous-espaces propres différents. C'est l'erreur symétrique de la précédente, et elle est pire : ces vecteurs sont déjà orthogonaux, et les mélanger par Gram-Schmidt détruit le caractère propre des vecteurs obtenus. On ne combine jamais un vecteur de $E_{λ}$ avec un vecteur de $E_{μ}$ .

Oublier de normer les colonnes de $P$ . Une base de vecteurs propres deux à deux orthogonaux mais non unitaires donne une matrice $P$ qui n'est pas orthogonale : $P^{- 1} \neq P^{⊤}$ , et l'écriture $A = P D P^{⊤}$ devient fausse. La vérification $P^{⊤} P = I_{n}$ prend trente secondes et sauve la question.

Croire que le produit de deux matrices symétriques est symétrique. C'est faux dès que les deux matrices ne commutent pas, et l'on a le critère exact $A B \in S_{n} (R) ⟺ A B = B A$ . En revanche $A + B$ , $λ A$ et $A^{k}$ restent symétriques.

Chercher une valeur propre avec un déterminant. Cet outil n'existe pas au programme ECG, et l'employer expose à écrire des lignes entières hors sujet. Les valeurs propres se cherchent en résolvant $(A - λ I_{n}) X = 0$ avec discussion sur $λ$ , ou grâce à un polynôme annulateur, ou par lecture directe d'une matrice triangulaire.

Le cours en PDF(PDF, 221 Ko)

Bloqué sur « Compléments d'algèbre bilinéaire » ?

On peut le travailler ensemble dès cette semaine. La première heure est offerte — on fait le point honnêtement, et vous repartez au minimum avec une méthode.

Réserver ma 1ʳᵉ heure offerte