Concentration et loi des grands nombres

En 1713 paraît à Bâle un livre posthume qui va changer le statut du hasard : l'Ars Conjectandi (« l'art de conjecturer ») de Jacques Bernoulli, mort huit ans plus tôt. Son joyau est un résultat que Bernoulli lui-même appelait son « théorème d'or », et qu'il a mis vingt ans à démontrer : lorsqu'on répète une expérience aléatoire un grand nombre de fois, la fréquence observée d'un événement se rapproche de sa probabilité. Vingt ans pour démontrer ce que tout joueur constate à la table de jeu ? C'est que l'enjeu est immense : ce théorème est le premier grand résultat de toute la théorie des probabilités, celui qui justifie enfin le lien intuitif entre fréquence et probabilité — ce lien que vous utilisez sans justification depuis la classe de seconde, chaque fois qu'une simulation « confirme » un calcul de probabilité. Il faudra encore attendre le XIXe siècle pour que la démonstration devienne limpide : le Français Irénée-Jules Bienaymé publie en 1853 une inégalité remarquablement simple, que le Russe Pafnouti Tchebychev redécouvre et popularise en 1867, et dont le théorème de Bernoulli — que Siméon Denis Poisson avait entre-temps baptisé « loi des grands nombres » — découle en quelques lignes. C'est exactement le chemin que suit ce chapitre : forger l'inégalité de Bienaymé-Tchebychev, en déduire l'inégalité de concentration pour la moyenne d'un échantillon, et couronner les trois chapitres de probabilités de l'année en démontrant la loi des grands nombres.

L'écart type, unité naturelle de la dispersion

Tout le chapitre repose sur les indicateurs d'une variable aléatoire finie, introduits en première et enrichis au chapitre précédent. Rappelons-les.

L'espérance $\mu$ indique autour de quelle valeur la variable fluctue ; la variance mesure l'ampleur de ces fluctuations, comme moyenne pondérée des carrés des écarts à $\mu$. Mais c'est l'écart type $\sigma$, exprimé dans la même unité que $X$, qui constitue l'unité naturelle de la dispersion. L'idée directrice du chapitre, suggérée par le programme lui-même, est la suivante : pour juger si un écart à l'espérance est banal ou exceptionnel, on le mesure en nombre d'écarts types. Un écart de $1\sigma$ est ordinaire ; un écart de $2\sigma$ ou $3\sigma$ commence à être remarquable ; et nous allons pouvoir quantifier à quel point.

Prenons un exemple qui nous accompagnera tout le chapitre. On lance $180$ fois un dé équilibré et on note $X$ le nombre de $6$ obtenus : $X$ suit la loi binomiale $\mathcal{B}(180;\frac{1}{6})$, donc $\mu =E(X)=180\times \frac{1}{6}=30,V=180\times \frac{1}{6}\times \frac{5}{6}=25,\sigma =5.$ Observer $32$ six, c'est s'écarter de $\mu$ de $2$ unités, soit $\mathrm{0,4}$ écart type : rien de surprenant. Observer $45$ six, c'est un écart de $15$, soit $3\sigma$ : voilà qui mérite qu'on s'interroge sur l'équilibre du dé. Toute la question est maintenant de transformer cette intuition en inégalité démontrée : avec quelle probabilité, au plus, une variable aléatoire s'écarte-t-elle de son espérance d'au moins $\delta$ ?

L'inégalité de Bienaymé-Tchebychev

La réponse tient en une formule d'une généralité saisissante : elle ne suppose rien sur la loi de $X$, sinon l'existence de son espérance et de sa variance.

Prenons le temps de lire cet énoncé. L'événement $\{\mathrm{\mid }X-\mu \mathrm{\mid }⩾\delta \}$ est l'événement « $X$ s'écarte de son espérance d'au moins $\delta$ », c'est-à-dire « $X⩽\mu -\delta$ ou $X⩾\mu +\delta$ » : $X$ sort de l'intervalle ouvert $]\mu -\delta ;\mu +\delta [$ centré en $\mu$. L'inégalité affirme que la probabilité de cette sortie est majorée par ${\displaystyle \frac{V}{{\delta }^2}}$ : plus la variance est petite, ou plus l'écart $\delta$ exigé est grand, plus la sortie est improbable. C'est la traduction quantitative de ce que représente la variance — une variable peu dispersée s'éloigne rarement de son espérance.

Démonstration. Notons $x_1,\dots ,x_r$ les valeurs de $X$ et $p_1,\dots ,p_r$ leurs probabilités. La variance est une somme de termes tous positifs ou nuls : $V={\sum }_{i=1}^r{p}_i(x_i-\mu {)}^2\mathrm{.}$ Ne conservons que les termes correspondant aux valeurs $x_i$ qui réalisent l'événement étudié, c'est-à-dire celles vérifiant $\mathrm{\mid }{x}_i-\mu \mathrm{\mid }⩾\delta$ : en supprimant des termes positifs, la somme ne peut que diminuer, donc $V⩾{\sum }_{i:\mathrm{\mid }{x}_i-\mu \mathrm{\mid }⩾\delta }{p}_i(x_i-\mu {)}^2\mathrm{.}$ Pour chacun de ces indices, $(x_i-\mu {)}^2⩾{\delta }^2$ ; en remplaçant chaque carré par ce minorant : $V⩾{\sum }_{i:\mathrm{\mid }{x}_i-\mu \mathrm{\mid }⩾\delta }{p}_i{\delta }^2={\delta }^2{\sum }_{i:\mathrm{\mid }{x}_i-\mu \mathrm{\mid }⩾\delta }{p}_i={\delta }^{2}P(\mathrm{\mid }X-\mu \mathrm{\mid }⩾\delta ),$ car la somme des probabilités des valeurs réalisant un événement est la probabilité de cet événement. Il reste à diviser par ${\delta }^2>0$ pour conclure. $\mathrm{\square }$

Cette démonstration, courte et lumineuse, révèle le mécanisme : la variance « contient » les grands écarts, puisque chacun y contribue par un terme au moins égal à ${\delta }^2$ fois sa probabilité. Une variance modeste interdit donc que les grands écarts soient probables.

En choisissant $\delta =k\sigma$, c'est-à-dire en mesurant l'écart en nombre d'écarts types comme le suggérait la première section, l'inégalité prend une forme particulièrement parlante.

Un écart d'au moins $2\sigma$ a donc une probabilité inférieure ou égale à ${\displaystyle \frac{1}{4}}$, un écart d'au moins $3\sigma$ une probabilité inférieure ou égale à ${\displaystyle \frac{1}{9}}$, un écart d'au moins $10\sigma$ une probabilité inférieure ou égale à ${\displaystyle \frac{1}{100}}$ : les écarts de quelques écarts types deviennent improbables, et ce quelle que soit la loi de la variable.

L'inégalité de concentration

Appliquons maintenant cet outil à l'objet central du chapitre précédent : la moyenne d'un échantillon. Rappelons le cadre. Un échantillon de taille $n$ d'une variable aléatoire $X$ est une liste $(X_1,X_2,\dots ,X_n)$ de $n$ variables aléatoires indépendantes suivant toutes la loi de $X$ ; on note $S_n=X_1+X_2+\cdots +X_n$ leur somme et $M_n={\displaystyle \frac{S_n}{n}}$ leur moyenne. Si $X$ a pour espérance $\mu$ et pour variance $V$, nous avons établi au chapitre précédent que $E(M_n)=\mu \text{et}V(M_n)=\frac{V}{n}\mathrm{.}$ La moyenne d'un échantillon vise juste ($E(M_n)=\mu$) et fluctue d'autant moins que l'échantillon est grand ($V(M_n)$ est divisée par $n$). L'inégalité de Bienaymé-Tchebychev va transformer ce constat en majoration explicite.

Démonstration. La variable aléatoire $M_n$ a pour espérance $\mu$ et pour variance ${\displaystyle \frac{V}{n}}$. L'inégalité de Bienaymé-Tchebychev, appliquée à $M_n$, donne directement $P(\mathrm{\mid }{M}_n-\mu \mathrm{\mid }⩾\delta )⩽\frac{V(M_n)}{{\delta }^2}=\frac{V}{n{\delta }^2}\mathrm{.}\mathrm{\square }$

Deux lignes, et pourtant un changement de monde. Dans l'inégalité de Bienaymé-Tchebychev, la borne ${\displaystyle \frac{V}{{\delta }^2}}$ est figée ; ici, à précision $\delta$ fixée, la borne ${\displaystyle \frac{V}{n{\delta }^2}}$ est divisée par $n$ : il suffit d'agrandir l'échantillon pour rendre aussi improbable qu'on veut un écart donné entre la moyenne observée et l'espérance. Les moyennes d'échantillons se concentrent autour de $\mu$ — d'où le nom de l'inégalité. Le phénomène se voit remarquablement bien en simulant un grand nombre d'échantillons de lancers de dé et en traçant l'histogramme de leurs moyennes.

Sur cette figure, chaque histogramme représente les moyennes de $10000$ échantillons de $n$ lancers d'un dé équilibré, pour $n=25$, $n=100$ puis $n=400$. Les trois distributions sont centrées sur $\mu =\mathrm{3,5}$, mais leur largeur fond à mesure que $n$ grandit. Le rythme de ce resserrement mérite attention : l'écart type de $M_n$ vaut $\sigma (M_n)={\displaystyle \frac{\sigma }{\sqrt{n}}}$, avec ici $\sigma =\sqrt{{\displaystyle \frac{35}{12}}}\approx \mathrm{1,71}$. Il passe donc d'environ $\mathrm{0,34}$ pour $n=25$ à environ $\mathrm{0,17}$ pour $n=100$, puis $\mathrm{0,085}$ pour $n=400$. À cause de la racine carrée, diviser la largeur par $2$ exige de multiplier par $4$ la taille de l'échantillon : la précision se paie cher, et de plus en plus cher.

Choisir une taille d'échantillon

L'inégalité de concentration répond à la question pratique la plus importante du chapitre — c'est la capacité explicitement attendue par le programme. Un expérimentateur veut estimer une espérance $\mu$ par la moyenne d'un échantillon ; il se fixe une précision $\delta$ (l'erreur maximale tolérée) et un risque $\alpha$ (la probabilité maximale acceptée de dépasser cette erreur). Quelle taille d'échantillon lui garantit ces exigences ?

Le cas le plus utile est celui d'une proportion : on veut estimer la probabilité $p$ d'un événement (l'intention de vote pour un candidat, le taux de pièces défectueuses) par la fréquence observée sur un échantillon. Chaque observation est alors une variable de Bernoulli $X_i$ de paramètre $p$, d'espérance $\mu =p$ et de variance $V=p(1-p)$ ; la moyenne $M_n$ n'est autre que la fréquence observée. Difficulté : la variance $p(1-p)$ dépend de $p$, qui est précisément inconnu ! On s'en sort par une majoration valable pour tout $p$.

La loi des grands nombres

Tout est en place pour le résultat qui couronne les trois chapitres de probabilités de l'année. Fixons une précision $\delta >0$, aussi exigeante soit-elle, et regardons ce que devient la borne de concentration lorsque la taille de l'échantillon tend vers l'infini.

Démonstration. Soit $\delta >0$. Une probabilité est toujours positive ou nulle, et l'inégalité de concentration majore celle-ci : pour tout entier $n⩾1$, $0⩽P(\mathrm{\mid }{M}_n-\mu \mathrm{\mid }⩾\delta )⩽\frac{V}{n{\delta }^2}\mathrm{.}$ Or $\delta$ étant fixé, $\underset{n\to +\mathrm{\infty }}{\lim }{\displaystyle \frac{V}{n{\delta }^2}}=0$. La suite $(P(\mathrm{\mid }{M}_n-\mu \mathrm{\mid }⩾\delta ))$ est donc encadrée par deux suites de limite nulle : d'après le théorème des gendarmes, elle converge vers $0$. $\mathrm{\square }$

Lisons ce théorème dans le cas qui a tout déclenché historiquement. Prenons pour loi commune une loi de Bernoulli de paramètre $p$ : chaque $X_i$ vaut $1$ si l'événement étudié se réalise à la $i$-ième répétition, $0$ sinon. La moyenne $M_n$ est alors la fréquence observée $F_n$ de l'événement sur les $n$ premières répétitions, et $\mu =p$. La loi des grands nombres affirme : ${\lim }_{n\to +\mathrm{\infty }}P(\mathrm{\mid }{F}_n-p\mathrm{\mid }⩾\delta )=0.$ La probabilité que la fréquence observée s'écarte de la probabilité théorique de plus de $\delta$ — si petit que soit $\delta$ — devient négligeable quand le nombre de répétitions grandit : la fréquence se stabilise sur la probabilité. C'est exactement le théorème d'or de Jacques Bernoulli, et c'est la justification, attendue depuis la seconde, de l'approche fréquentiste des probabilités : quand une simulation de $10000$ lancers donne une fréquence de $\mathrm{0,502}$ pour « pile », ce n'est pas un heureux hasard, c'est un théorème.

La figure montre l'évolution de la fréquence cumulée de « pile » au fil de $1000$ lancers d'une pièce équilibrée : erratique et capable de grands écarts au début, la courbe s'assagit et se stabilise au voisinage de $\mathrm{0,5}$. Chaque nouvelle série de lancers produirait une courbe différente dans le détail, mais toutes finissent par se coller à la valeur $\mathrm{0,5}$ : c'est la loi des grands nombres en images.

Simuler pour voir : échantillons et écarts

Le programme invite à confronter la théorie à la simulation. Le programme Python ci-dessous simule $N=10000$ échantillons de $n=100$ lancers d'un dé équilibré, calcule la moyenne de chaque échantillon, puis mesure l'écart type $s$ de la série des $10000$ moyennes obtenues. La théorie prédit que cet écart type observé doit être proche de $\sigma (M_n)={\displaystyle \frac{\sigma }{\sqrt{n}}}$, où $\sigma =\sqrt{{\displaystyle \frac{35}{12}}}\approx \mathrm{1,708}$ est l'écart type d'un lancer.

from random import randint
from math import sqrt

def moyenne(valeurs):
    total = 0
    for v in valeurs:
        total = total + v
    return total / len(valeurs)

N = 10000   # nombre d'echantillons
n = 100     # taille de chaque echantillon

moyennes = []
for k in range(N):
    echantillon = []
    for i in range(n):
        echantillon.append(randint(1, 6))
    moyennes.append(moyenne(echantillon))

m = moyenne(moyennes)
total = 0
for x in moyennes:
    total = total + (x - m) ** 2
s = sqrt(total / N)

print("Ecart type observe des moyennes :", s)
print("Valeur theorique sigma/racine(n) :", sqrt(35 / 12) / sqrt(n))

À l'exécution, la première ligne affiche une valeur voisine de $\mathrm{0,171}$, et la seconde exactement ${\displaystyle \frac{\sigma }{\sqrt{100}}}={\displaystyle \frac{\sigma }{10}}\approx \mathrm{0,1708}$ : l'accord est excellent, et il s'améliore encore si l'on augmente $N$. On peut prolonger l'expérience dans l'esprit du programme : compter la proportion des $10000$ moyennes qui s'écartent de $\mathrm{3,5}$ d'au moins $\mathrm{0,5}$ (on trouve une proportion quasi nulle, très inférieure à la borne ${\displaystyle \frac{7}{60}}\approx \mathrm{0,12}$ de l'inégalité de concentration — nouvelle illustration de sa non-optimalité), ou faire croître $n$ pour voir la série des moyennes se resserrer conformément à la loi des grands nombres.

Ce qu'il faut retenir

• Inégalité de Bienaymé-Tchebychev : pour toute variable aléatoire $X$ d'espérance $\mu$ et de variance $V$, et tout $\delta >0$, $P(\mathrm{\mid }X-\mu \mathrm{\mid }⩾\delta )⩽\frac{V}{{\delta }^2}\mathrm{.}$ Avec $\delta =k\sigma$, la borne devient ${\displaystyle \frac{1}{k^2}}$. Elle est universelle mais non optimale : elle fournit des conditions suffisantes, pas des valeurs exactes.
• Inégalité de concentration : pour la moyenne $M_n$ d'un échantillon de taille $n$, $P(\mathrm{\mid }{M}_n-\mu \mathrm{\mid }⩾\delta )⩽\frac{V}{n{\delta }^2}\mathrm{.}$ À $\delta$ fixé, la borne est divisée par $n$ : les moyennes se concentrent autour de $\mu$, avec un écart type ${\displaystyle \frac{\sigma }{\sqrt{n}}}$.
• Choix d'une taille d'échantillon : pour garantir une précision $\delta$ avec un risque au plus $\alpha$, il suffit de prendre $n⩾{\displaystyle \frac{V}{\alpha {\delta }^2}}$ ; pour une proportion, on majore $V=p(1-p)$ par ${\displaystyle \frac{1}{4}}$.
• Loi des grands nombres : pour tout $\delta >0$, $\underset{n\to +\mathrm{\infty }}{\lim }P(\mathrm{\mid }{M}_n-\mu \mathrm{\mid }⩾\delta )=0$. Appliquée à une loi de Bernoulli, elle affirme que la fréquence observée d'un événement se stabilise sur sa probabilité : c'est le théorème d'or de Bernoulli, fondement de l'approche fréquentiste des probabilités.