Probabilités : convergences et estimation

Tous les chapitres de probabilités rencontrés jusqu'ici travaillent dans le même sens. On se donne une loi, entièrement connue, et l'on en déduit ce qu'il faut s'attendre à observer : une espérance, une variance, la probabilité d'un événement. C'est le sens naturel du calcul des probabilités, et c'est aussi celui que l'on ne rencontre presque jamais dans la vie réelle. Un institut de sondage ne connaît pas la proportion $p$ d'électeurs favorables à un candidat : il possède mille réponses. Un assureur ne connaît pas la loi du nombre de sinistres : il possède le relevé des trois dernières années. Le paramètre est inconnu, les observations sont là, et c'est le chemin inverse qu'il faut parcourir.

Ce chapitre construit ce chemin, et il pose pour cela une seule question, sous deux formes. La première est une question de probabilités : que devient une moyenne d'observations quand leur nombre $n$ devient grand ? La seconde est une question de statistique : que peut-on affirmer sur un paramètre inconnu à partir d'un échantillon de taille $n$ ? La première prépare la seconde, et la seconde donne à la première tout son intérêt.

Deux théorèmes répondent, et ce sont eux qui justifient l'existence même de la statistique. La loi faible des grands nombres, déjà croisée en première année, affirme que la moyenne de $n$ observations indépendantes se rapproche de l'espérance commune : elle garantit qu'observer, c'est apprendre quelque chose. Le théorème limite central va beaucoup plus loin. Il décrit la loi de l'erreur commise, et il affirme que cette loi est toujours la même, la loi normale, quelle que soit la loi des observations de départ. C'est ce second théorème qui permet de chiffrer une incertitude, donc de dire « la proportion cherchée est comprise entre $\mathrm{0,39}$ et $\mathrm{0,45}$ » plutôt que le vague « la fréquence observée est proche de la proportion ».

Le chapitre suit donc un ordre imposé par la logique. On commence par deux inégalités de concentration, celle de Markov et celle de Bienaymé-Tchebychev, qui sont les seuls outils de majoration disponibles quand on ignore tout de la loi. On définit ensuite deux modes de convergence pour une suite de variables aléatoires : la convergence en probabilité, qui dit que les variables se rapprochent d'une limite, et la convergence en loi, qui dit seulement que leurs lois se rapprochent d'une loi limite. La loi faible des grands nombres est un énoncé du premier type, le théorème limite central un énoncé du second. La seconde moitié du chapitre est le versant statistique : estimation ponctuelle d'un paramètre par un estimateur, puis estimation par intervalle de confiance.

Un mot sur ce qui est admis, car ce chapitre en admet plus que les précédents. Le théorème limite central est admis : sa démonstration classique repose sur des outils à valeurs complexes, et les nombres complexes ne figurent plus au programme. Les propriétés opératoires de la convergence en probabilité et de la convergence en loi sont également admises, ainsi que l'implication reliant les deux. Tout le reste se démontre, et se démontre avec un outil unique : l'inégalité de Bienaymé-Tchebychev. Il faut mesurer ce point avant de commencer, car il structure le chapitre entier. La loi faible des grands nombres, le critère de convergence en probabilité, la convergence d'un estimateur, le premier type d'intervalle de confiance : ces quatre résultats sont quatre applications de la même inégalité, écrite quatre fois de suite.

Voici les notations employées dans tout le chapitre.

Une mise en garde sur ces notations, car elles se ressemblent au point de se confondre. Le symbole $S_n$ désigne la somme de l'échantillon, et il ne sert que dans les parties consacrées à la loi faible des grands nombres et au théorème limite central. Le symbole $S_n^2$, lui, désigne un objet entièrement différent, la variance empirique corrigée, et il ne sert que dans les parties statistiques. En particulier, $S_n^2$ n'est pas le carré de la somme $S_n$ : c'est un symbole global, qu'il faut lire d'un bloc. Dans la dernière partie, consacrée aux intervalles de confiance, le symbole $S_n$ désignera en revanche l'écart-type empirique corrigé $\sqrt{S_n^2}$, conformément à l'usage : c'est un troisième objet, distinct de la somme, et le contexte suffit à les séparer puisque la somme ne sert que dans les parties consacrées aux convergences. Aucun calcul ne fait intervenir les deux dans la même ligne, mais la confusion coûte des points chaque année.

Deux inégalités de concentration

Le programme ne fournit que deux outils pour majorer la probabilité qu'une variable aléatoire prenne une valeur « inhabituelle », et ces deux outils ont la même particularité remarquable : ils ne supposent rien de la loi. On ne demande ni qu'elle soit discrète, ni qu'elle soit à densité, ni qu'elle appartienne à une liste de lois usuelles. On demande seulement l'existence d'une espérance, puis d'une variance. C'est à la fois leur force, puisqu'ils s'appliquent partout, et leur faiblesse, puisque les majorations obtenues sont grossières.

Inégalité de Markov

Démonstration dans le cas discret. Notons $X(\mathrm{\Omega })=\{x_k\}$ le support de $X$, avec $x_k⩾0$ pour tout $k$. Par définition de l'espérance,

$$E(X)=\sum _k{x}_{k}P(X=x_k),$$

série à termes positifs, convergente par hypothèse. Séparons les indices en deux paquets, selon que $x_k⩾a$ ou $x_k<a$ :

$$E(X)=\sum _{k;x_k⩾a}{x}_{k}P(X=x_k)+\sum _{k;x_k<a}{x}_{k}P(X=x_k)⩾\sum _{k;x_k⩾a}{x}_{k}P(X=x_k),$$

la dernière inégalité venant de ce que l'on retire une somme de termes positifs, ce qui ne peut que diminuer le total. C'est ici, et seulement ici, que sert l'hypothèse de positivité de $X$.

Dans la somme restante, chaque $x_k$ vérifie $x_k⩾a$, donc

$$E(X)⩾\sum _{k;x_k⩾a}aP(X=x_k)=a\sum _{k;x_k⩾a}P(X=x_k)=aP(X⩾a),$$

la dernière égalité provenant de ce que les événements $(X=x_k)$ pour $x_k⩾a$ sont deux à deux incompatibles et de réunion $(X⩾a)$. Comme $a>0$, on peut diviser sans changer le sens de l'inégalité, et l'on obtient le résultat annoncé. $\mathrm{\square }$

Le cas d'une variable à densité. Le raisonnement est identique, la somme étant remplacée par une intégrale. Si $X$ est une variable à densité $f$, positive, alors $f$ est nulle sur $]-\mathrm{\infty },0[$ et

$$E(X)={\int }_0^{+\mathrm{\infty }}tf(t)\mathrm{d}t⩾{\int }_a^{+\mathrm{\infty }}tf(t)\mathrm{d}t⩾{\int }_a^{+\mathrm{\infty }}af(t)\mathrm{d}t=a{\int }_a^{+\mathrm{\infty }}f(t)\mathrm{d}t=aP(X⩾a),$$

toutes les intégrales étant convergentes puisque l'espérance existe. La première inégalité retire une intégrale de fonction positive, la seconde utilise $t⩾a$ sur le domaine d'intégration. $\mathrm{\square }$

Deux remarques d'usage. D'abord, l'inégalité n'apporte de l'information que lorsque $a>E(X)$ : sinon le majorant ${\displaystyle \frac{E(X)}{a}}$ dépasse $1$, et l'on savait déjà qu'une probabilité est majorée par $1$. Ensuite, l'hypothèse de positivité est indispensable et pas seulement technique. Si $X$ prend la valeur $-1000$ avec une forte probabilité et la valeur $1000$ avec une petite probabilité, son espérance peut être négative alors que $P(X⩾1)>0$ : la conclusion serait absurde. Appliquer Markov à une variable qui n'est pas positive est l'une des erreurs les plus fréquentes du chapitre.

Pourquoi l'on parle d'inégalités de concentration

Le nom mérite une explication, car il annonce exactement ce que ces inégalités font. Une variable aléatoire est dite concentrée autour d'une valeur lorsqu'elle s'en écarte rarement beaucoup. Une inégalité de concentration est donc un énoncé de la forme « la probabilité de s'écarter de tant est au plus de tant », et l'inégalité de Markov comme celle de Bienaymé-Tchebychev en sont les deux exemplaires les plus simples.

Leur structure est toujours la même : au numérateur une quantité qui mesure la taille ou la dispersion de la variable, au dénominateur le seuil d'écart, élevé à une puissance. Plus le seuil est grand, plus la majoration est petite ; plus la dispersion est grande, plus la majoration est lâche. C'est cette structure qu'il faut retenir, davantage que les formules elles-mêmes, car elle indique tout de suite dans quel sens joue chaque donnée d'un énoncé.

Toute la suite du chapitre repose sur un usage particulier de cette idée : appliquée non pas à une variable isolée, mais à une moyenne de $n$ variables, dont la dispersion diminue quand $n$ augmente, elle produit une majoration qui tend vers $0$. C'est exactement le mécanisme de la loi faible des grands nombres, et il est déjà entièrement contenu dans l'inégalité suivante.

Inégalité de Bienaymé-Tchebychev

Démonstration. Posons $Y={(X-m)}^2$. Vérifions les hypothèses de l'inégalité de Markov pour cette variable. D'une part, $Y$ est positive, comme carré d'une variable aléatoire réelle. D'autre part, $Y$ admet une espérance, et cette espérance vaut $E(Y)=E((X-m{)}^2)=V(X)$, par définition même de la variance, dont l'existence est supposée.

L'inégalité de Markov appliquée à $Y$ avec le réel $a={\epsilon }^2$, qui est bien strictement positif puisque $\epsilon >0$, donne

$$P(Y⩾{\epsilon }^2)⩽{\displaystyle \frac{E(Y)}{{\epsilon }^2}}={\displaystyle \frac{V(X)}{{\epsilon }^2}}\mathrm{.}$$

Il reste à identifier l'événement du membre de gauche. Pour tout $\omega$ de l'univers, les deux inégalités

$${(X(\omega )-m)}^2⩾{\epsilon }^2\text{et}\mid X(\omega )-m\mid ⩾\epsilon$$

sont équivalentes : la fonction racine carrée est croissante sur $[0,+\mathrm{\infty }[$, les deux membres de la première sont positifs, et $\sqrt{u^2}=\mid u\mid$. Les deux événements $(Y⩾{\epsilon }^2)$ et $(\mid X-m\mid ⩾\epsilon )$ sont donc égaux, et ils ont a fortiori la même probabilité. $\mathrm{\square }$

Cette démonstration est exigible, et elle est courte : on pose $Y=(X-m{)}^2$, on vérifie que $Y$ est positive d'espérance $V(X)$, on applique Markov avec $a={\epsilon }^2$, on traduit l'événement. Il faut savoir l'écrire de mémoire.

Démonstration. La première forme s'obtient en passant à l'événement contraire : $P(\mid X-m\mid <\epsilon )=1-P(\mid X-m\mid ⩾\epsilon )$, puis en majorant le second terme. La seconde forme est l'inégalité de départ avec $\epsilon =t\sigma >0$, en remarquant que ${\displaystyle \frac{V(X)}{t^2{\sigma }^2}}={\displaystyle \frac{{\sigma }^2}{t^2{\sigma }^2}}={\displaystyle \frac{1}{t^2}}$. $\mathrm{\square }$

La seconde écriture est la plus parlante, car elle est universelle : le majorant ne dépend plus ni de la loi, ni de l'espérance, ni de l'écart-type, mais du seul nombre $t$ d'écarts-types considéré. Quelle que soit la variable aléatoire, la probabilité de s'écarter de son espérance de plus de deux écarts-types est majorée par ${\displaystyle \frac{1}{4}}$, celle de s'écarter de plus de trois écarts-types par ${\displaystyle \frac{1}{9}}$, celle de s'écarter de plus de dix écarts-types par $\mathrm{0,01}$.

Il faut mesurer à quel point ces bornes sont grossières, et le tableau suivant le montre en comparant le majorant universel à la valeur exacte pour la loi normale, qui est la loi la plus courante.

Le majorant est cinq fois trop grand pour $t=2$, quarante fois trop grand pour $t=3$, mille fois trop grand pour $t=4$. Faut-il en conclure que l'inégalité est inutile ? Certainement pas, et pour une raison simple : la colonne de droite n'existe que si l'on sait que la loi est normale. L'inégalité de Bienaymé-Tchebychev, elle, s'applique à toutes les lois à la fois, y compris à celles que l'on ne connaît pas. Elle ne sert pas à approcher une probabilité, elle sert à la garantir. C'est la différence entre « je pense qu'il y aura peu de défauts » et « je certifie qu'il y en aura moins de tant, quoi qu'il arrive ».

Convergence en probabilité

Définition

Le cas de loin le plus fréquent, et le seul qui serve dans la suite du chapitre, est celui où la limite est une constante. Il mérite d'être écrit à part.

La définition demande une lecture lente, car sa structure logique est inhabituelle. Elle ne dit pas que la suite de nombres $(X_n(\omega ))$ converge vers $a$ pour un résultat $\omega$ donné : ce serait une convergence de suites réelles, et ce n'est pas ce qui est écrit. Elle dit que, pour un seuil $\epsilon$ fixé à l'avance, la probabilité de dépasser ce seuil devient arbitrairement petite. Autrement dit, l'écart entre $X_n$ et $a$ n'est pas garanti petit : il est seulement de plus en plus improbable d'être grand.

Le passage à l'événement contraire donne une formulation équivalente, souvent plus intuitive :

$$\underset{n\to +\mathrm{\infty }}{\lim }P(\mid X_n-a\mid <\epsilon )=1.$$

Elle se lit : « pour $n$ grand, il est presque certain que $X_n$ se trouve dans l'intervalle $]a-\epsilon ,a+\epsilon [$ ». C'est cette lecture qu'il faut avoir en tête, et c'est elle qui donnera son sens à l'intervalle de confiance de la dernière partie.

Une dernière remarque de forme. Comme $\epsilon$ est quelconque, l'inégalité large $⩾\epsilon$ peut être remplacée par l'inégalité stricte $>\epsilon$ sans changer la définition : la propriété pour tout $\epsilon >0$ avec l'une entraîne la propriété pour tout $\epsilon >0$ avec l'autre. On rencontrera les deux écritures selon les énoncés, et il n'y a pas lieu de s'en inquiéter.

Ce que la définition ne dit pas

Il est indispensable de comprendre tout de suite ce que la convergence en probabilité n'entraîne pas, faute de quoi on lui fera dire des choses fausses. En particulier, elle n'entraîne aucune convergence des espérances. Le contre-exemple suivant est court et il faut le connaître.

Ce dernier calcul mérite d'être retenu : il montre que le critère par la variance énoncé ci-dessous n'est qu'une condition suffisante. Ici la variance explose, et pourtant la convergence en probabilité a lieu.

Le critère par l'inégalité de Bienaymé-Tchebychev

Voici l'outil numéro un du chapitre. Il transforme une question de convergence en probabilité, qui porte sur des probabilités d'événements, en deux questions de convergence de suites réelles, qui se traitent avec l'analyse de première année.

Démonstration. Posons $m_n=E(X_n)$ et $b_n=m_n-a$, de sorte que $b_n\to 0$ par hypothèse. Soit $\epsilon >0$ fixé.

Une inclusion d'événements. Comme $b_n\to 0$, il existe un rang $N$ tel que $\mid b_n\mid ⩽{\displaystyle \frac{\epsilon }{2}}$ pour tout $n⩾N$. Fixons un tel $n$ et montrons l'inclusion

$$(\mid X_n-a\mid ⩾\epsilon )\subset (\mid X_n-m_n\mid ⩾{\displaystyle \frac{\epsilon }{2}})\mathrm{.}$$

Soit $\omega$ un élément du premier événement. L'inégalité triangulaire donne

$$\epsilon ⩽\mid X_n(\omega )-a\mid ⩽\mid X_n(\omega )-m_n\mid +\mid m_n-a\mid =\mid X_n(\omega )-m_n\mid +\mid b_n\mid ⩽\mid X_n(\omega )-m_n\mid +{\displaystyle \frac{\epsilon }{2}},$$

d'où $\mid X_n(\omega )-m_n\mid ⩾\epsilon -{\displaystyle \frac{\epsilon }{2}}={\displaystyle \frac{\epsilon }{2}}$. L'élément $\omega$ appartient donc au second événement, ce qui établit l'inclusion.

Majoration. La croissance de la probabilité, puis l'inégalité de Bienaymé-Tchebychev appliquée à $X_n$, qui admet bien une variance, avec le seuil ${\displaystyle \frac{\epsilon }{2}}>0$, donnent pour tout $n⩾N$ :

$$0⩽P(\mid X_n-a\mid ⩾\epsilon )⩽P(\mid X_n-m_n\mid ⩾{\displaystyle \frac{\epsilon }{2}})⩽{\displaystyle \frac{V(X_n)}{{\left(\epsilon \mathrm{/}2\right)}^2}}={\displaystyle \frac{4V(X_n)}{{\epsilon }^2}}\mathrm{.}$$

Conclusion. À $\epsilon$ fixé, le majorant ${\displaystyle \frac{4V(X_n)}{{\epsilon }^2}}$ tend vers $0$ puisque $V(X_n)\to 0$. Le théorème d'encadrement donne donc

$$\underset{n\to +\mathrm{\infty }}{\lim }P(\mid X_n-a\mid ⩾\epsilon )=0.$$

Ceci valant pour tout $\epsilon >0$, la suite $(X_n)$ converge en probabilité vers $a$. $\mathrm{\square }$

Ce cas particulier est celui de la loi faible des grands nombres, où $E\left(\overline{X_n}\right)=m$ exactement, et celui de tout estimateur sans biais. Le cas général, avec un biais qui tend vers $0$, sert pour les estimateurs seulement asymptotiquement sans biais. Il faut savoir écrire les deux, mais c'est le second qui est le plus souvent demandé.

Attention enfin : le critère est suffisant, il n'est pas nécessaire. Le contre-exemple de la section précédente le prouve, puisqu'il y avait convergence en probabilité vers $0$ avec une variance tendant vers $+\mathrm{\infty }$. Si les hypothèses du critère ne sont pas vérifiées, on ne peut donc rien conclure, ni dans un sens ni dans l'autre, et il faut revenir à la définition.

Propriétés opératoires

Les propriétés suivantes sont admises par le programme. Leur démonstration ne présente pas de difficulté conceptuelle, mais elle demande des découpages en ${\displaystyle \frac{\epsilon }{2}}$ et des majorations d'événements assez techniques, sans intérêt pour la suite : c'est la raison pour laquelle elles ne sont pas exigibles. En revanche, leur utilisation l'est, et elle est constante.

Le point d est le plus utile des quatre, et c'est aussi celui que l'on oublie le plus souvent. Il autorise à passer une convergence en probabilité à travers n'importe quelle fonction usuelle, à condition de vérifier la continuité au point limite. En pratique, il se décline ainsi :

L'hypothèse $a\mathrm{\ne }0$ dans le point b n'est pas une précaution de style : la fonction inverse n'est pas continue en $0$, et l'énoncé serait faux. C'est exactement ce cas qui se présente lorsqu'on veut estimer le paramètre $\lambda$ d'une loi exponentielle par ${\displaystyle \frac{1}{\overline{X_n}}}$, et l'on prendra soin de dire que la limite ${\displaystyle \frac{1}{\lambda }}$ de $\overline{X_n}$ est non nulle.

Exemples

Loi faible des grands nombres

Tout est désormais en place pour démontrer le premier des deux grands théorèmes du chapitre. Son énoncé donne un contenu mathématique précis à une intuition vieille comme le jeu de dés : en répétant longtemps la même expérience, la moyenne des résultats se stabilise.

Énoncé et démonstration

Démonstration. Vérifions d'abord que $\overline{X_n}$ admet une espérance et une variance, puis calculons-les.

Espérance. Chaque $X_i$ admet une espérance, égale à $m$ puisque toutes les variables ont la même loi. La linéarité de l'espérance, qui ne demande aucune hypothèse d'indépendance, donne

$$E\left(\overline{X_n}\right)={\displaystyle \frac{1}{n}}\sum _{i=1}^{n}E(X_i)={\displaystyle \frac{1}{n}}\times nm=m\mathrm{.}$$

Variance. Chaque $X_i$ admet une variance, égale à ${\sigma }^2$. Les variables étant indépendantes, elles le sont en particulier deux à deux, donc toutes les covariances $\mathrm{C}\mathrm{o}\mathrm{v}(X_i,X_j)$ pour $i\mathrm{\ne }j$ sont nulles et la variance de la somme est la somme des variances. Avec $V(aZ)=a^{2}V(Z)$ appliqué à $a={\displaystyle \frac{1}{n}}$, il vient

$$V\left(\overline{X_n}\right)={\displaystyle \frac{1}{n^2}}V\left(\sum _{i=1}^n{X}_i\right)={\displaystyle \frac{1}{n^2}}\sum _{i=1}^{n}V(X_i)={\displaystyle \frac{n{\sigma }^2}{n^2}}={\displaystyle \frac{{\sigma }^2}{n}}\mathrm{.}$$

Application du critère. L'espérance de $\overline{X_n}$ vaut $m$ pour tout $n$, et sa variance ${\displaystyle \frac{{\sigma }^2}{n}}$ tend vers $0$ quand $n\to +\mathrm{\infty }$, la quantité ${\sigma }^2$ étant une constante. Le critère de convergence en probabilité s'applique donc, et l'on conclut $\overline{X_n}\underset{n\to +\mathrm{\infty }}{\overset{\mathcal{P}}{\to }}m$.

Version détaillée, si l'on veut refaire le critère. Soit $\epsilon >0$. La variable $\overline{X_n}$ admet une variance, donc l'inégalité de Bienaymé-Tchebychev s'applique et donne

$$0⩽P(\mid \overline{X_n}-m\mid ⩾\epsilon )⩽{\displaystyle \frac{V\left(\overline{X_n}\right)}{{\epsilon }^2}}={\displaystyle \frac{{\sigma }^2}{n{\epsilon }^2}}\mathrm{.}$$

À $\epsilon$ et ${\sigma }^2$ fixés, le majorant tend vers $0$, et le théorème d'encadrement conclut. $\mathrm{\square }$

Cette démonstration est exigible, et elle est régulièrement demandée aux concours. Elle tient en trois lignes de calcul et une application d'inégalité, à condition de ne rien sauter : la linéarité pour l'espérance, l'indépendance pour la variance, l'existence de la variance avant d'invoquer Bienaymé-Tchebychev.

Un point de vigilance sur les hypothèses. L'indépendance sert uniquement dans le calcul de la variance, et l'indépendance deux à deux y suffit. L'hypothèse « même loi » sert deux fois : pour écrire $E(X_i)=m$ et $V(X_i)={\sigma }^2$ sans indice. Sans elle, l'énoncé se généralise, mais l'espérance limite n'a plus de raison d'exister.

Le cas de Bernoulli, ou la justification de l'intuition fréquentiste

Démonstration. Les variables $X_i$ sont indépendantes, de même loi $\mathcal{B}(p)$, d'espérance $E(X_i)=p$ et de variance $V(X_i)=p(1-p)$, toutes deux existantes puisque le support est fini. La loi faible des grands nombres s'applique donc directement avec $m=p$ et ${\sigma }^2=p(1-p)$. On peut au passage préciser la majoration obtenue :

$$P(\mid F_n-p\mid ⩾\epsilon )⩽{\displaystyle \frac{p(1-p)}{n{\epsilon }^2}}⩽{\displaystyle \frac{1}{4n{\epsilon }^2}},$$

la dernière inégalité utilisant $p(1-p)⩽{\displaystyle \frac{1}{4}}$, que l'on démontrera dans la partie 7. $\mathrm{\square }$

Ce résultat est la justification mathématique de l'interprétation fréquentiste d'une probabilité. Depuis le lycée, on dit qu'une probabilité est « la fréquence obtenue à la longue », et l'on s'en sert pour estimer $p$ en répétant l'expérience. Cette phrase n'est pas une définition : la probabilité est définie axiomatiquement, et la convergence de la fréquence est un théorème, démontré à partir des axiomes. L'ordre logique est exactement l'inverse de celui que suggère l'intuition, et c'est un point que les jurys apprécient de voir mentionné.

La figure montre, pour une pièce équilibrée, l'évolution de la fréquence de pile $F_n$ au fil de $500$ lancers. Trois lectures s'imposent. D'abord, les premières valeurs sont erratiques : après cinq lancers, la fréquence peut valoir $\mathrm{0,2}$ comme $\mathrm{0,8}$, et cela ne contredit rien. Ensuite, la courbe se resserre progressivement autour de $\mathrm{0,5}$, et le resserrement est de plus en plus lent : il faut multiplier $n$ par quatre pour diviser l'amplitude par deux, ce que le théorème limite central expliquera. Enfin, et c'est le point le plus important, la courbe ne se stabilise jamais définitivement : elle continue d'osciller, simplement de moins en moins. C'est précisément ce que dit la convergence en probabilité, et c'est pourquoi elle ne prétend pas que $F_n(\omega )$ converge pour chaque suite de lancers.

Un exemple chiffré

Ce que la loi faible des grands nombres ne dit pas

Ce théorème est probablement le plus mal compris de tout le programme, et les malentendus qu'il suscite sont assez répandus pour avoir un nom. Il vaut la peine de les écarter explicitement.

Elle ne dit pas qu'il y a compensation. Après une longue série de faces, la loi faible des grands nombres n'affirme pas que les piles vont devenir plus fréquents pour « rattraper le retard ». Les lancers sont indépendants : le passé n'a aucune influence sur l'avenir, et la pièce n'a aucune mémoire des faces déjà sortis. Ce qui se produit est tout autre : l'écart accumulé n'est pas résorbé, il est simplement dilué par la masse des lancers suivants. Si l'on a obtenu $60$ faces sur les $100$ premiers lancers, un déficit de $10$ piles, ce déficit ne s'efface pas ; mais rapporté à $10000$ lancers, il ne pèse plus que $\mathrm{0,001}$ sur la fréquence. La convergence de $F_n$ vers ${\displaystyle \frac{1}{2}}$ ne vient pas d'une force de rappel, elle vient du dénominateur qui grandit.

Elle ne dit rien sur un tirage particulier. L'énoncé porte sur une probabilité, pas sur une trajectoire. Il reste parfaitement possible d'observer une fréquence de $\mathrm{0,7}$ après mille lancers d'une pièce équilibrée : cet événement a une probabilité minuscule, mais elle n'est pas nulle, et la loi faible se contente de dire qu'elle tend vers $0$.

Elle ne donne pas de rang à partir duquel tout est stabilisé. La convergence en probabilité n'exhibe aucun seuil : pour tout $n$, aussi grand soit-il, la probabilité d'un écart important est strictement positive. C'est précisément pourquoi les intervalles de confiance de la dernière partie sont assortis d'un risque $\alpha$ non nul.

Deux remarques pour finir

L'hypothèse de variance finie. Elle ne figure dans l'énoncé que parce que la démonstration passe par Bienaymé-Tchebychev, qui réclame une variance. Le résultat reste vrai sous la seule hypothèse d'existence de l'espérance, mais sa démonstration sort largement du programme. En revanche, si la variable n'a pas d'espérance, la moyenne empirique ne converge vers rien : il ne s'agit donc pas d'une hypothèse purement technique.

La vitesse de convergence. La loi faible des grands nombres ne dit rien de la vitesse, sinon à travers la majoration ${\displaystyle \frac{{\sigma }^2}{n{\epsilon }^2}}$, dont on vient de voir qu'elle est cinq fois trop pessimiste. Il y a pourtant un ordre de grandeur exact, et il est déjà visible dans le calcul de la variance :

$$V\left(\overline{X_n}\right)={\displaystyle \frac{{\sigma }^2}{n}},\text{donc}\sigma \left(\overline{X_n}\right)={\displaystyle \frac{\sigma }{\sqrt{n}}}\mathrm{.}$$

L'écart typique entre $\overline{X_n}$ et $m$ est donc de l'ordre de ${\displaystyle \frac{\sigma }{\sqrt{n}}}$, et non de ${\displaystyle \frac{\sigma }{n}}$. C'est le fameux ordre en ${\displaystyle \frac{1}{\sqrt{n}}}$, qui explique le coût des sondages : diviser l'incertitude par deux exige de multiplier la taille de l'échantillon par quatre. Le théorème limite central est l'énoncé qui transforme cet ordre de grandeur en une loi précise.

Convergence en loi

La convergence en probabilité compare $X_n$ et $X$ variable par variable : elle exige que l'écart $\mid X_n-X\mid$ soit petit avec grande probabilité, donc que les deux variables soient définies sur le même espace et prennent des valeurs voisines. C'est une exigence forte, et elle est trop forte pour énoncer le théorème limite central. Ce que celui-ci affirme, c'est que la loi d'une somme centrée réduite ressemble de plus en plus à la loi normale, et non que cette somme se rapproche numériquement d'une variable normale particulière. Il faut donc une seconde notion de convergence, plus faible, qui ne porte que sur les lois.

Définition

Comme la définition ne fait intervenir que les fonctions de répartition, donc que les lois, on se permet d'écrire directement la loi limite : on note par exemple $X_n\stackrel{\mathcal{L}}{\to }\mathcal{N}(0,1)$ pour dire que $(X_n)$ converge en loi vers une variable suivant la loi normale centrée réduite. Peu importe laquelle, puisque seule sa fonction de répartition intervient.

La restriction « en tout point de continuité » surprend toujours au premier abord, et l'on est tenté de la prendre pour une coquetterie de théoricien. Elle est en réalité indispensable : sans elle, les convergences les plus évidentes seraient fausses.

Ce que la convergence en loi signifie, et ce qu'elle ne signifie pas

Il faut insister, car c'est la source d'erreur numéro un du chapitre : c'est la loi qui converge, pas la variable. La convergence en loi ne dit rien sur les valeurs prises par $X_n$ et $X$ pour un même résultat $\omega$ ; elle ne dit même rien sur l'existence d'un tel $\omega$ commun. Les variables $X_n$ peuvent parfaitement être définies sur des espaces probabilisés différents les uns des autres, et $X$ sur un troisième. C'est impossible pour la convergence en probabilité, qui a besoin de calculer $X_n-X$, donc d'un espace commun.

L'énoncé « $X_n\stackrel{\mathcal{L}}{\to }\mathcal{N}(0,1)$ » signifie donc exactement ceci, et rien de plus : pour $n$ grand, les probabilités que l'on calcule sur $X_n$ sont proches de celles que l'on calculerait sur une variable normale centrée réduite. C'est un énoncé sur les tableaux de probabilités, pas sur les variables. Et c'est pourtant suffisant pour tout ce qu'on veut faire, puisqu'en pratique on ne cherche jamais à comparer deux variables : on cherche à calculer une probabilité.

Le cas des variables à valeurs entières

Lorsque toutes les variables en jeu sont à valeurs dans $\mathbb{N}$, la définition par les fonctions de répartition, qui sont alors en escalier, se remplace par un critère beaucoup plus maniable.

Ce résultat est admis. Le sens direct s'obtient sans difficulté en écrivant $P(X_n=k)=F_{X_n}(k+{\displaystyle \frac{1}{2}})-F_{X_n}(k-{\displaystyle \frac{1}{2}})$, ce qui est licite puisque toutes les variables sont à valeurs entières, puis en appliquant la convergence aux deux points $k-{\displaystyle \frac{1}{2}}$ et $k+{\displaystyle \frac{1}{2}}$, qui ne sont pas entiers, donc sont des points de continuité de $F_X$ ; la réciproque, elle, demande d'échanger une limite et une somme infinie, ce qui relève d'arguments hors programme.

Le critère est celui que l'on utilise systématiquement pour une suite de lois discrètes : on écrit $P(X_n=k)$ pour $k$ fixé, on calcule la limite quand $n\to +\mathrm{\infty }$, et l'on reconnaît la loi limite. C'est ainsi que se démontre l'approximation de la loi binomiale par la loi de Poisson.

Propriétés opératoires

Ces deux propriétés sont admises. La première est celle qui sert constamment avec le théorème limite central : elle permet de passer de la variable centrée réduite, dont on connaît la loi limite, à la variable brute dont l'énoncé parle. Elle explique aussi pourquoi l'on prend soin d'écrire $a\mathrm{\ne }0$ : si $a=0$, la variable $a{X}_n+b$ est la constante $b$, et l'énoncé n'a plus d'intérêt.

Lien entre les deux convergences

Ce résultat est admis ; sa démonstration, sans être longue, repose sur un encadrement de $F_{X_n}(x)$ par $F_X(x\pm \epsilon )$ et sur la continuité de $F_X$ au point considéré, ce qui n'est pas exigible. Il confirme la hiérarchie annoncée : la convergence en probabilité est la plus forte des deux, la convergence en loi la plus faible.

Il existe cependant un cas, et un seul, où la réciproque est vraie. C'est le cas qui servira à la fin du chapitre.

L'implication de la droite vers la gauche est le cas particulier du résultat admis précédent. La réciproque, admise elle aussi, s'explique intuitivement : quand la loi limite est concentrée en un seul point, dire que la loi de $X_n$ se rapproche de cette loi, c'est dire que $X_n$ se concentre autour de $a$, ce qui est bien la convergence en probabilité. Ce cas est le seul où les deux notions coïncident.

En résumé, et c'est à retenir sous cette forme :

Deux convergences en loi au programme

Le programme mentionne explicitement deux convergences en loi, en dehors du théorème limite central. Toutes deux se démontrent, et il faut savoir le faire.

Démonstration. Toutes les variables sont à valeurs dans $\mathbb{N}$, ainsi que la loi limite : on peut donc utiliser le critère pour les variables entières, et il suffit de montrer que $P(X_n=k)\to {\mathrm{e}}^{-\lambda }{\displaystyle \frac{{\lambda }^k}{k!}}$ pour tout entier $k$ fixé.

Fixons donc $k\in \mathbb{N}$ et posons $p_n={\displaystyle \frac{\lambda }{n}}$, qui appartient bien à $]0,1[$ dès que $n>\lambda$. Pour tout $n⩾\max (k,\lambda +1)$,

$$P(X_n=k)=\left(\genfrac{}{}{0px}{}{n}{k}\right)p_n^k{(1-p_n)}^{n-k}=\underset{A_n}{\underbrace{{\displaystyle \frac{n(n-1)\cdots (n-k+1)}{k!}}\times {\displaystyle \frac{{\lambda }^k}{n^k}}}}\times \underset{B_n}{\underbrace{{(1-{\displaystyle \frac{\lambda }{n}})}^{n-k}}}\mathrm{.}$$

On étudie séparément les deux facteurs.

Le facteur $A_n$. Le numérateur $n(n-1)\cdots (n-k+1)$ comporte exactement $k$ facteurs, et le dénominateur $n^k$ en comporte $k$ également. En les appariant,

$$A_n={\displaystyle \frac{{\lambda }^k}{k!}}\times {\displaystyle \frac{n}{n}}\times {\displaystyle \frac{n-1}{n}}\times \cdots \times {\displaystyle \frac{n-k+1}{n}}={\displaystyle \frac{{\lambda }^k}{k!}}\prod _{j=0}^{k-1}(1-{\displaystyle \frac{j}{n}})\mathrm{.}$$

Le nombre $k$ est fixé, donc ce produit comporte un nombre fixe de facteurs, chacun tendant vers $1$ quand $n\to +\mathrm{\infty }$. Il tend donc vers $1$, et

$$\underset{n\to +\mathrm{\infty }}{\lim }{A}_n={\displaystyle \frac{{\lambda }^k}{k!}}\mathrm{.}$$

Le facteur $B_n$. Pour $n>\lambda$, on a $1-{\displaystyle \frac{\lambda }{n}}>0$, donc

$$B_n=\exp ((n-k)\ln (1-{\displaystyle \frac{\lambda }{n}}))\mathrm{.}$$

Le développement limité $\ln (1+u)=u+o(u)$ au voisinage de $0$, appliqué à $u=-{\displaystyle \frac{\lambda }{n}}$ qui tend bien vers $0$, donne

$$\ln (1-{\displaystyle \frac{\lambda }{n}})=-{\displaystyle \frac{\lambda }{n}}+o\left({\displaystyle \frac{1}{n}}\right),$$

donc

$$(n-k)\ln (1-{\displaystyle \frac{\lambda }{n}})=-\lambda (1-{\displaystyle \frac{k}{n}})+(n-k)o\left({\displaystyle \frac{1}{n}}\right)\underset{n\to +\mathrm{\infty }}{\overset{}{\to }}-\lambda ,$$

le second terme tendant vers $0$ car ${\displaystyle \frac{n-k}{n}}$ est borné et $k$ est fixé. Par continuité de l'exponentielle,

$$\underset{n\to +\mathrm{\infty }}{\lim }{B}_n={\mathrm{e}}^{-\lambda }\mathrm{.}$$

Conclusion. Le produit des limites donne

$$\underset{n\to +\mathrm{\infty }}{\lim }P(X_n=k)={\displaystyle \frac{{\lambda }^k}{k!}}\times {\mathrm{e}}^{-\lambda }={\mathrm{e}}^{-\lambda }{\displaystyle \frac{{\lambda }^k}{k!}}=P(Y=k)$$

pour une variable $Y\hookrightarrow \mathcal{P}(\lambda )$. Le critère pour les variables entières permet de conclure. $\mathrm{\square }$

Ce théorème est la justification de l'appellation « loi des événements rares » donnée à la loi de Poisson : elle décrit un très grand nombre $n$ d'épreuves indépendantes, chacune de probabilité de succès très faible ${\displaystyle \frac{\lambda }{n}}$, le nombre moyen de succès $n\times {\displaystyle \frac{\lambda }{n}}=\lambda$ restant fixe. On notera que les deux lois ont exactement la même espérance $\lambda$ pour tout $n$, ce qui est le bon réglage du paramètre.

Démonstration. Posons $Y_n={\displaystyle \frac{X_n}{n}}$ et $p_n={\displaystyle \frac{a}{n}}$, qui appartient à $]0,1[$ pour $n>a$. Notons $F$ la fonction de répartition de la loi $\mathcal{E}(a)$ :

$$F(t)=\{\begin{array}{ll}0& \text{si }t<0\\ 1-{\mathrm{e}}^{-at}& \text{si }t⩾0.\end{array}$$

Cette fonction est continue sur $\mathbb{R}$ tout entier, y compris en $0$ où les deux expressions valent $0$. Il faut donc établir la convergence $F_{Y_n}(t)\to F(t)$ en tout réel $t$, sans exception.

Cas $t<0$. La variable $X_n$ est à valeurs dans ${\mathbb{N}}^{\ast }$, donc $Y_n$ est à valeurs strictement positives et $F_{Y_n}(t)=P(Y_n⩽t)=0=F(t)$.

Cas $t⩾0$. On rappelle que pour une loi géométrique de paramètre $p$, on a $P(X>j)=(1-p{)}^j$ pour tout entier $j⩾0$. Comme $X_n$ ne prend que des valeurs entières, l'événement $(X_n⩽nt)$ coïncide avec $(X_n⩽\lfloor nt\rfloor )$, où $\lfloor nt\rfloor$ désigne la partie entière de $nt$. Donc

$$F_{Y_n}(t)=P(X_n⩽nt)=P(X_n⩽\lfloor nt\rfloor )=1-{(1-{\displaystyle \frac{a}{n}})}^{\lfloor nt\rfloor }\mathrm{.}$$

Étudions la limite de $u_n={(1-{\displaystyle \frac{a}{n}})}^{\lfloor nt\rfloor }$. Comme $1-{\displaystyle \frac{a}{n}}>0$ pour $n>a$,

$$u_n=\exp (\lfloor nt\rfloor \ln (1-{\displaystyle \frac{a}{n}}))\mathrm{.}$$

Écrivons $\lfloor nt\rfloor =nt-{\delta }_n$ avec $0⩽{\delta }_n<1$, par définition de la partie entière, et $\ln (1-{\displaystyle \frac{a}{n}})=-{\displaystyle \frac{a}{n}}+{\displaystyle \frac{{\epsilon }_n}{n}}$ avec ${\epsilon }_n\to 0$, d'après le développement limité du logarithme. Alors

$$\lfloor nt\rfloor \ln (1-{\displaystyle \frac{a}{n}})=(nt-{\delta }_n)\left({\displaystyle \frac{-a+{\epsilon }_n}{n}}\right)=t(-a+{\epsilon }_n)-{\displaystyle \frac{{\delta }_n(-a+{\epsilon }_n)}{n}}\mathrm{.}$$

Le premier terme tend vers $-at$, et le second vers $0$ puisque ${\delta }_n$ est borné par $1$ et que le dénominateur tend vers $+\mathrm{\infty }$. Par continuité de l'exponentielle, $u_n\to {\mathrm{e}}^{-at}$, donc

$$\underset{n\to +\mathrm{\infty }}{\lim }{F}_{Y_n}(t)=1-{\mathrm{e}}^{-at}=F(t)\mathrm{.}$$

La convergence a lieu en tout réel, donc en particulier en tout point de continuité de $F$ : la suite $(Y_n)$ converge bien en loi vers la loi $\mathcal{E}(a)$. $\mathrm{\square }$

L'interprétation est éclairante et vaut d'être connue. La loi géométrique est un temps d'attente discret : on compte le nombre d'épreuves jusqu'au premier succès. La loi exponentielle est un temps d'attente continu. Le théorème dit que si l'on découpe le temps en intervalles de plus en plus fins, chacun de durée ${\displaystyle \frac{1}{n}}$, en donnant à chaque intervalle une probabilité de succès ${\displaystyle \frac{a}{n}}$ proportionnelle à sa durée, alors l'instant du premier succès suit à la limite une loi exponentielle. On retrouve d'ailleurs les espérances : $E(X_n)={\displaystyle \frac{n}{a}}$, donc $E(Y_n)={\displaystyle \frac{1}{a}}$, qui est bien l'espérance de la loi $\mathcal{E}(a)$. C'est aussi la raison profonde pour laquelle ces deux lois sont les seules à être sans mémoire, chacune dans son monde.

Théorème limite central

Énoncé

Ce théorème est admis, et il faut savoir pourquoi. Sa démonstration classique repose sur un outil qui transforme les sommes de variables indépendantes en produits, et cet outil est à valeurs complexes ; or les nombres complexes ont été retirés du programme des classes préparatoires ECG en 2021. Aucune démonstration élémentaire n'en est connue dans le cadre du programme. Il faut donc le citer, jamais tenter de le redémontrer.

Deux vérifications s'imposent avant chaque usage, et elles sont attendues dans une copie. D'une part, la variable $S_n^{\ast }$ est bien centrée réduite : par linéarité, $E(S_n)=nm$ donc $E\left(S_n^{\ast }\right)=0$, et par indépendance $V(S_n)=n{\sigma }^2$, donc

$$V\left(S_n^{\ast }\right)={\displaystyle \frac{V(S_n)}{{\sigma }^{2}n}}={\displaystyle \frac{n{\sigma }^2}{n{\sigma }^2}}=1.$$

Le théorème affirme donc que la loi de cette variable, déjà normalisée, converge vers la loi normale, qui est la loi centrée réduite par excellence. D'autre part, l'hypothèse $\sigma >0$ est indispensable : si $\sigma =0$, la variable $X$ est certaine, la division n'a pas de sens, et il n'y a plus rien d'aléatoire.

Les autres hypothèses ne sont pas davantage décoratives, et il faut savoir dire à quoi chacune sert.

L'indépendance. Sans elle, la variance de $S_n$ n'est plus $n{\sigma }^2$, et le facteur de normalisation $\sigma \sqrt{n}$ n'est plus le bon. Le cas extrême est celui où toutes les variables sont égales : $S_n=n{X}_1$, la variable centrée réduite vaut ${\displaystyle \frac{X_1-m}{\sigma }}$ pour tout $n$, elle ne dépend pas de $n$, et sa loi n'a aucune raison d'être normale. Rien ne converge vers rien.

L'identité des lois. Elle permet d'écrire $E(X_i)=m$ et $V(X_i)={\sigma }^2$ sans indice, donc de normaliser par une expression simple. Le théorème se généralise à des variables de lois différentes sous des conditions techniques, mais ces extensions sont hors programme.

L'existence de la variance. C'est l'hypothèse la plus profonde. Il existe des lois d'espérance finie mais de variance infinie, pour lesquelles la somme centrée normalisée par $\sqrt{n}$ ne converge vers rien du tout. Le $\sqrt{n}$ du dénominateur n'est pas un choix arbitraire : c'est exactement l'écart-type de $S_n$, divisé par $\sigma$, et il n'existe que si la variance existe.

Les deux écritures équivalentes

Démonstration. Il suffit de diviser le numérateur et le dénominateur par $n$, qui est non nul :

$${\displaystyle \frac{S_n-nm}{\sigma \sqrt{n}}}={\displaystyle \frac{{\displaystyle \frac{S_n}{n}}-m}{{\displaystyle \frac{\sigma \sqrt{n}}{n}}}}={\displaystyle \frac{\overline{X_n}-m}{{\displaystyle \frac{\sigma }{\sqrt{n}}}}},$$

en utilisant ${\displaystyle \frac{\sqrt{n}}{n}}={\displaystyle \frac{1}{\sqrt{n}}}$. Les deux variables sont égales, donc elles ont la même loi et la même limite en loi. $\mathrm{\square }$

Ces deux écritures sont la même, et il faut savoir passer de l'une à l'autre sans réfléchir. La première est adaptée aux énoncés qui parlent d'un total : un chiffre d'affaires, un nombre de succès, une somme de durées. La seconde est adaptée aux énoncés qui parlent d'une moyenne : une note moyenne, une fréquence, une taille moyenne. La seconde est celle de la statistique, et c'est elle qui servira dans les parties 6 et 7. On remarquera qu'elle s'écrit aussi

$${\displaystyle \frac{\overline{X_n}-E\left(\overline{X_n}\right)}{\sigma \left(\overline{X_n}\right)}},$$

puisque $E\left(\overline{X_n}\right)=m$ et $\sigma \left(\overline{X_n}\right)={\displaystyle \frac{\sigma }{\sqrt{n}}}$ : c'est simplement la variable $\overline{X_n}$ centrée réduite.

Ces deux phrases sont commodes et il faut savoir les écrire, mais elles n'ont aucun sens mathématique précis : le mot « approximativement » n'est défini nulle part, et $S_n$ n'a aucune raison d'être une variable à densité. L'énoncé rigoureux est celui du théorème, c'est-à-dire la convergence en loi de la variable centrée réduite. Dans une copie, on écrit le théorème, on centre et l'on réduit soi-même, et l'on n'utilise l'approximation qu'au moment de lire la table. Le raccourci est admis dans les énoncés d'application, jamais dans une démonstration.

Ce que le théorème limite central apporte de plus que la loi faible

Les deux théorèmes portent sur la même quantité $\overline{X_n}-m$, mais ils en disent des choses de nature différente, et il faut voir clairement laquelle.

La loi faible des grands nombres affirme que $\overline{X_n}-m$ tend vers $0$ en probabilité. C'est un énoncé qualitatif : l'erreur disparaît. Il ne dit ni à quelle vitesse elle disparaît, ni comment elle est répartie autour de $0$ tant qu'elle n'a pas disparu.

Le théorème limite central affirme que la même erreur, multipliée par ${\displaystyle \frac{\sqrt{n}}{\sigma }}$, admet une loi limite non triviale. Il en découle deux informations que la loi faible ne contenait pas.

D'abord, l'ordre de grandeur exact de l'erreur. Puisque ${\displaystyle \frac{\sqrt{n}}{\sigma }}(\overline{X_n}-m)$ se stabilise en loi, l'erreur $\overline{X_n}-m$ est de l'ordre de ${\displaystyle \frac{\sigma }{\sqrt{n}}}$. Ni plus grande, ni plus petite. C'est la fameuse règle de la racine carrée : multiplier la taille de l'échantillon par $100$ ne divise l'erreur que par $10$. Toute l'économie des sondages est contenue dans cette phrase.

Ensuite, la loi de l'erreur. Non seulement l'erreur a la bonne taille, mais on sait comment elle se répartit : selon une loi normale, toujours la même, quelle que soit la loi de départ. C'est cette universalité qui est stupéfiante. Que l'on somme des résultats de dés, des durées de vie exponentielles, des indicatrices de Bernoulli ou des variables dont on ignore tout, la loi limite de la somme centrée réduite est la même. C'est ce qui explique l'omniprésence de la loi normale en pratique : toute grandeur qui résulte de l'addition d'un grand nombre de petites contributions indépendantes lui ressemble.

La figure illustre le phénomène sur le cas le plus simple, celui d'une loi binomiale. Les bâtons représentent la loi de ${\displaystyle \frac{S_n-np}{\sqrt{np(1-p)}}}$ où $S_n\hookrightarrow \mathcal{B}(n,p)$ avec $n=30$ et $p={\displaystyle \frac{1}{4}}$, c'est-à-dire une somme de trente indicatrices de Bernoulli centrée et réduite. La courbe superposée est la densité $\phi$ de la loi $\mathcal{N}(0,1)$. Trois observations. La loi de départ est discrète et pourtant les sommets des bâtons se placent presque exactement sur la courbe : la convergence en loi n'exige nullement que les $X_n$ soient à densité. La loi de départ est dissymétrique, puisque $p\mathrm{\ne }{\displaystyle \frac{1}{2}}$, et pourtant la limite est symétrique : la dissymétrie, encore lisible ici sur les bâtons qui s'arrêtent net à gauche et s'étirent à droite, s'efface quand $n$ grandit. Enfin l'ajustement est excellent au centre et un peu moins bon sur les bords, ce qui est le comportement général du théorème limite central : il décrit bien le corps de la loi, moins bien ses queues extrêmes.

Méthode d'application

Le cas de Bernoulli

Le théorème limite central appliqué à un échantillon de Bernoulli mérite d'être écrit à part : c'est le cas historique, celui par lequel le théorème a été découvert, et c'est aussi celui qui sert dans toute la partie 7.

Démonstration. Une variable de loi $\mathcal{B}(n,p)$ a même loi qu'une somme $X_1+\cdots +X_n$ de $n$ variables indépendantes de loi $\mathcal{B}(p)$. Ces variables ont pour espérance $m=p$ et pour variance $p(1-p)$, donc pour écart-type $\sigma =\sqrt{p(1-p)}$, qui est strictement positif puisque $p\in ]0,1[$. Le théorème limite central s'applique donc et donne

$${\displaystyle \frac{S_n-nm}{\sigma \sqrt{n}}}={\displaystyle \frac{S_n-np}{\sqrt{p(1-p)}\sqrt{n}}}={\displaystyle \frac{S_n-np}{\sqrt{np(1-p)}}}\underset{n\to +\mathrm{\infty }}{\overset{\mathcal{L}}{\to }}\mathcal{N}(0,1)\mathrm{.}$$

La seconde écriture s'obtient en divisant le numérateur et le dénominateur par $n$, comme on l'a fait plus haut pour passer de la somme à la moyenne. $\mathrm{\square }$

C'est cet énoncé qui justifie l'approximation de la loi binomiale par la loi normale, et c'est lui qui fabriquera les intervalles de confiance pour une proportion. On remarquera que l'hypothèse $p\in ]0,1[$ y est essentielle : pour $p=0$ ou $p=1$, la variable est certaine, l'écart-type est nul, et il n'y a rien à normaliser.

Les approximations usuelles

Le théorème limite central et le théorème de convergence de la binomiale vers la loi de Poisson fournissent trois approximations, que les énoncés utilisent constamment.

Ces trois approximations conservent l'espérance, et la deuxième et la troisième conservent aussi la variance : c'est la règle de réglage des paramètres, et c'est ainsi qu'on les retrouve si on les a oubliées.

Il faut dire clairement une chose sur les seuils numériques du tableau : ce sont des usages, pas des théorèmes. Aucun énoncé mathématique ne dit que l'approximation devient valable à partir de $n=30$ ou de $\lambda =15$. Les théorèmes sous-jacents sont des énoncés de limite, donc asymptotiques, et ils ne fournissent aucun seuil. Les valeurs du tableau sont des conventions issues de la pratique, elles varient d'un manuel à l'autre, et un énoncé de concours précise en général celles qu'il retient. Ce qui est exigible, c'est de vérifier explicitement les conditions annoncées par l'énoncé avant d'approcher, et de ne jamais approcher en silence.

On notera aussi la cohérence de l'ensemble : les deux premières lignes ne s'appliquent pas dans les mêmes situations. Si $p$ est petit et $np$ modéré, on va vers Poisson ; si $np$ et $n(1-p)$ sont tous deux confortables, donc si $p$ n'est ni proche de $0$ ni proche de $1$, on va vers la loi normale. Et la troisième ligne referme la boucle, puisque la loi de Poisson elle-même devient normale quand son paramètre grandit.

Enfin, une précision d'honnêteté : le programme ECG ne demande pas la correction de continuité, ce petit décalage d'un demi-entier que certains ouvrages appliquent lorsqu'on approche une loi entière par une loi à densité. On applique donc le théorème limite central tel quel, sans correction, et l'erreur qui en résulte est de l'ordre de quelques millièmes, comme le montre l'exemple ci-dessous.

Trois exemples entièrement traités

Table de la loi normale centrée réduite

La table ci-dessous donne quelques valeurs usuelles de $\mathrm{\Phi }$, à ${10}^{-4}$ près. Pour les arguments négatifs, on utilise la relation de symétrie $\mathrm{\Phi }(-x)=1-\mathrm{\Phi }(x)$, conséquence de la parité de la densité $\phi$.

L'existence et l'unicité de $u_{\alpha }$ viennent de ce que $\mathrm{\Phi }$ est continue et strictement croissante sur $\mathbb{R}$, de limites $0$ en $-\mathrm{\infty }$ et $1$ en $+\mathrm{\infty }$ : le théorème de la bijection s'applique, et $1-{\displaystyle \frac{\alpha }{2}}$ appartient bien à $]{\displaystyle \frac{1}{2}},1[$, donc l'antécédent est positif. L'équivalence entre les deux écritures s'obtient en écrivant

$$P(-u_{\alpha }⩽Z⩽u_{\alpha })=\mathrm{\Phi }\left(u_{\alpha }\right)-\mathrm{\Phi }(-u_{\alpha })=\mathrm{\Phi }\left(u_{\alpha }\right)-(1-\mathrm{\Phi }\left(u_{\alpha }\right))=2\mathrm{\Phi }\left(u_{\alpha }\right)-1.$$

Le réel $u_{\alpha }$ est donc la demi-largeur, en écarts-types, de l'intervalle centré qui contient la variable normale avec la probabilité $1-\alpha$. Voici les valeurs à connaître.

La valeur $u_{\mathrm{0,05}}\approx \mathrm{1,96}$ est de très loin la plus utilisée : c'est celle du niveau de confiance $95\mathrm{\%}$, standard universel des sondages et des contrôles de qualité. Il faut la connaître par cœur, ainsi que $u_{\mathrm{0,01}}\approx \mathrm{2,576}$.

Estimation ponctuelle

Tout ce qui précède relève du calcul des probabilités : la loi est donnée, on en déduit le comportement des observations. On change maintenant de sens. Une loi est connue à un paramètre près, on dispose d'observations, et l'on cherche à remonter au paramètre. C'est la démarche statistique, et elle utilise comme unique carburant les théorèmes des parties précédentes.

Le vocabulaire

Par exemple, « le nombre de clients arrivant en une heure suit une loi de Poisson de paramètre $\lambda$ inconnu » est un modèle statistique, avec $\theta =\lambda$ et $\mathrm{\Theta }=]0,+\mathrm{\infty }[$. « Un électeur pris au hasard vote pour le candidat A avec la probabilité $p$ inconnue » en est un autre, avec $\theta =p$ et $\mathrm{\Theta }=[0,1]$.

La condition sur $g$ n'est pas décorative : c'est elle qui rend la statistique calculable. Une fois les données observées, on doit pouvoir en tirer un nombre, ce qui serait impossible si l'expression contenait $\theta$. Ainsi $\overline{X_n}$ est une statistique, et $\overline{X_n}-\theta$ n'en est pas une.

Cette distinction est la première chose à maîtriser dans toute la partie statistique, et c'est celle que les correcteurs vérifient en priorité.

Un estimateur est une variable aléatoire. Il n'a pas de valeur numérique : il a une loi, une espérance, une variance. C'est un objet du calcul des probabilités, et c'est sur lui que l'on démontre des théorèmes.

Une estimation est un nombre. Elle n'a ni loi, ni espérance, ni variance. C'est le résultat d'un calcul sur des données, et on ne peut rien en démontrer.

Biais d'un estimateur

Le biais mesure une erreur systématique : c'est l'écart entre la valeur moyenne de l'estimateur et la cible. Un estimateur sans biais vise juste en moyenne ; répété sur un très grand nombre d'échantillons, il ne surestime ni ne sous-estime $\theta$. Un estimateur biaisé se trompe toujours dans le même sens, et le biais dit de combien et dans quel sens.

Trois remarques indispensables.

Un estimateur sans biais est asymptotiquement sans biais, puisque son biais est la suite nulle. La réciproque est fausse : le biais peut être non nul à $n$ fixé tout en tendant vers $0$. C'est le cas de la variance empirique $V_n$, dont on va calculer le biais dans un instant.

Sans biais ne veut pas dire précis. Un estimateur peut être sans biais et pourtant fluctuer énormément d'un échantillon à l'autre. L'estimateur $T_n=X_1$, qui ignore les $n-1$ autres observations, est sans biais pour l'espérance $m$, puisque $E(X_1)=m$ ; il est pourtant sans le moindre intérêt, car sa variance vaut ${\sigma }^2$ et ne diminue jamais. Le biais ne dit rien de la dispersion, et c'est pourquoi on l'accompagne toujours de la variance.

On compare deux estimateurs sans biais par leurs variances. Entre deux estimateurs sans biais du même paramètre, on préfère celui dont la variance est la plus petite : il se trompe autant en moyenne, c'est-à-dire pas du tout, mais il se trompe moins souvent beaucoup. C'est le seul critère de comparaison au programme.

Suite d'estimateurs convergente

C'est la qualité minimale que l'on exige d'une méthode d'estimation : en augmentant la taille de l'échantillon, on doit finir par atteindre la cible avec une probabilité arbitrairement proche de $1$. Un estimateur non convergent est un estimateur qui n'apprend rien des données supplémentaires.

Démonstration. L'hypothèse $b_{\theta }(T_n)\to 0$ s'écrit $E(T_n)-\theta \to 0$, c'est-à-dire $E(T_n)\to \theta$. Les deux hypothèses du critère de convergence en probabilité de la partie 2 sont donc vérifiées avec $a=\theta$, et l'on conclut $T_n\underset{n\to +\mathrm{\infty }}{\overset{\mathcal{P}}{\to }}\theta$.

Redonnons la démonstration complète, car elle est régulièrement redemandée. Soit $\epsilon >0$. Comme $b_{\theta }(T_n)\to 0$, il existe un rang $N$ à partir duquel $\mid b_{\theta }(T_n)\mid ⩽{\displaystyle \frac{\epsilon }{2}}$. Pour $n⩾N$, l'inégalité triangulaire donne l'inclusion d'événements

$$(\mid T_n-\theta \mid ⩾\epsilon )\subset (\mid T_n-E(T_n)\mid ⩾{\displaystyle \frac{\epsilon }{2}}),$$

car si $\mid T_n-\theta \mid ⩾\epsilon$ alors

$$\mid T_n-E(T_n)\mid ⩾\mid T_n-\theta \mid -\mid E(T_n)-\theta \mid ⩾\epsilon -{\displaystyle \frac{\epsilon }{2}}={\displaystyle \frac{\epsilon }{2}}\mathrm{.}$$

La croissance de la probabilité puis l'inégalité de Bienaymé-Tchebychev appliquée à $T_n$, qui admet une variance, donnent

$$0⩽P(\mid T_n-\theta \mid ⩾\epsilon )⩽P(\mid T_n-E(T_n)\mid ⩾{\displaystyle \frac{\epsilon }{2}})⩽{\displaystyle \frac{4V(T_n)}{{\epsilon }^2}}\underset{n\to +\mathrm{\infty }}{\overset{}{\to }}0,$$

et le théorème d'encadrement conclut. $\mathrm{\square }$

Comme dans la partie 2, ce critère est suffisant et non nécessaire : une suite d'estimateurs peut converger sans que sa variance tende vers $0$, voire sans admettre de variance. En pratique, tous les estimateurs du programme relèvent du critère, et c'est par lui qu'on conclut.

Estimation de l'espérance par la moyenne empirique

Démonstration. C'est bien un estimateur. La fonction $(x_1,\dots ,x_n)\mapsto {\displaystyle \frac{1}{n}}\sum x_i$ ne fait intervenir aucun paramètre inconnu : $\overline{X_n}$ est donc une statistique, calculable à partir des seules données.

Sans biais. Par linéarité de l'espérance, qui ne demande aucune hypothèse,

$$E\left(\overline{X_n}\right)={\displaystyle \frac{1}{n}}\sum _{i=1}^{n}E(X_i)={\displaystyle \frac{1}{n}}\times nm=m,\text{donc}{b}_m\left(\overline{X_n}\right)=m-m=0.$$

Variance. Les variables de l'échantillon sont indépendantes, donc leurs covariances deux à deux sont nulles et la variance de la somme est la somme des variances :

$$V\left(\overline{X_n}\right)={\displaystyle \frac{1}{n^2}}\sum _{i=1}^{n}V(X_i)={\displaystyle \frac{n{\sigma }^2}{n^2}}={\displaystyle \frac{{\sigma }^2}{n}}\mathrm{.}$$

Convergence. L'estimateur est sans biais et sa variance ${\displaystyle \frac{{\sigma }^2}{n}}$ tend vers $0$ : le critère s'applique. La suite $\left(\overline{X_n}\right)$ est donc convergente, ce qui n'est rien d'autre que la loi faible des grands nombres. $\mathrm{\square }$

Ce résultat est le socle de toute la statistique élémentaire : la moyenne des observations est un bon estimateur de l'espérance, sans biais et convergent, et sa précision s'améliore comme ${\displaystyle \frac{1}{\sqrt{n}}}$ puisque son écart-type vaut ${\displaystyle \frac{\sigma }{\sqrt{n}}}$. Il s'applique en particulier au cas de Bernoulli, où $m=p$ : la fréquence empirique $F_n$ est un estimateur sans biais et convergent de la proportion inconnue $p$, de variance ${\displaystyle \frac{p(1-p)}{n}}$.

Estimation de la variance

La question suivante est naturelle : puisque la moyenne empirique estime l'espérance, la « variance empirique » estime-t-elle la variance ? La réponse est presque oui, et le « presque » est instructif.

On rappelle la mise en garde de l'introduction : le symbole $S_n^2$ se lit d'un bloc, il désigne la variance empirique corrigée et non le carré de la somme $S_n$ de la partie 5. Les deux notations ne se rencontrent jamais dans le même calcul, mais elles se ressemblent assez pour mériter cet avertissement.

Démonstration. Elle repose sur une identité algébrique qu'il faut savoir retrouver, et qui n'a rien de probabiliste.

Étape 1 : une identité de décomposition. Montrons que

$$\sum _{i=1}^n{(X_i-\overline{X_n})}^2=\sum _{i=1}^n{(X_i-m)}^2-n{(\overline{X_n}-m)}^2\mathrm{.}$$

On fait apparaître $m$ dans chaque terme du membre de gauche, en écrivant $X_i-\overline{X_n}=(X_i-m)-(\overline{X_n}-m)$, puis on développe le carré :

$$\sum _{i=1}^n{(X_i-\overline{X_n})}^2=\sum _{i=1}^n{(X_i-m)}^2-2(\overline{X_n}-m)\sum _{i=1}^n(X_i-m)+n{(\overline{X_n}-m)}^2,$$

la quantité $\overline{X_n}-m$ ne dépendant pas de l'indice $i$, ce qui permet de la sortir de la somme et donne le facteur $n$ dans le dernier terme. Or

$$\sum _{i=1}^n(X_i-m)=\sum _{i=1}^n{X}_i-nm=n\overline{X_n}-nm=n(\overline{X_n}-m)\mathrm{.}$$

En reportant, le terme du milieu vaut $-2n{(\overline{X_n}-m)}^2$, et il vient

$$\sum _{i=1}^n{(X_i-\overline{X_n})}^2=\sum _{i=1}^n{(X_i-m)}^2-2n{(\overline{X_n}-m)}^2+n{(\overline{X_n}-m)}^2,$$

ce qui est bien l'identité annoncée après réduction des deux derniers termes.

Étape 2 : espérance de chaque morceau. Chaque $X_i$ a la même loi que $X$, d'espérance $m$ et de variance ${\sigma }^2$, donc

$$E\left({(X_i-m)}^2\right)=V(X_i)={\sigma }^2\text{pour tout }i\in [\text{\hspace{0.17em}⁣}[1,n]\text{\hspace{0.17em}⁣}]\mathrm{.}$$

Par ailleurs, on a montré plus haut que $E\left(\overline{X_n}\right)=m$ et $V\left(\overline{X_n}\right)={\displaystyle \frac{{\sigma }^2}{n}}$, donc, par définition de la variance,

$$E\left({(\overline{X_n}-m)}^2\right)=E\left({(\overline{X_n}-E\left(\overline{X_n}\right))}^2\right)=V\left(\overline{X_n}\right)={\displaystyle \frac{{\sigma }^2}{n}}\mathrm{.}$$

C'est ici que se joue tout le calcul : l'écart quadratique moyen de $\overline{X_n}$ à $m$ est $n$ fois plus petit que celui d'une observation isolée.

Étape 3 : conclusion. Toutes les variables en jeu admettent une espérance, donc la linéarité de l'espérance appliquée à l'identité de l'étape 1 donne

$$E\left(\sum _{i=1}^n{(X_i-\overline{X_n})}^2\right)=\sum _{i=1}^n{\sigma }^2-n\times {\displaystyle \frac{{\sigma }^2}{n}}=n{\sigma }^2-{\sigma }^2=(n-1){\sigma }^2\mathrm{.}$$

En divisant par $n$, puis par $n-1$, on obtient

$$E\left(V_n\right)={\displaystyle \frac{(n-1){\sigma }^2}{n}}={\displaystyle \frac{n-1}{n}}{\sigma }^2\text{et}E\left(S_n^2\right)={\displaystyle \frac{(n-1){\sigma }^2}{n-1}}={\sigma }^2\mathrm{.}$$

Le biais de $V_n$ vaut donc ${\displaystyle \frac{n-1}{n}}{\sigma }^2-{\sigma }^2=-{\displaystyle \frac{{\sigma }^2}{n}}$, qui est strictement négatif et tend vers $0$ : l'estimateur $V_n$ sous-estime systématiquement la variance, mais de moins en moins. Le facteur correcteur ${\displaystyle \frac{n}{n-1}}$ appliqué à $V_n$ compense exactement ce défaut. $\mathrm{\square }$

D'où vient le $n-1$ ? L'explication tient en une phrase, et il faut savoir la donner. La quantité ${\displaystyle \sum _{i=1}^n(X_i-c{)}^2}$, vue comme fonction du réel $c$, est minimale pour $c=\overline{X_n}$ : c'est un simple trinôme du second degré en $c$. En mesurant la dispersion autour de la moyenne observée plutôt qu'autour de la vraie espérance $m$, que l'on ignore, on prend donc à coup sûr la valeur la plus petite possible, et l'on sous-estime la dispersion réelle. L'étape 3 chiffre exactement cette sous-estimation : elle vaut un $n$-ième, et diviser par $n-1$ au lieu de $n$ la corrige. On dit aussi que l'on a « consommé un degré de liberté » en estimant $m$ par $\overline{X_n}$.

Ce résultat est admis dans sa généralité, mais son mécanisme se comprend en trois lignes avec les outils du chapitre, et il est bon de le voir. On part de la forme développée de la variance empirique, obtenue en prenant $c=\overline{X_n}$ dans l'identité de König-Huygens empirique :

$$V_n={\displaystyle \frac{1}{n}}\sum _{i=1}^n{X}_i^2-{\left(\overline{X_n}\right)}^2\mathrm{.}$$

La loi faible des grands nombres appliquée à l'échantillon $(X_1^2,\dots ,X_n^2)$, dont la variance existe précisément parce que $X$ admet un moment d'ordre $4$, donne ${\displaystyle \frac{1}{n}}\sum X_i^2\stackrel{\mathcal{P}}{\to }E\left(X^2\right)$. La loi faible appliquée à l'échantillon initial donne $\overline{X_n}\stackrel{\mathcal{P}}{\to }m$, puis la composition par la fonction carré, continue en $m$, donne ${\left(\overline{X_n}\right)}^2\stackrel{\mathcal{P}}{\to }{m}^2$. La propriété de la somme conclut :

$$V_n\underset{n\to +\mathrm{\infty }}{\overset{\mathcal{P}}{\to }}E\left(X^2\right)-m^2={\sigma }^2,$$

par la formule de König-Huygens. Le passage à $S_n^2={\displaystyle \frac{n}{n-1}}{V}_n$ ne change rien, le facteur ${\displaystyle \frac{n}{n-1}}$ tendant vers $1$.

Estimer un paramètre dans les lois usuelles

Dans la plupart des lois usuelles, le paramètre s'exprime simplement en fonction de l'espérance : il suffit alors d'estimer l'espérance par $\overline{X_n}$ et de transporter la relation. Voici les cas au programme.

Deux commentaires sur ce tableau.

Les deux lignes à biais non nul. Lorsque le paramètre est l'inverse de l'espérance, l'estimateur naturel est l'inverse de la moyenne empirique, et il est biaisé : l'espérance d'un inverse n'est pas l'inverse de l'espérance. Pour la loi exponentielle, on montre, en utilisant la loi gamma, que $E\left({\displaystyle \frac{1}{\overline{X_n}}}\right)={\displaystyle \frac{n\lambda }{n-1}}$ pour $n⩾2$, ce qui donne un biais égal à ${\displaystyle \frac{\lambda }{n-1}}$ : il est strictement positif, donc l'estimateur surestime $\lambda$, et il tend vers $0$, donc l'estimateur est asymptotiquement sans biais. La convergence, elle, est immédiate : $\overline{X_n}\stackrel{\mathcal{P}}{\to }{\displaystyle \frac{1}{\lambda }}$ par la loi faible des grands nombres, et la fonction inverse est continue en ${\displaystyle \frac{1}{\lambda }}$, qui est non nul, donc ${\displaystyle \frac{1}{\overline{X_n}}}\stackrel{\mathcal{P}}{\to }\lambda$ par composition.

Le cas de la loi uniforme, ou comment comparer deux estimateurs sans biais. Pour la loi $\mathcal{U}\left([0,\theta ]\right)$, il existe un second estimateur sans biais, construit à partir du maximum $M_n=\max (X_1,\dots ,X_n)$ étudié dans la partie 2. On y a établi $E(M_n)={\displaystyle \frac{n}{n+1}}\theta$, donc

$$T_n={\displaystyle \frac{n+1}{n}}{M}_n\text{v}\acute{\text{e}}\text{rifie}E(T_n)={\displaystyle \frac{n+1}{n}}\times {\displaystyle \frac{n}{n+1}}\theta =\theta :$$

c'est un estimateur sans biais de $\theta$. Comparons-le à $2\overline{X_n}$ par les variances, seul critère au programme. D'une part, la loi uniforme sur $[0,\theta ]$ a pour variance ${\displaystyle \frac{{\theta }^2}{12}}$, donc

$$V\left(2\overline{X_n}\right)=4V\left(\overline{X_n}\right)=4\times {\displaystyle \frac{{\theta }^2}{12n}}={\displaystyle \frac{{\theta }^2}{3n}}\mathrm{.}$$

D'autre part, en reprenant $V(M_n)={\displaystyle \frac{n{\theta }^2}{(n+2)(n+1{)}^2}}$ calculée dans la partie 2,

$$V(T_n)={\left({\displaystyle \frac{n+1}{n}}\right)}^2\times {\displaystyle \frac{n{\theta }^2}{(n+2)(n+1{)}^2}}={\displaystyle \frac{{\theta }^2}{n(n+2)}}\mathrm{.}$$

Le rapport des deux variances vaut

$${\displaystyle \frac{V\left(2\overline{X_n}\right)}{V(T_n)}}={\displaystyle \frac{{\theta }^2}{3n}}\times {\displaystyle \frac{n(n+2)}{{\theta }^2}}={\displaystyle \frac{n+2}{3}},$$

qui dépasse $1$ dès que $n⩾2$ et tend vers $+\mathrm{\infty }$. L'estimateur fondé sur le maximum est donc strictement meilleur dès $n=2$, et son avantage croît sans limite : sa variance décroît en ${\displaystyle \frac{1}{n^2}}$ là où celle de $2\overline{X_n}$ décroît seulement en ${\displaystyle \frac{1}{n}}$. C'est un exemple typique de ce que le programme attend : deux estimateurs sans biais, on calcule leurs variances, on tranche.

La moyenne empirique est le meilleur estimateur linéaire sans biais

On a vu que $\overline{X_n}$ estime l'espérance sans biais. Mais ce n'est pas la seule combinaison des observations qui le fasse : l'estimateur $X_1$ convient aussi, et plus généralement toute moyenne pondérée dont les poids somment à $1$. Le résultat suivant tranche entre tous ces candidats, et il illustre parfaitement la règle « à biais égal, on compare les variances ».

Démonstration. a. Par linéarité de l'espérance, sans aucune hypothèse,

$$E(T)=\sum _{i=1}^n{a}_{i}E(X_i)=m\sum _{i=1}^n{a}_i\mathrm{.}$$

Le biais vaut donc $m({\sum }_i{a}_i-1)$. Il est nul pour toute valeur de $m$ si et seulement si ${\sum }_i{a}_i=1$ : la condition est bien nécessaire, puisque le biais devrait s'annuler en particulier pour $m=1$.

b. Les variables de l'échantillon sont indépendantes, donc les covariances sont nulles et

$$V(T)=\sum _{i=1}^{n}V(a_i{X}_i)=\sum _{i=1}^n{a}_i^{2}V(X_i)={\sigma }^2\sum _{i=1}^n{a}_i^2\mathrm{.}$$

Il reste à minimiser ${\displaystyle \sum _{i=1}^n{a}_i^2}$ sous la contrainte ${\displaystyle \sum _{i=1}^n{a}_i=1}$. Développons la quantité positive suivante, en utilisant la contrainte à la deuxième ligne :

$$\begin{array}{rl}{\displaystyle \sum _{i=1}^n{(a_i-{\displaystyle \frac{1}{n}})}^2}& {\displaystyle =\sum _{i=1}^n{a}_i^2-{\displaystyle \frac{2}{n}}\sum _{i=1}^n{a}_i+n\times {\displaystyle \frac{1}{n^2}}}\\ {\displaystyle }& {\displaystyle =\sum _{i=1}^n{a}_i^2-{\displaystyle \frac{2}{n}}+{\displaystyle \frac{1}{n}}=\sum _{i=1}^n{a}_i^2-{\displaystyle \frac{1}{n}}\mathrm{.}}\end{array}$$

Le membre de gauche est une somme de carrés, donc positif ou nul, d'où

$$\sum _{i=1}^n{a}_i^2⩾{\displaystyle \frac{1}{n}},$$

avec égalité si et seulement si chaque carré est nul, c'est-à-dire si $a_i={\displaystyle \frac{1}{n}}$ pour tout $i$. La variance minimale vaut donc ${\displaystyle \frac{{\sigma }^2}{n}}$, et elle est atteinte uniquement pour la moyenne empirique. $\mathrm{\square }$

Ce résultat justifie l'usage universel de $\overline{X_n}$ : parmi toutes les façons de moyenner les observations sans introduire de biais, c'est celle qui fluctue le moins. Il justifie aussi, a posteriori, le rejet de l'estimateur $X_1$ évoqué plus haut : il correspond aux poids $a_1=1$ et $a_i=0$ pour $i⩾2$, dont la somme des carrés vaut $1$, soit $n$ fois le minimum. On notera que l'indépendance est indispensable au point b et inutile au point a, ce qui est la répartition habituelle des rôles entre espérance et variance.

Deux exemples entièrement traités

Méthode

Estimation par intervalle de confiance

Une estimation ponctuelle donne un nombre, par exemple $\mathrm{0,42}$, et ce nombre a un défaut rédhibitoire : il ne dit rien de sa propre précision. La vraie valeur de $p$ est-elle à $\mathrm{0,001}$ près, ou à $\mathrm{0,1}$ près ? Un sondage sur $10$ personnes et un sondage sur $10000$ personnes peuvent donner la même estimation ponctuelle, et ils ne valent évidemment pas la même chose. L'objet de cette dernière partie est de remplacer le nombre par un intervalle, assorti d'une garantie chiffrée.

Définitions

La différence entre les deux définitions est capitale et elle est facile à énoncer. Un intervalle de confiance non asymptotique offre une garantie valable pour tout $n$, y compris $n=10$. Un intervalle de confiance asymptotique n'offre de garantie qu'à la limite : rien n'est promis à $n$ fixé, et l'on espère seulement que $n$ est assez grand pour que la limite soit une bonne approximation. Les deux méthodes ci-dessous produisent respectivement l'un et l'autre.

La phrase que les correcteurs attendent

Voici le point le plus délicat de tout le chapitre, et celui qui coûte le plus de points. Il faut prendre le temps de bien lire ce qui suit.

Le paramètre $\theta$ est un nombre fixé, inconnu de nous, mais parfaitement déterminé : la proportion d'électeurs favorables au candidat A à un instant donné est ce qu'elle est. Elle n'est pas aléatoire. Ce qui est aléatoire, ce sont les bornes $A_n$ et $B_n$, qui dépendent de l'échantillon tiré : un autre sondage donnerait d'autres bornes.

L'énoncé $P(A_n⩽\theta ⩽B_n)⩾\mathrm{0,95}$ se lit donc ainsi : l'intervalle aléatoire $[A_n,B_n]$ contient le nombre fixe $\theta$ dans au moins $95\mathrm{\%}$ des échantillons possibles. C'est une propriété de la méthode, pas de l'intervalle particulier obtenu un jour donné.

Une fois l'échantillon observé, les bornes deviennent des nombres, par exemple $[\mathrm{0,389};\mathrm{0,451}]$, et il n'y a plus rien d'aléatoire nulle part. Le nombre $\theta$ appartient à cet intervalle, ou bien il ne lui appartient pas ; on ignore lequel des deux cas est réalisé, mais il n'y a plus de probabilité en jeu. Écrire « $\theta$ appartient à $[\mathrm{0,389};\mathrm{0,451}]$ avec la probabilité $\mathrm{0,95}$ » est donc incorrect, et c'est sanctionné.

La formulation attendue est du type : « au niveau de confiance $95\mathrm{\%}$, la proportion inconnue $p$ est estimée dans l'intervalle $[\mathrm{0,389};\mathrm{0,451}]$ », ou, si l'on veut être complet : « cet intervalle a été obtenu par une méthode qui, répétée sur un grand nombre d'échantillons, produit un intervalle contenant la vraie valeur dans $95\mathrm{\%}$ des cas ». La probabilité porte sur la méthode et sur l'échantillonnage, jamais sur le paramètre.

Méthode 1 : intervalle de confiance par Bienaymé-Tchebychev

Cette première méthode est non asymptotique : elle fournit une garantie valable pour toute taille d'échantillon. C'est sa force, et son prix est un intervalle assez large.

Démonstration. Posons $\epsilon =\sqrt{{\displaystyle \frac{v_n}{\alpha }}}>0$. L'estimateur $T_n$ est sans biais, donc $E(T_n)=\theta$, et il admet une variance : l'inégalité de Bienaymé-Tchebychev s'applique autour de $\theta$ et donne

$$P(\mid T_n-\theta \mid ⩾\epsilon )⩽{\displaystyle \frac{V(T_n)}{{\epsilon }^2}}⩽{\displaystyle \frac{v_n}{{\epsilon }^2}}={\displaystyle \frac{v_n}{v_n\mathrm{/}\alpha }}=\alpha \mathrm{.}$$

En passant à l'événement contraire,

$$P(\mid T_n-\theta \mid <\epsilon )⩾1-\alpha \mathrm{.}$$

Or l'événement $\mid T_n-\theta \mid <\epsilon$ équivaut à $T_n-\epsilon <\theta <T_n+\epsilon$, donc il est inclus dans l'événement $T_n-\epsilon ⩽\theta ⩽T_n+\epsilon$. La croissance de la probabilité donne finalement

$$P(T_n-\epsilon ⩽\theta ⩽T_n+\epsilon )⩾1-\alpha ,$$

ce qui est exactement la définition demandée. $\mathrm{\square }$

Le point délicat de cette construction est la majoration de la variance par une quantité connue : si $v_n$ dépendait du paramètre inconnu, les bornes ne seraient pas des statistiques et l'intervalle serait incalculable. Dans le cas d'une proportion, cette majoration est fournie par le lemme suivant.

Démonstration. Pour tout réel $p$,

$${\displaystyle \frac{1}{4}}-p(1-p)={\displaystyle \frac{1}{4}}-p+p^2={(p-{\displaystyle \frac{1}{2}})}^2⩾0,$$

en reconnaissant une identité remarquable. L'inégalité en découle immédiatement, et le cas d'égalité correspond à l'annulation du carré, c'est-à-dire à $p={\displaystyle \frac{1}{2}}$. $\mathrm{\square }$

Démonstration. L'estimateur $F_n$ est sans biais, d'espérance $p$, et sa variance vaut ${\displaystyle \frac{p(1-p)}{n}}$. La majoration précédente donne

$$V(F_n)={\displaystyle \frac{p(1-p)}{n}}⩽{\displaystyle \frac{1}{4n}}=v_n,$$

et cette borne $v_n$ ne dépend que de $n$, donc elle est connue. La construction générale s'applique avec

$$\sqrt{{\displaystyle \frac{v_n}{\alpha }}}=\sqrt{{\displaystyle \frac{1}{4n\alpha }}}={\displaystyle \frac{1}{2\sqrt{n\alpha }}},$$

ce qui donne l'intervalle annoncé. $\mathrm{\square }$

On retiendra la structure du résultat : la demi-largeur vaut ${\displaystyle \frac{1}{2\sqrt{n\alpha }}}$, elle décroît en ${\displaystyle \frac{1}{\sqrt{n}}}$, et elle grandit quand le risque $\alpha$ diminue, ce qui est logique : exiger plus de confiance oblige à élargir l'intervalle.

Méthode 2 : intervalle de confiance asymptotique par le théorème limite central

La seconde méthode exploite l'information supplémentaire fournie par le théorème limite central : non seulement l'erreur est petite, mais on connaît sa loi. Elle donne des intervalles nettement plus courts, au prix d'une garantie seulement asymptotique.

Démonstration. Posons $Z_n={\displaystyle \frac{\overline{X_n}-m}{\sigma \mathrm{/}\sqrt{n}}}$. D'après le théorème limite central, $Z_n\underset{n\to +\mathrm{\infty }}{\overset{\mathcal{L}}{\to }}\mathcal{N}(0,1)$.

Or les inégalités suivantes sont équivalentes, la quantité ${\displaystyle \frac{\sigma }{\sqrt{n}}}$ étant strictement positive :

$$-u_{\alpha }⩽{\displaystyle \frac{\overline{X_n}-m}{\sigma \mathrm{/}\sqrt{n}}}⩽u_{\alpha }⟺-u_{\alpha }{\displaystyle \frac{\sigma }{\sqrt{n}}}⩽\overline{X_n}-m⩽u_{\alpha }{\displaystyle \frac{\sigma }{\sqrt{n}}}⟺\overline{X_n}-u_{\alpha }{\displaystyle \frac{\sigma }{\sqrt{n}}}⩽m⩽\overline{X_n}+u_{\alpha }{\displaystyle \frac{\sigma }{\sqrt{n}}},$$

la dernière équivalence s'obtenant en retranchant $\overline{X_n}$ partout puis en multipliant par $-1$, ce qui inverse les inégalités et échange les deux bornes. Les deux événements extrêmes sont donc égaux, et ils ont la même probabilité :

$$P(\overline{X_n}-u_{\alpha }{\displaystyle \frac{\sigma }{\sqrt{n}}}⩽m⩽\overline{X_n}+u_{\alpha }{\displaystyle \frac{\sigma }{\sqrt{n}}})=P(-u_{\alpha }⩽Z_n⩽u_{\alpha })\mathrm{.}$$

Enfin, la convergence en loi de $(Z_n)$ vers $\mathcal{N}(0,1)$ et la continuité de $\mathrm{\Phi }$ sur $\mathbb{R}$ tout entier, qui garantit que tous les points sont des points de continuité, donnent

$$\underset{n\to +\mathrm{\infty }}{\lim }P(-u_{\alpha }⩽Z_n⩽u_{\alpha })=\mathrm{\Phi }\left(u_{\alpha }\right)-\mathrm{\Phi }(-u_{\alpha })=2\mathrm{\Phi }\left(u_{\alpha }\right)-1=1-\alpha ,$$

par définition de $u_{\alpha }$. La limite existe et vaut exactement $1-\alpha$ : l'intervalle est donc bien un intervalle de confiance asymptotique au niveau $1-\alpha$. $\mathrm{\square }$

La figure donne la lecture géométrique du procédé. Sous la densité $\phi$ de la loi $\mathcal{N}(0,1)$, l'aire totale vaut $1$. On découpe cette aire en trois morceaux : une aire centrale entre $-u_{\alpha }$ et $u_{\alpha }$, égale à $1-\alpha$, et deux queues symétriques de ${\displaystyle \frac{\alpha }{2}}$ chacune. Choisir un niveau de confiance, c'est choisir la taille de l'aire centrale ; le quantile $u_{\alpha }$ est simplement l'abscisse qui la délimite. On voit tout de suite pourquoi les intervalles s'allongent brutalement quand on exige beaucoup de confiance : la densité étant très faible sur les bords, il faut aller chercher loin pour grappiller les derniers pour-cents d'aire. Passer de $95\mathrm{\%}$ à $99\mathrm{\%}$ fait passer $u_{\alpha }$ de $\mathrm{1,96}$ à $\mathrm{2,576}$, soit un intervalle $31\mathrm{\%}$ plus large pour seulement $4$ points de confiance supplémentaires.

Le premier s'obtient en majorant l'écart-type inconnu $\sigma =\sqrt{p(1-p)}$ par ${\displaystyle \frac{1}{2}}$, grâce au lemme $p(1-p)⩽{\displaystyle \frac{1}{4}}$ : élargir l'intervalle ne peut qu'augmenter la probabilité de contenir $p$, donc la garantie est conservée. Le second remplace $\sigma$ par son estimation $\sqrt{F_n(1-F_n)}$ : ce remplacement est admis, il n'est pas une conséquence immédiate du théorème limite central. Le premier est plus simple et toujours valable ; le second est plus court dès que $p$ s'éloigne de ${\displaystyle \frac{1}{2}}$, et c'est celui qu'utilisent les instituts de sondage.

Le cas où l'écart-type est inconnu

Dans la construction générale ci-dessus, l'écart-type $\sigma$ était supposé connu, ce qui est rare : si l'on ignore l'espérance, on ignore en général aussi la variance. Le programme fournit la réponse, sous forme d'un résultat admis.

Ce résultat est admis : sa démonstration combine la convergence en probabilité de $S_n$ vers $\sigma$ avec un théorème de composition entre convergence en loi et convergence en probabilité, qui n'est pas au programme. Intuitivement, il dit qu'un estimateur convergent de $\sigma$ peut prendre la place de $\sigma$ sans changer la loi limite, ce qui est plausible mais pas évident.

Il faut noter que la loi limite reste la loi normale, et que le quantile utilisé reste $u_{\alpha }$ : remplacer $\sigma$ par son estimation ne change ni la loi limite, ni les tables à consulter. C'est cette version qui s'emploie dans la pratique, puisque l'écart-type théorique est presque toujours inconnu. On se gardera en revanche de croire que l'intervalle obtenu est aussi fiable que si $\sigma$ était connu : deux approximations se superposent désormais, celle du théorème limite central et celle du remplacement de $\sigma$, et l'exigence sur la taille de l'échantillon en est renforcée d'autant.

Comparaison chiffrée des deux méthodes

Dimensionner un échantillon

La question inverse est au moins aussi fréquente : combien d'observations faut-il pour obtenir une précision donnée ? On se fixe une demi-largeur maximale, notée $\epsilon$, et un niveau de confiance $1-\alpha$, et l'on résout en $n$.

Ce qu'il faut retenir

Les deux convergences

Les résultats à savoir citer

L'estimation en un tableau

Quel outil pour quelle question

Les erreurs classiques

Erreur 1. Confondre convergence en loi et convergence en probabilité. Ce sont deux notions distinctes, et une seule implication les relie : en probabilité entraîne en loi, jamais l'inverse, sauf si la limite est une constante. Le contre-exemple $X$ uniforme sur $\{-1,1\}$ et $X_n=-X$ doit pouvoir s'écrire de mémoire en quatre lignes. Concrètement, on n'écrit jamais que le théorème limite central donne une convergence en probabilité, et l'on n'écrit jamais que la loi faible des grands nombres donne une loi limite : elle donne une limite constante, ce qui n'a rien à voir.

Erreur 2. Oublier la valeur absolue dans l'inégalité de Bienaymé-Tchebychev. L'inégalité majore $P(\mid X-m\mid ⩾\epsilon )$, jamais $P(X-m⩾\epsilon )$ ni $P(X⩾\epsilon )$. Si l'énoncé demande une majoration unilatérale, il faut passer par l'inclusion $(X-m⩾\epsilon )\subset (\mid X-m\mid ⩾\epsilon )$ et le dire. Sans cette ligne, la majoration est simplement fausse.

Erreur 3. Appliquer l'inégalité de Markov à une variable qui n'est pas positive. L'hypothèse de positivité est utilisée dans la démonstration au moment où l'on retire des termes de la somme, et elle est indispensable. Une variable centrée, une différence, un écart signé ne sont pas positifs. En revanche, leur carré l'est toujours, et c'est exactement l'astuce qui fait passer de Markov à Bienaymé-Tchebychev.

Erreur 4. Écrire « $\theta$ appartient à l'intervalle avec la probabilité $\mathrm{0,95}$ ». Une fois l'échantillon observé, l'intervalle est un intervalle de nombres et $\theta$ est un nombre : il y appartient ou il n'y appartient pas, sans probabilité. La probabilité porte sur l'intervalle aléatoire, avant observation, donc sur la méthode. La formule correcte est « au niveau de confiance $95\mathrm{\%}$, $\theta$ est estimé dans $[a,b]$ ». C'est une phrase, elle s'apprend, et elle rapporte des points chaque année.

Erreur 5. Approcher sans vérifier les conditions. Remplacer une loi binomiale par une loi de Poisson ou par une loi normale suppose des conditions sur $n$, $p$ et $np$, et l'énoncé les rappelle presque toujours. Les écrire et les vérifier prend deux lignes et fait partie de la question. On n'oubliera pas non plus que ces seuils sont des usages et non des théorèmes, et qu'il faut suivre ceux de l'énoncé plutôt que ceux d'un autre manuel.

Erreur 6. Oublier le facteur $\sqrt{n}$ dans le théorème limite central. La variable qui converge en loi est ${\displaystyle \frac{S_n-nm}{\sigma \sqrt{n}}}$, avec un $\sqrt{n}$ au dénominateur, et non ${\displaystyle \frac{S_n-nm}{\sigma n}}$ ni ${\displaystyle \frac{S_n-nm}{\sigma }}$. Le contrôle est immédiat et il faut le faire systématiquement : la variable candidate doit être centrée réduite, donc on vérifie que sa variance vaut $1$. Sous l'autre forme, le dénominateur est ${\displaystyle \frac{\sigma }{\sqrt{n}}}$, avec le $\sqrt{n}$ au numérateur de la fraction complète : c'est l'écart-type de $\overline{X_n}$, pas celui de $X$.

Erreur 7. Confondre $V_n$ et $S_n^2$. La variance empirique $V_n$ divise par $n$ et elle est biaisée ; la variance empirique corrigée $S_n^2$ divise par $n-1$ et elle est sans biais. Le lien est $S_n^2={\displaystyle \frac{n}{n-1}}{V}_n$, et la relation à retenir est $E(V_n)={\displaystyle \frac{n-1}{n}}{\sigma }^2$. On se rappellera aussi que $S_n^2$ n'est pas le carré de la somme $S_n$ : c'est un symbole global, qui désigne une variance.