Probabilités sur un ensemble quelconque

Le chapitre « Probabilités sur un ensemble fini » a posé un cadre complet et cohérent : un univers $\mathrm{\Omega }$ fini, tous les événements possibles, deux axiomes, et pas une seule ligne admise. Ce cadre a un défaut, et il est rédhibitoire : il ne permet pas de modéliser les expériences les plus simples du monde réel, celles qui n'ont pas de fin fixée à l'avance.

Voici l'exemple qui fonde tout le chapitre. On lance une pièce équilibrée autant de fois qu'il le faut, et l'on s'arrête au premier pile obtenu. On note $X$ le rang de ce premier pile. Combien de valeurs $X$ peut-elle prendre ? Elle vaut $1$ si le premier lancer donne pile, $2$ si le premier donne face et le second pile, et rien n'interdit à $X$ de valoir $1000$. L'ensemble des valeurs possibles est donc ${\mathbb{N}}^{\ast }$ tout entier : il est infini. Aucun univers fini ne décrit cette expérience, et la loi de $X$ est une famille infinie de nombres dont il faudra vérifier que la somme vaut $1$, c'est-à-dire qu'il faudra sommer une série.

Cet exemple réserve une seconde surprise, plus profonde. Considérons l'événement $N$ : « on n'obtient jamais pile », c'est-à-dire la suite de lancers qui ne donne que des faces. Cet événement n'est pas impossible : la suite infinie de faces est un résultat parfaitement décrit, elle appartient à l'univers. Pourtant, sa probabilité est nulle, comme on le vérifiera dans ce chapitre, car elle est majorée par ${\left({\displaystyle \frac{1}{2}}\right)}^n$ pour tout entier $n$. Sur un univers fini, « probabilité nulle » et « impossible » sont deux mots pour la même chose. Sur un univers infini, ce sont deux notions distinctes, et cette distinction est l'une des nouveautés conceptuelles du chapitre.

Trois outils nouveaux vont donc apparaître. Le premier est la tribu : sur un univers infini, on ne peut plus prendre pour événements toutes les parties de $\mathrm{\Omega }$, et l'on doit préciser à l'avance la collection des parties que l'on accepte d'appeler des événements. Le deuxième est la série : partout où le chapitre fini écrivait une somme finie, on écrira une somme infinie, et la première question sera toujours celle de la convergence. C'est là que le chapitre « compléments d'analyse » sert : série géométrique et ses séries dérivées, série exponentielle, séries de Riemann, critères de comparaison. Le troisième est le couple de lois infinies au programme, la loi géométrique et la loi de Poisson, qui modélisent respectivement un temps d'attente et un comptage d'événements rares.

La structure du chapitre reprend celle du chapitre fini, en la généralisant point par point : espace probabilisé, conditionnement, indépendance, variables aléatoires, espérance, lois usuelles. Deux blocs sont entièrement nouveaux. Les couples de variables aléatoires permettent enfin d'étudier deux variables ensemble, donc de parler de covariance et de variance d'une somme. Les inégalités de concentration et la loi faible des grands nombres donnent, pour la première fois, un énoncé mathématique précis à l'intuition selon laquelle une fréquence observée se rapproche d'une probabilité.

Un avertissement de méthode pour finir. Dans le cadre général, quelques résultats sont admis par le programme, parce que leur démonstration relève de la théorie de la mesure : le théorème de la limite monotone, la linéarité de l'espérance, le théorème de transfert. Ils sont signalés comme tels à chaque fois. Tout le reste se démontre, et se démontre avec les outils déjà connus : sigma-additivité, systèmes complets, séries. Un résultat admis se cite, il ne se redémontre pas ; un résultat démontré en cours peut être redemandé au concours.

Voici les notations employées dans tout le chapitre.

Univers infinis et tribus

Univers fini ou dénombrable

Autrement dit, un ensemble dénombrable est un ensemble infini dont on peut faire la liste, en s'assurant que tout élément finit par apparaître à un rang fini. C'est exactement ce qui permet de remplacer une somme finie par une série : les éléments sont indexés par $\mathbb{N}$, donc on peut sommer.

Dans tout le chapitre, l'univers $\mathrm{\Omega }$ est fini ou dénombrable, sans autre précision. Cette hypothèse est celle du programme, et elle suffit largement : elle couvre les suites de lancers, les temps d'attente, les comptages, c'est-à-dire toute la matière des concours de première année. Aucune théorie de la dénombrabilité n'est au programme : on ne construit pas de bijection savante, on se contente de reconnaître les ensembles de la liste ci-dessus.

Pourquoi toutes les parties ne peuvent plus être des événements

Sur un univers fini, on avait posé sans hésiter : un événement est une partie de $\mathrm{\Omega }$, et l'ensemble des événements est $\mathcal{P}(\mathrm{\Omega })$. Cette définition ne se prolonge pas telle quelle.

La raison est la suivante, et elle est admise. Dès que l'univers est « gros », par exemple l'ensemble des suites infinies de piles et de faces, on peut démontrer qu'il existe des parties de $\mathrm{\Omega }$ tellement irrégulières qu'aucune façon cohérente de leur attribuer une probabilité n'existe : toute tentative contredit soit la sigma-additivité, soit la normalisation $P(\mathrm{\Omega })=1$. Ces parties pathologiques ne se rencontrent jamais dans un exercice, on ne sait d'ailleurs pas les décrire explicitement, mais leur existence interdit de définir $P$ sur $\mathcal{P}(\mathrm{\Omega })$ tout entier.

La solution retenue par la théorie est simple et pragmatique : on choisit à l'avance la collection des parties que l'on accepte d'appeler des événements, en exigeant seulement que cette collection soit stable par les opérations dont on a besoin pour faire des probabilités. Cette collection s'appelle une tribu.

Deux remarques pour éviter tout malentendu. D'une part, ce problème est invisible en pratique : dans tous les exercices du programme, la tribu est donnée avec l'énoncé, ou bien elle est $\mathcal{P}(\mathrm{\Omega })$ parce que $\mathrm{\Omega }$ est dénombrable, et tous les événements que l'on écrit en sont automatiquement éléments. D'autre part, la théorie des tribus est hors programme : aucune construction savante n'est exigible, ni tribu engendrée par une famille quelconque, ni tribu des boréliens, ni théorie de la mesure. Une tribu se définit, se reconnaît en vérifiant les trois axiomes, et s'utilise. Sur un univers fini, déterminer « la plus petite tribu contenant telle partie » reste un exercice d'entraînement légitime, car il ne demande rien d'autre que d'appliquer les axiomes jusqu'à saturation.

Tribu d'événements

Les trois conditions traduisent exactement les trois façons de fabriquer un nouvel événement à partir d'anciens : « le tout », « le contraire », « au moins un des $A_n$ ». Le point nouveau par rapport au cadre fini est le mot dénombrable dans (T3) : une tribu doit absorber les réunions infinies indexées par $\mathbb{N}$, car c'est ce qu'exige un énoncé comme « on obtient pile un jour ou l'autre ».

Démonstration. a. On a $\mathrm{\Omega }\in \mathcal{A}$ par (T1), donc $\bar{\mathrm{\Omega }}=\mathrm{\varnothing }\in \mathcal{A}$ par (T2).

b. Soient $A_1,\dots ,A_n$ des événements. Posons $A_k=\mathrm{\varnothing }$ pour tout $k>n$ : d'après a, tous ces ensembles sont dans $\mathcal{A}$, et l'on obtient une suite $(A_k{)}_{k\in {\mathbb{N}}^{\ast }}$ d'événements. Sa réunion vaut

$$\bigcup _{k⩾1}{A}_k=A_1\cup \cdots \cup A_n\cup \mathrm{\varnothing }\cup \mathrm{\varnothing }\cup \cdots =A_1\cup \cdots \cup A_n,$$

et elle appartient à $\mathcal{A}$ par (T3). C'est le résultat annoncé. Compléter une famille finie par des ensembles vides est le procédé standard pour déduire le cas fini du cas dénombrable ; on le réutilisera pour la sigma-additivité.

c. Soit $(A_n)$ une suite d'événements. Chaque $\overline{A_n}$ est un événement par (T2), donc leur réunion ${\bigcup }_n\overline{A_n}$ est un événement par (T3), donc le complémentaire de cette réunion est encore un événement par (T2). Or la loi de De Morgan, valable pour une réunion dénombrable, donne

$$\overline{\bigcup _{n\in \mathbb{N}}\stackrel{‾}{A_n}}=\bigcap _{n\in \mathbb{N}}{A}_n\mathrm{.}$$

L'intersection est donc bien dans $\mathcal{A}$.

d. L'intersection finie se traite comme en b, en complétant la famille par des $A_k=\mathrm{\Omega }$, qui ne changent pas l'intersection. Enfin $A\setminus B=A\cap \bar{B}$ est l'intersection de deux événements, donc un événement. $\mathrm{\square }$

Une tribu est donc stable par toutes les opérations ensemblistes usuelles, pourvu qu'on ne les répète qu'un nombre fini ou dénombrable de fois. En pratique, cela signifie que l'on peut écrire sans état d'âme tout événement construit à partir d'événements donnés par des « et », des « ou », des « non », des « au moins un », des « pour tout $n$ ».

Il faut donc retenir ceci : lorsque $\mathrm{\Omega }$ est fini ou dénombrable, on prend toujours $\mathcal{A}=\mathcal{P}(\mathrm{\Omega })$, sauf mention contraire explicite de l'énoncé, et l'on ne vérifie jamais dans un exercice qu'une partie est un événement. La tribu est le prix à payer pour passer à l'infini, et sa définition dit précisément quelles opérations la théorie autorise.

Espace probabilisable, système complet dénombrable d'événements

Le mot est bien choisi : à ce stade, aucune probabilité n'est encore donnée. On a seulement décidé de quoi on aurait le droit de parler. La probabilité viendra dans la section suivante, et le triplet $(\mathrm{\Omega },\mathcal{A},P)$ s'appellera alors un espace probabilisé.

C'est mot pour mot la définition du chapitre fini, à ceci près que la famille peut désormais être infinie. L'interprétation ne change pas : quel que soit le résultat de l'expérience, un et un seul des $A_i$ est réalisé. Le système complet est l'outil qui permet de découper un calcul en une infinité de cas, et c'est le support de la formule des probabilités totales dans sa version dénombrable.

Ce dernier point mérite une convention, car il revient souvent. Certains énoncés appellent encore système complet une famille $(A_i{)}_{i\in I}$ d'événements deux à deux incompatibles dont la réunion est seulement de probabilité $1$, et non égale à $\mathrm{\Omega }$. Toutes les formules du chapitre restent alors valables, parce que l'événement laissé de côté est de probabilité nulle et n'apporte aucune contribution aux sommes. On signalera ce point à chaque fois qu'il servira.

Probabilité sur un espace probabilisable

Définition et premières propriétés

Le seul axiome qui change par rapport au cadre fini est le second : l'additivité pour deux événements devient l'additivité pour une infinité dénombrable d'événements. Cet axiome contient deux affirmations, et il faut les distinguer. La première est une affirmation d'existence : la série converge, donc la somme a un sens. La seconde est une affirmation d'égalité : cette somme vaut la probabilité de la réunion.

Démonstration. a. Appliquons la sigma-additivité à la suite constante $A_n=\mathrm{\varnothing }$ pour tout $n$. Ces événements sont bien deux à deux incompatibles, puisque $\mathrm{\varnothing }\cap \mathrm{\varnothing }=\mathrm{\varnothing }$, et leur réunion vaut $\mathrm{\varnothing }$. L'axiome affirme donc que la série $\sum P(\mathrm{\varnothing })$ converge, et que sa somme vaut $P(\mathrm{\varnothing })$. Or une série dont le terme général est constant égal à $c⩾0$ ne converge que si $c=0$, car sinon ses sommes partielles valent $Nc\to +\mathrm{\infty }$. Donc $P(\mathrm{\varnothing })=0$.

b. Soient $A_1,\dots ,A_n$ deux à deux incompatibles. Posons $A_k=\mathrm{\varnothing }$ pour $k>n$. La suite ainsi obtenue est formée d'événements deux à deux incompatibles, et sa réunion vaut $A_1\cup \cdots \cup A_n$. La sigma-additivité donne

$$P\left(\bigcup _{i=1}^n{A}_i\right)=\sum _{k=1}^{+\mathrm{\infty }}P(A_k)=\sum _{k=1}^{n}P(A_k)+\sum _{k>n}P(\mathrm{\varnothing })=\sum _{k=1}^{n}P(A_k),$$

puisque tous les termes de rang $k>n$ sont nuls d'après a. $\mathrm{\square }$

Une conséquence immédiate mérite d'être notée : tout le chapitre fini reste vrai. Comme l'additivité finie est acquise, les démonstrations du premier semestre se recopient sans changement, et l'on obtient les propriétés suivantes.

Démonstration. a. Les événements $A$ et $\bar{A}$ sont incompatibles et leur réunion vaut $\mathrm{\Omega }$, donc l'additivité finie donne $P(A)+P(\bar{A})=P(\mathrm{\Omega })=1$.

b. Si $A\subset B$, alors $B=A\cup (B\setminus A)$, réunion de deux événements incompatibles, d'où $P(B)=P(A)+P(B\setminus A)$.

c. Avec les notations précédentes, $P(B)-P(A)=P(B\setminus A)⩾0$ puisqu'une probabilité est positive.

d. On décompose $A\cup B=A\cup (B\setminus (A\cap B))$, réunion disjointe, puis $B=(A\cap B)\cup (B\setminus (A\cap B))$, réunion disjointe elle aussi. L'additivité finie donne successivement $P(A\cup B)=P(A)+P(B\setminus (A\cap B))$ et $P(B\setminus (A\cap B))=P(B)-P(A\cap B)$, d'où le résultat en reportant.

e. Le cas de deux événements découle de d, puisque $P(A\cap B)⩾0$. Le cas général s'obtient par une récurrence immédiate sur $n$, en écrivant

$$P(A_1\cup \cdots \cup A_{n+1})⩽P(A_1\cup \cdots \cup A_n)+P(A_{n+1})$$

et en appliquant l'hypothèse de récurrence. $\mathrm{\square }$

Le cadre infini apporte en revanche une propriété nouvelle, qui n'avait aucun sens dans le cadre fini.

Démonstration. L'idée est de rendre les événements disjoints sans changer leur réunion. Posons

$$B_0=A_0,B_n=A_n\setminus (A_0\cup A_1\cup \cdots \cup A_{n-1})\text{pour }n⩾1.$$

Chaque $B_n$ est un événement, comme différence d'un événement et d'une réunion finie d'événements.

Les $B_n$ sont deux à deux incompatibles. Soient $m<n$. Tout élément de $B_n$ n'appartient à aucun des $A_0,\dots ,A_{n-1}$, en particulier il n'appartient pas à $A_m$, donc pas à $B_m$ qui est inclus dans $A_m$. Ainsi $B_m\cap B_n=\mathrm{\varnothing }$.

Les réunions coïncident. L'inclusion ${\bigcup }_n{B}_n\subset {\bigcup }_n{A}_n$ est claire, car $B_n\subset A_n$. Réciproquement, soit $\omega$ appartenant à la réunion des $A_n$ : l'ensemble des indices $n$ tels que $\omega \in A_n$ est une partie non vide de $\mathbb{N}$, elle possède donc un plus petit élément $n_0$. Par minimalité, $\omega$ n'appartient à aucun des $A_0,\dots ,A_{n_0-1}$, donc $\omega \in B_{n_0}$.

Conclusion. La sigma-additivité appliquée aux $B_n$ donne

$$P\left(\bigcup _{n\in \mathbb{N}}{A}_n\right)=P\left(\bigcup _{n\in \mathbb{N}}{B}_n\right)=\sum _{n=0}^{+\mathrm{\infty }}P(B_n)\mathrm{.}$$

Or $B_n\subset A_n$ entraîne $P(B_n)⩽P(A_n)$ par croissance. Les deux séries étant à termes positifs et la première convergeant, la comparaison terme à terme donne l'inégalité annoncée. $\mathrm{\square }$

Événements négligeables et presque sûrs

Sur un univers fini muni d'une probabilité chargeant tous les résultats, un événement de probabilité nulle est nécessairement vide. Cette équivalence tombe dès que l'univers est infini, et c'est le premier fait vraiment nouveau du chapitre.

Ce raisonnement, en trois lignes, est à connaître : pour montrer qu'un événement est négligeable, on le majore par une quantité qui tend vers $0$. Il servira encore pour montrer que le rang du premier succès est presque sûrement fini, ou qu'une marche aléatoire revient presque sûrement à son point de départ.

Deux conséquences pratiques, souvent utilisées sans être écrites.

Démonstration. a. La croissance donne $0⩽P(B)⩽P(A)=0$.

b. Si tous les $P(A_n)$ sont nuls, la sous-additivité dénombrable donne $P\left({\bigcup }_n{A}_n\right)⩽{\sum }_{n}0=0$, donc la réunion est de probabilité nulle.

c. La sous-additivité donne $P(B)⩽P(A\cup B)⩽P(A)+P(B)=P(B)$, la première inégalité venant de $B\subset A\cup B$. Les deux extrémités étant égales, on a l'égalité partout. $\mathrm{\square }$

C'est le point c qui justifie la convention annoncée plus haut sur les systèmes complets : si l'on oublie dans un système complet un événement de probabilité nulle, aucune formule n'est faussée.

Théorème de la limite monotone

Le théorème suivant est admis, conformément au programme : sa démonstration repose sur la sigma-additivité et ne présente pas de difficulté conceptuelle, mais elle n'est pas exigible. C'est l'outil qui permet de passer à la limite dans une probabilité, et il est utilisé constamment.

L'existence des limites n'est pas un hasard : dans le cas croissant, la suite $(P(A_n))$ est croissante par croissance de $P$, et majorée par $1$, donc elle converge d'après le théorème de la limite monotone des suites. Dans le cas décroissant, elle est décroissante et minorée par $0$. Le contenu du théorème est l'identification de la limite.

Démonstration. Posons $C_N={\bigcup }_{n=0}^N{A}_n$. La suite $(C_N)$ est croissante pour l'inclusion, car on ajoute un ensemble à chaque étape, et sa réunion est exactement ${\bigcup }_{n\in \mathbb{N}}{A}_n$ : en effet, un résultat appartient à l'un des $A_n$ si et seulement si il appartient à l'un des $C_N$. Le théorème de la limite monotone appliqué à $(C_N)$ donne la première égalité. La seconde s'obtient de la même manière avec les intersections partielles, qui forment une suite décroissante. $\mathrm{\square }$

Cette conséquence est utilisée dès qu'un événement se décrit par une infinité de conditions : on calcule la probabilité au rang $N$, avec les outils du cadre fini, puis on passe à la limite. C'est le schéma de démonstration le plus fréquent de tout le chapitre.

Une probabilité sur un univers dénombrable est déterminée par les probabilités élémentaires

Démonstration. a. et b. Soit $A$ une partie de $\mathrm{\Omega }$. Les singletons $\{{\omega }_n\}$ pour ${\omega }_n\in A$ sont deux à deux incompatibles, puisque les ${\omega }_n$ sont deux à deux distincts, et leur réunion est $A$. La sigma-additivité donne donc la convergence de la série correspondante et l'égalité annoncée en b. Le point a est le cas particulier $A=\mathrm{\Omega }$, joint à $P(\mathrm{\Omega })=1$ ; la positivité des $p_n$ vient de celle de $P$.

c. Unicité. Elle résulte de b : la donnée des $p_n$ impose la valeur de $P(A)$ pour tout $A$, donc deux probabilités qui coïncident sur les singletons sont égales.

Existence. Pour toute partie $A$ de $\mathrm{\Omega }$, posons $P(A)={\sum }_{n;{\omega }_n\in A}{p}_n$. Cette série est à termes positifs, et ses sommes partielles sont majorées par ${\sum }_{n=0}^{+\mathrm{\infty }}{p}_n=1$ : elle converge donc, et $0⩽P(A)⩽1$. On a $P(\mathrm{\Omega })=1$ par hypothèse. Reste la sigma-additivité : si $(A_k)$ est une suite d'événements deux à deux incompatibles, chaque indice $n$ tel que ${\omega }_n$ appartienne à la réunion contribue à exactement un des $P(A_k)$, et l'égalité s'obtient en regroupant les termes positifs de la série, ce que l'on admet ici. L'application $P$ est donc une probabilité, et $P(\{{\omega }_n\})=p_n$ par construction. $\mathrm{\square }$

En clair : définir une probabilité sur un univers dénombrable, c'est choisir une suite de poids positifs de somme $1$. C'est le mode d'emploi de toute modélisation, et c'est aussi la vérification à faire chaque fois qu'un énoncé propose une famille de nombres et demande si elle définit bien une loi.

Conditionnement et indépendance dans le cas général

Probabilité conditionnelle

La définition est identique à celle du chapitre fini, et l'hypothèse $P(A)\mathrm{\ne }0$ y est tout aussi indispensable. Une nuance mérite cependant d'être signalée dans le cadre général : un événement peut être non vide et de probabilité nulle, et l'on ne peut malgré tout pas conditionner par lui. Conditionner par « on n'obtient jamais pile » n'a aucun sens, bien que cet événement soit réalisable.

Démonstration. Les valeurs sont dans $[0,1]$. Le quotient est positif, et l'inclusion $A\cap B\subset A$ donne $P(A\cap B)⩽P(A)$ par croissance, donc $P_A(B)⩽1$.

Normalisation. $P_A(\mathrm{\Omega })={\displaystyle \frac{P(A\cap \mathrm{\Omega })}{P(A)}}={\displaystyle \frac{P(A)}{P(A)}}=1$.

Sigma-additivité. Soit $(B_n{)}_{n\in \mathbb{N}}$ une suite d'événements deux à deux incompatibles. Les événements $A\cap B_n$ sont alors eux aussi deux à deux incompatibles, car $(A\cap B_m)\cap (A\cap B_n)\subset B_m\cap B_n=\mathrm{\varnothing }$ pour $m\mathrm{\ne }n$. La distributivité donne

$$A\cap \left(\bigcup _{n\in \mathbb{N}}{B}_n\right)=\bigcup _{n\in \mathbb{N}}(A\cap B_n),$$

donc la sigma-additivité de $P$ assure que la série $\sum P(A\cap B_n)$ converge, de somme $P(A\cap {\bigcup }_n{B}_n)$. En divisant par la constante $P(A)>0$, on obtient la convergence de la série $\sum P_A(B_n)$ et l'égalité

$$P_A\left(\bigcup _{n\in \mathbb{N}}{B}_n\right)=\sum _{n=0}^{+\mathrm{\infty }}{P}_A(B_n)\mathrm{.}\mathrm{\square }$$

La portée de ce résultat est considérable, et il faut la mesurer : tout ce que l'on démontre pour une probabilité vaut pour $P_A$. Cela s'applique aux propriétés déjà vues, mais aussi à tout ce qui suit dans le chapitre, y compris le théorème de la limite monotone. On peut donc écrire sans autre justification

$$P_A(\bar{B})=1-P_A(B),P_A(B\cup C)=P_A(B)+P_A(C)-P_A(B\cap C),$$

et l'on rappelle le piège du chapitre fini, toujours d'actualité : le passage au contraire est licite sur l'événement conditionné, jamais sur l'événement conditionnant. L'égalité $P_{\bar{A}}(B)=1-P_A(B)$ est fausse.

Formule des probabilités composées

Démonstration. Commençons par vérifier que l'hypothèse rend tous les conditionnements licites. Pour tout $k\in [\text{\hspace{0.17em}⁣}[1,n-1]\text{\hspace{0.17em}⁣}]$, on a l'inclusion $A_1\cap \cdots \cap A_{n-1}\subset A_1\cap \cdots \cap A_k$, donc par croissance

$$P(A_1\cap \cdots \cap A_k)⩾P(A_1\cap \cdots \cap A_{n-1})>0.$$

Chaque événement conditionnant est donc de probabilité non nulle.

Démontrons la formule par récurrence sur $n⩾2$.

Initialisation. Pour $n=2$, l'hypothèse est $P(A_1)\mathrm{\ne }0$, et la formule s'écrit $P(A_1\cap A_2)=P(A_1)P_{A_1}(A_2)$ : c'est la définition de la probabilité conditionnelle, multipliée par $P(A_1)$.

Hérédité. Soit $n⩾2$. Supposons la formule vraie au rang $n$ pour toute famille d'événements vérifiant l'hypothèse, et donnons-nous $A_1,\dots ,A_{n+1}$ tels que $P(A_1\cap \cdots \cap A_n)\mathrm{\ne }0$. Posons $B=A_1\cap \cdots \cap A_n$. Comme $P(B)\mathrm{\ne }0$, le cas de deux événements donne

$$P(B\cap A_{n+1})=P(B)\times P_B(A_{n+1})\mathrm{.}$$

Par ailleurs $P(A_1\cap \cdots \cap A_{n-1})⩾P(B)>0$, donc l'hypothèse de récurrence s'applique à la famille $A_1,\dots ,A_n$ et fournit

$$P(B)=P(A_1)\times P_{A_1}(A_2)\times \cdots \times P_{A_1\cap \cdots \cap A_{n-1}}(A_n)\mathrm{.}$$

En reportant, et en observant que $P_B(A_{n+1})=P_{A_1\cap \cdots \cap A_n}(A_{n+1})$, on obtient exactement la formule au rang $n+1$.

Conclusion. La formule est vraie pour tout $n⩾2$. $\mathrm{\square }$

C'est la formule des expériences en chaîne : chaque facteur est la probabilité de l'étape suivante, sachant tout ce qui s'est déjà produit. Dans le cadre infini, elle sert avant tout à calculer la probabilité d'une longue succession d'échecs, ce qui est le point de départ de la loi géométrique.

Formule des probabilités totales, version dénombrable

Démonstration. Puisque la réunion des $A_i$ vaut $\mathrm{\Omega }$, la distributivité donne

$$B=B\cap \mathrm{\Omega }=B\cap \left(\bigcup _{i\in I}{A}_i\right)=\bigcup _{i\in I}(B\cap A_i)\mathrm{.}$$

Ces événements sont deux à deux incompatibles : pour $i\mathrm{\ne }j$, on a $(B\cap A_i)\cap (B\cap A_j)\subset A_i\cap A_j=\mathrm{\varnothing }$. L'ensemble $I$ étant fini ou dénombrable, la sigma-additivité s'applique et donne à la fois la convergence de la série et l'égalité annoncée.

Si tous les $A_i$ sont de probabilité non nulle, la formule des probabilités composées donne $P(B\cap A_i)=P(A_i)P_{A_i}(B)$ pour chaque $i$, d'où la seconde écriture. $\mathrm{\square }$

Trois remarques d'usage, toutes utiles en exercice.

La convergence est offerte. On n'a jamais à démontrer que la série ${\sum }_{i}P(A_i)P_{A_i}(B)$ converge, c'est la sigma-additivité qui l'affirme, mais il est attendu qu'on le signale en une phrase du type « la famille $(A_i)$ étant un système complet dénombrable, la formule des probabilités totales s'applique et la série converge ».

Les événements de probabilité nulle ne gênent pas. Si certains $A_i$ vérifient $P(A_i)=0$, la première écriture reste valable telle quelle, car $B\cap A_i\subset A_i$ donne $P(B\cap A_i)=0$ : on se ramène à la seconde écriture en ne conservant que les indices pour lesquels $P(A_i)\mathrm{\ne }0$.

Variante avec une famille non exhaustive. Si une famille $(A_i{)}_{i\in I}$ d'événements deux à deux incompatibles, de probabilités non nulles, vérifie seulement $P\left({\bigcup }_{i\in I}{A}_i\right)=1$, la formule $P(B)={\sum }_{i\in I}P(A_i)P_{A_i}(B)$ reste vraie : en notant $R$ le complémentaire de la réunion, on a $P(R)=0$ donc $P(B\cap R)=0$, et la famille $(R,(A_i{)}_{i\in I})$ est un système complet au sens strict dont le terme en $R$ est nul. C'est exactement la situation du rang du premier succès, où l'événement laissé de côté est « il n'y a jamais de succès ».

Formule de Bayes

Démonstration. Par définition de la probabilité conditionnelle, puis par la formule des probabilités composées appliquée à $A\cap B$ :

$$P_B(A)={\displaystyle \frac{P(A\cap B)}{P(B)}}={\displaystyle \frac{P(A)P_A(B)}{P(B)}}\mathrm{.}$$

Pour la seconde version, on applique la première avec $A=A_j$, puis on remplace le dénominateur $P(B)$ par son expression donnée par la formule des probabilités totales, dont la série converge. $\mathrm{\square }$

Indépendance de deux événements, indépendance mutuelle d'une famille d'événements

Démonstration. Comme $P(A)\mathrm{\ne }0$, on peut diviser par $P(A)$ dans une équivalence :

$$P(A\cap B)=P(A)P(B)⟺{\displaystyle \frac{P(A\cap B)}{P(A)}}=P(B)⟺P_A(B)=P(B)\mathrm{.}\mathrm{\square }$$

Rien ne change par rapport au chapitre fini, et l'on renvoie à celui-ci pour les propriétés suivantes, dont les démonstrations se recopient mot pour mot puisqu'elles n'utilisent que l'additivité finie : deux événements incompatibles de probabilités non nulles ne sont jamais indépendants ; si $A$ et $B$ sont indépendants, alors $\bar{A}$ et $B$, $A$ et $\bar{B}$, $\bar{A}$ et $\bar{B}$ le sont aussi.

Le point à noter est que la condition ne porte que sur les sous-familles finies, même lorsque la famille est infinie : on ne demande rien sur une intersection infinie, et l'on n'aurait d'ailleurs pas de produit infini à lui opposer. C'est la définition qui traduit l'hypothèse de modélisation « les lancers successifs sont indépendants », posée sur une infinité de lancers.

Le contre-exemple de référence a été traité dans le chapitre fini : on lance deux fois une pièce équilibrée, et l'on considère $A$ : « le premier lancer donne pile », $B$ : « le second lancer donne pile », $C$ : « les deux lancers donnent le même résultat ». Ces trois événements sont deux à deux indépendants, de probabilités ${\displaystyle \frac{1}{2}}$ et d'intersections deux à deux de probabilité ${\displaystyle \frac{1}{4}}$, mais

$$P(A\cap B\cap C)={\displaystyle \frac{1}{4}}\mathrm{\ne }{\displaystyle \frac{1}{8}}=P(A)P(B)P(C)\mathrm{.}$$

Il faut donc écrire mutuellement indépendants quand on en a besoin, et ne jamais déduire l'indépendance mutuelle de l'indépendance deux à deux.

C'est ce résultat qui autorise le calcul le plus fréquent du chapitre, celui de la probabilité qu'aucun de plusieurs événements indépendants ne se produise :

$$P(\overline{A_1}\cap \cdots \cap \overline{A_n})=\prod _{i=1}^n(1-P(A_i))\mathrm{.}$$

Variables aléatoires discrètes

Définition et système complet associé

La première condition est celle qui donne son nom à la notion : une variable discrète prend ses valeurs dans un ensemble que l'on peut énumérer, typiquement $\mathbb{N}$, ${\mathbb{N}}^{\ast }$, $[\text{\hspace{0.17em}⁣}[0,n]\text{\hspace{0.17em}⁣}]$ ou $\mathbb{Z}$. Les variables aléatoires à densité, qui prennent leurs valeurs dans un intervalle, relèvent de la seconde année.

La seconde condition est une condition de compatibilité avec la tribu : elle garantit que la question « quelle est la probabilité que $X$ vaille $x$ ? » a un sens. Lorsque $\mathrm{\Omega }$ est fini ou dénombrable et $\mathcal{A}=\mathcal{P}(\mathrm{\Omega })$, cas de tous les exercices, elle est automatiquement vérifiée et on ne la mentionne pas.

Une remarque utile : les ensembles $(X⩽x)$, $(X<x)$, $(X⩾x)$ et $(X>x)$ sont eux aussi des événements. En effet, en notant $X(\mathrm{\Omega })=\{x_k\}$ le support, au plus dénombrable, on a

$$(X⩽x)=\bigcup _{k;x_k⩽x}(X=x_k),$$

réunion au plus dénombrable d'événements, donc un événement d'après l'axiome (T3) ; les autres s'en déduisent par passage au contraire ou par le même argument. On peut donc écrire toutes les probabilités du chapitre sans précaution.

Démonstration. Incompatibilité. Soient $x\mathrm{\ne }y$ deux valeurs de $X$. Si un résultat $\omega$ appartenait à $(X=x)\cap (X=y)$, on aurait $X(\omega )=x$ et $X(\omega )=y$, donc $x=y$ : contradiction. L'intersection est donc vide.

Réunion. Soit $\omega \in \mathrm{\Omega }$. Le réel $X(\omega )$ appartient à $X(\mathrm{\Omega })$ par définition de l'image, donc $\omega$ appartient à l'événement $(X=X(\omega ))$. La réunion vaut donc $\mathrm{\Omega }$.

Caractère au plus dénombrable. C'est l'hypothèse faite sur $X(\mathrm{\Omega })$ dans la définition. $\mathrm{\square }$

Ce système complet est l'outil de travail permanent de toute la seconde moitié du chapitre. C'est lui que l'on invoque dans la formule des probabilités totales dès qu'un conditionnement se fait selon la valeur prise par une variable, et c'est lui qui justifie que la somme des probabilités d'une loi vaut $1$.

Loi d'une variable aléatoire discrète

Démonstration. Les événements $(X=x_k)$ forment un système complet au plus dénombrable, donc la sigma-additivité appliquée à cette famille donne la convergence de la série et

$$\sum _{k}P(X=x_k)=P(\bigcup _k(X=x_k))=P(\mathrm{\Omega })=1.$$

Pour la réciproque, il suffit de prendre pour univers l'ensemble $\mathrm{\Omega }=\{x_k\}$ lui-même, muni de la tribu $\mathcal{P}(\mathrm{\Omega })$ et de la probabilité définie par les poids $p_k$, ce qui est licite d'après la propriété de la section précédente, et de poser $X(\omega )=\omega$. $\mathrm{\square }$

L'égalité ${\sum }_{k}P(X=x_k)=1$ est la vérification obligatoire de tout calcul de loi. Dans le cadre infini, elle est doublement précieuse : elle détecte les erreurs de calcul, et elle oblige à écrire l'argument de convergence de la série, qui est lui-même une partie de la réponse attendue.

Fonction de répartition

Démonstration. a. Soient $x⩽y$. L'inclusion $(X⩽x)\subset (X⩽y)$ est immédiate, donc la croissance de $P$ donne $F_X(x)⩽F_X(y)$.

b. Posons $A_n=(X⩽n)$ pour $n\in \mathbb{N}$. La suite $(A_n)$ est croissante pour l'inclusion et sa réunion vaut $\mathrm{\Omega }$, puisque tout $\omega$ vérifie $X(\omega )⩽n$ dès que $n$ dépasse $X(\omega )$. Le théorème de la limite monotone donne donc $F_X(n)=P(A_n)\to P(\mathrm{\Omega })=1$. Comme $F_X$ est croissante et majorée par $1$, et que la suite extraite $(F_X(n))$ tend vers $1$, la fonction $F_X$ tend vers $1$ en $+\mathrm{\infty }$. On procède de même en $-\mathrm{\infty }$ avec la suite décroissante $B_n=(X⩽-n)$, d'intersection vide, ce qui donne $F_X(-n)\to P(\mathrm{\varnothing })=0$.

c. Les événements $(X⩽a)$ et $(a<X⩽b)$ sont incompatibles et leur réunion vaut $(X⩽b)$, donc l'additivité finie donne $F_X(b)=F_X(a)+P(a<X⩽b)$.

d. L'événement $(X>x)$ est le contraire de $(X⩽x)$. $\mathrm{\square }$

On signale, sans en faire usage dans les calculs, que $F_X$ est également continue à droite en tout point ; ce résultat est admis.

Démonstration. a. Si $n⩽x<n+1$, un entier $k$ vérifie $k⩽x$ si et seulement si $k⩽n$. Donc $(X⩽x)=(X⩽n)$, et l'additivité finie appliquée aux événements incompatibles $(X=0),\dots ,(X=n)$ donne la somme annoncée.

b. Si $x<0$, l'événement $(X⩽x)$ est vide puisque $X$ est à valeurs entières positives.

c. C'est le point c de la propriété précédente avec $a=n-1$ et $b=n$, l'intervalle $]n-1,n]$ ne contenant que l'entier $n$.

d. Comme $X$ est à valeurs entières, $(X>n)=(X⩾n+1)$, et le passage au contraire donne le résultat. $\mathrm{\square }$

Le point d est celui que l'on utilise le plus souvent : pour une variable de temps d'attente, il est presque toujours plus simple de calculer $P(X>n)$ directement, comme probabilité de « les $n$ premières tentatives échouent », puis d'en déduire la fonction de répartition, plutôt que de sommer la loi terme à terme.

Ce résultat est admis. Il est extrêmement commode : pour identifier la loi d'une variable, il suffit de reconnaître sa fonction de répartition, ou même seulement les quantités $P(X>n)$, sans jamais calculer les $P(X=k)$. C'est la méthode standard pour les variables définies comme un maximum ou un minimum.

Variable $Y=g(X)$ et calcul de sa loi

Démonstration. L'ensemble $g(X(\mathrm{\Omega }))$ est l'image d'un ensemble au plus dénombrable, donc il est lui-même au plus dénombrable : la première condition de la définition est vérifiée.

Soit $y\in Y(\mathrm{\Omega })$. Un résultat $\omega$ réalise $(Y=y)$ si et seulement si $g(X(\omega ))=y$, c'est-à-dire si et seulement si $X(\omega )$ appartient à l'ensemble $E_y$ des $x\in X(\mathrm{\Omega })$ tels que $g(x)=y$. Autrement dit,

$$(Y=y)=\bigcup _{x\in E_y}(X=x),$$

réunion au plus dénombrable d'événements deux à deux incompatibles, comme membres du système complet associé à $X$. C'est donc un événement, et la sigma-additivité donne la convergence de la série et la formule annoncée. $\mathrm{\square }$

Le point délicat est le regroupement : si $g$ prend la même valeur en plusieurs points du support, les probabilités correspondantes s'additionnent.

Espérance

Définition et existence

Dans le cadre fini, l'espérance était une somme finie : elle existait toujours. Dans le cadre général, c'est la somme d'une série, et la première question est donc celle de son existence.

Pourquoi exiger la convergence absolue et non la simple convergence ? Parce que l'énumération du support $X(\mathrm{\Omega })$ est arbitraire : rien ne distingue une numérotation d'une autre. Or la somme d'une série convergente mais non absolument convergente dépend de l'ordre dans lequel on additionne ses termes. Exiger la convergence absolue, c'est garantir que $E(X)$ est un nombre attaché à la variable, et non à la façon dont on a rangé ses valeurs.

Démonstration. Si tous les $x_k$ sont positifs, on a $\mid x_k\mid =x_k$, donc les deux séries en jeu sont la même. La positivité de la somme vient de ce que tous les termes sont positifs. $\mathrm{\square }$

C'est le cas le plus fréquent, puisque la quasi-totalité des variables du chapitre sont à valeurs dans $\mathbb{N}$ ou ${\mathbb{N}}^{\ast }$. Une conséquence pratique : pour une variable positive, il n'y a qu'une seule chose à vérifier, la convergence d'une série à termes positifs, ce qui autorise tous les critères de comparaison connus.

Enfin, si $X(\mathrm{\Omega })$ est fini, la somme est finie et $X$ admet toujours une espérance : on retrouve exactement la définition du chapitre fini. La question de l'existence ne se pose donc que pour les variables de support infini.

Théorème de transfert

Ce théorème est admis, conformément au programme. Son intérêt est le même que dans le cadre fini, et il est encore plus grand ici : il permet de calculer $E(g(X))$ sans déterminer la loi de $g(X)$, donc sans avoir à effectuer les regroupements d'antécédents, qui peuvent être inextricables sur un support infini. On l'emploie surtout avec $g(x)=x^2$, pour obtenir $E(X^2)$, et avec $g(x)=x(x-1)$, qui simplifie souvent les calculs faisant intervenir des factorielles.

Linéarité, croissance, positivité, espérance d'une constante

Les points a et c se démontrent immédiatement : la variable certaine a un support à un élément, et une série à termes positifs a une somme positive. Le point b est admis dans le cadre général, car sa démonstration exige de réordonner une famille infinie de termes, ce qui relève de la théorie des familles sommables, hors programme. Le point d s'en déduit : la variable $Y-X$ est positive et admet une espérance par linéarité, donc $E(Y)-E(X)=E(Y-X)⩾0$.

La linéarité s'étend par récurrence immédiate à un nombre fini de variables :

$$E\left(\sum _{i=1}^n{a}_i{X}_i\right)=\sum _{i=1}^n{a}_{i}E(X_i),$$

pourvu que chaque $X_i$ admette une espérance. Comme dans le cadre fini, elle ne réclame aucune hypothèse d'indépendance : c'est ce qui en fait l'outil le plus puissant du chapitre.

Démonstration. La variable ${\mathbf{1}}_A$ prend au plus les deux valeurs $0$ et $1$, donc son support est fini et l'espérance existe. Elle vaut $0\times P(\bar{A})+1\times P(A)=P(A)$. $\mathrm{\square }$

Une formule utile pour les variables à valeurs entières

Démonstration. Posons, pour tout entier $N⩾1$,

$$S_N=\sum _{k=1}^{N}kP(X=k)\text{et}{T}_N=\sum _{n=1}^{N}P(X⩾n)\mathrm{.}$$

Ces deux suites sont croissantes, comme sommes partielles de séries à termes positifs.

Une interversion de sommes finies. Pour tout $k⩾1$, on a $k={\displaystyle \sum _{n=1}^{k}1}$, donc

$$S_N=\sum _{k=1}^N\left(\sum _{n=1}^{k}1\right)P(X=k)=\sum _{k=1}^N\sum _{n=1}^{k}P(X=k)\mathrm{.}$$

Cette somme double, portant sur les couples $(n,k)$ tels que $1⩽n⩽k⩽N$, se réorganise en sommant d'abord sur $n$. Il s'agit d'une somme finie, donc l'interversion est licite sans aucune précaution :

$$S_N=\sum _{n=1}^N\sum _{k=n}^{N}P(X=k)=\sum _{n=1}^{N}P(n⩽X⩽N),$$

la dernière égalité venant de l'additivité finie appliquée aux événements incompatibles $(X=n),\dots ,(X=N)$.

Comparaison des deux suites. Pour $1⩽n⩽N$, l'inclusion $(n⩽X⩽N)\subset (X⩾n)$ donne d'abord

$$S_N⩽T_N\mathrm{.}$$

Plus précisément, l'événement $(X⩾n)$ est la réunion disjointe de $(n⩽X⩽N)$ et de $(X>N)$, donc

$$P(n⩽X⩽N)=P(X⩾n)-P(X>N),$$

et en sommant sur $n\in [\text{\hspace{0.17em}⁣}[1,N]\text{\hspace{0.17em}⁣}]$ :

$$S_N=T_N-NP(X>N)\mathrm{.}$$

Sens direct. Supposons que $X$ admette une espérance, c'est-à-dire que $S_N$ converge vers $E(X)$. Majorons le terme correctif : dans la somme ci-dessous, chaque indice $k$ vérifie $k>N$, on peut donc y remplacer le facteur $N$ par le facteur plus grand $k$, ce qui donne

$$0⩽NP(X>N)=N\sum _{k>N}P(X=k)⩽\sum _{k>N}kP(X=k)=E(X)-S_N\mathrm{.}$$

Le membre de droite est le reste d'une série convergente, il tend donc vers $0$ quand $N\to +\mathrm{\infty }$. Le théorème d'encadrement donne $NP(X>N)\to 0$. En passant à la limite dans l'égalité $T_N=S_N+NP(X>N)$, on obtient

$$\underset{N\to +\mathrm{\infty }}{\lim }{T}_N=E(X)+0=E(X)\mathrm{.}$$

La série $\sum P(X⩾n)$ converge donc, de somme $E(X)$.

Sens réciproque. Supposons que la série $\sum P(X⩾n)$ converge, de somme $T$. Alors $S_N⩽T_N⩽T$ pour tout $N$ : la suite $(S_N)$ est croissante et majorée, donc convergente. La série de l'espérance, à termes positifs, converge : $X$ admet une espérance. $\mathrm{\square }$

Cette formule est un grand classique de concours. Deux avertissements sur son usage. D'abord, elle porte sur $P(X⩾n)$ et non sur $P(X>n)$ : pour une variable à valeurs dans ${\mathbb{N}}^{\ast }$, on a $P(X⩾n)=P(X>n-1)$, ce qui donne la variante

$$E(X)=\sum _{n=0}^{+\mathrm{\infty }}P(X>n)\mathrm{.}$$

Ensuite, elle n'est pas toujours considérée comme du cours : aux concours, on la redémontre le plus souvent, et l'énoncé guide alors par des questions intermédiaires. La démonstration ci-dessus, avec son interversion de sommes finies, est le modèle à reproduire.

Moments, variance, formule de König-Huygens, écart-type, variable centrée réduite

Démonstration. Pour tout réel $x$, l'inégalité $(\mid x\mid -1{)}^2⩾0$ donne $x^2-2\mid x\mid +1⩾0$, c'est-à-dire

$$\mid x\mid ⩽{\displaystyle \frac{1+x^2}{2}}\mathrm{.}$$

En appliquant cette inégalité à $x=x_k$ et en multipliant par $P(X=x_k)⩾0$ :

$$\mid x_k\mid P(X=x_k)⩽{\displaystyle \frac{1}{2}}P(X=x_k)+{\displaystyle \frac{1}{2}}{x}_k^{2}P(X=x_k)\mathrm{.}$$

Les deux séries du membre de droite convergent, la première parce que la somme des probabilités vaut $1$, la seconde par hypothèse. Par comparaison de séries à termes positifs, la série $\sum \mid x_k\mid P(X=x_k)$ converge, donc $X$ admet une espérance. $\mathrm{\square }$

L'existence de $V(X)$ est ainsi liée à une seule condition : $X$ admet un moment d'ordre $2$. C'est ce qu'on écrit dans une copie avant tout calcul de variance. L'existence et les propriétés de la variance dans le cadre général sont admises par le programme, au même titre que la linéarité de l'espérance.

Démonstration. Posons $m=E(X)$, qui existe d'après la propriété précédente. En développant le carré, on obtient l'égalité de variables aléatoires

$$(X-m{)}^2=X^2-2mX+m^2\mathrm{.}$$

Les trois variables du membre de droite admettent une espérance : $X^2$ par hypothèse, $X$ d'après la propriété précédente, et la constante $m^2$ trivialement. La linéarité de l'espérance donne donc

$$V(X)=E(X^2)-2mE(X)+m^2=E(X^2)-2m^2+m^2=E(X^2)-m^2\mathrm{.}$$

La positivité de $V(X)$ vient de ce que $(X-m{)}^2$ est une variable positive. $\mathrm{\square }$

C'est toujours cette formule qu'on utilise en pratique : elle ne réclame que $E(X)$ et $E(X^2)$, ce dernier s'obtenant par transfert. Sur les lois infinies, le calcul de $E(X^2)$ passe presque toujours par $E(X(X-1))$, qui se ramène à une série géométrique dérivée seconde ou à la série exponentielle, puis par

$$E(X^2)=E(X(X-1))+E(X)\mathrm{.}$$

Démonstration. Posons $Y=aX+b$ et $m=E(X)$. La linéarité donne $E(Y)=am+b$, donc

$$Y-E(Y)=aX+b-am-b=a(X-m),$$

puis, en élevant au carré, $(Y-E(Y){)}^2=a^2(X-m{)}^2$. En prenant l'espérance et en utilisant sa linéarité,

$$V(Y)=a^{2}E((X-m{)}^2)=a^{2}V(X)\mathrm{.}$$

Pour l'écart-type, on prend la racine carrée, en se rappelant que $\sqrt{a^2}=\mid a\mid$. $\mathrm{\square }$

Démonstration. Posons $m=E(X)$ et $s=\sigma (X)>0$. La variable $X^{\ast }$ s'écrit $aX+b$ avec $a={\displaystyle \frac{1}{s}}$ et $b=-{\displaystyle \frac{m}{s}}$. La linéarité donne

$$E(X^{\ast })={\displaystyle \frac{E(X)-m}{s}}=0,$$

et la propriété précédente donne

$$V(X^{\ast })={\displaystyle \frac{1}{s^2}}V(X)={\displaystyle \frac{V(X)}{V(X)}}=1.\mathrm{\square }$$

Les deux lois discrètes infinies du programme

Loi géométrique

Démonstration. Notons $S_i$ l'événement « la $i$-ième épreuve est un succès », et $X$ le rang du premier succès. Soit $k\in {\mathbb{N}}^{\ast }$. L'événement $(X=k)$ signifie que les $k-1$ premières épreuves sont des échecs et que la $k$-ième est un succès, c'est-à-dire

$$(X=k)=\overline{S_1}\cap \overline{S_2}\cap \cdots \cap \overline{S_{k-1}}\cap S_k\mathrm{.}$$

Les épreuves étant mutuellement indépendantes, le passage aux contraires conserve l'indépendance mutuelle, donc la probabilité de cette intersection est le produit des probabilités :

$$P(X=k)=\underset{k-1\text{ facteurs}}{\underbrace{(1-p)\times \cdots \times (1-p)}}\times p=p{q}^{k-1}\mathrm{.}$$

Il reste à traiter le cas où aucun succès n'a lieu. L'événement $N$ : « toutes les épreuves sont des échecs » vérifie, pour tout $n$, l'inclusion $N\subset \overline{S_1}\cap \cdots \cap \overline{S_n}$, donc $0⩽P(N)⩽q^n$. Comme $0<q<1$, on a $q^n\to 0$, donc $P(N)=0$ : le premier succès arrive presque sûrement, et la loi ci-dessus décrit bien $X$. $\mathrm{\square }$

Démonstration. La série ${\sum }_{k⩾1}p{q}^{k-1}$ est géométrique de raison $q\in ]0,1[$, donc elle converge et

$$\sum _{k=1}^{+\mathrm{\infty }}p{q}^{k-1}=p\sum _{j=0}^{+\mathrm{\infty }}{q}^j=p\times {\displaystyle \frac{1}{1-q}}={\displaystyle \frac{p}{p}}=1,$$

après le changement d'indice $j=k-1$. $\mathrm{\square }$

Démonstration. Première méthode, par la série. Pour $n\in \mathbb{N}$,

$$P(X>n)=\sum _{k=n+1}^{+\mathrm{\infty }}p{q}^{k-1}=p{q}^n\sum _{j=0}^{+\mathrm{\infty }}{q}^j=p{q}^n\times {\displaystyle \frac{1}{p}}=q^n,$$

après le changement d'indice $j=k-n-1$, la série géométrique étant convergente.

Seconde méthode, par l'interprétation. Dire que le premier succès arrive après le rang $n$, c'est dire que les $n$ premières épreuves sont toutes des échecs, événement de probabilité $q^n$ par indépendance. Cette seconde méthode est la plus rapide et doit devenir un réflexe.

Le passage au contraire donne $P(X⩽n)=1-q^n$. $\mathrm{\square }$

Démonstration. On pose $q=1-p\in ]0,1[$ et l'on utilise les deux séries géométriques dérivées, valables pour $\mid x\mid <1$ :

$$\sum _{k=1}^{+\mathrm{\infty }}k{x}^{k-1}={\displaystyle \frac{1}{(1-x{)}^2}},\sum _{k=2}^{+\mathrm{\infty }}k(k-1)x^{k-2}={\displaystyle \frac{2}{(1-x{)}^3}}\mathrm{.}$$

Existence et calcul de l'espérance. La série ${\sum }_{k⩾1}kp{q}^{k-1}$ est à termes positifs, et elle converge d'après la première série dérivée appliquée en $x=q$. La variable $X$ admet donc une espérance, et

$$E(X)=\sum _{k=1}^{+\mathrm{\infty }}kp{q}^{k-1}=p\sum _{k=1}^{+\mathrm{\infty }}k{q}^{k-1}=p\times {\displaystyle \frac{1}{(1-q{)}^2}}={\displaystyle \frac{p}{p^2}}={\displaystyle \frac{1}{p}}\mathrm{.}$$

Moment d'ordre deux. Le théorème de transfert appliqué à $g(x)=x(x-1)$ donne, le terme d'indice $k=1$ étant nul,

$$E(X(X-1))=\sum _{k=2}^{+\mathrm{\infty }}k(k-1)p{q}^{k-1}=pq\sum _{k=2}^{+\mathrm{\infty }}k(k-1)q^{k-2}=pq\times {\displaystyle \frac{2}{(1-q{)}^3}}={\displaystyle \frac{2pq}{p^3}}={\displaystyle \frac{2q}{p^2}},$$

la série étant à termes positifs et convergente d'après la seconde série dérivée. Par linéarité, $X^2=X(X-1)+X$ admet donc une espérance et

$$E(X^2)={\displaystyle \frac{2q}{p^2}}+{\displaystyle \frac{1}{p}}\mathrm{.}$$

Variance. La formule de König-Huygens donne

$$\begin{array}{rl}{\displaystyle V(X)}& {\displaystyle =E(X^2)-(E(X){)}^2={\displaystyle \frac{2q}{p^2}}+{\displaystyle \frac{1}{p}}-{\displaystyle \frac{1}{p^2}}}\\ {\displaystyle }& {\displaystyle ={\displaystyle \frac{2q+p-1}{p^2}}={\displaystyle \frac{2q-q}{p^2}}={\displaystyle \frac{q}{p^2}},}\end{array}$$

puisque $p-1=-q$. L'écart-type s'obtient en prenant la racine carrée. $\mathrm{\square }$

Ces deux résultats sont à la fois à connaître et à savoir redémontrer : le calcul ci-dessus est demandé très régulièrement aux concours. Le résultat $E(X)={\displaystyle \frac{1}{p}}$ se retient par le bon sens : si un succès survient une fois sur dix, il faut attendre dix épreuves en moyenne.

Démonstration. L'événement $(X>n)$ a pour probabilité $q^n>0$, le conditionnement est donc licite. Comme $n+k⩾n$, on a l'inclusion $(X>n+k)\subset (X>n)$, donc

$$(X>n)\cap (X>n+k)=(X>n+k)\mathrm{.}$$

Il vient

$$P_{(X>n)}(X>n+k)={\displaystyle \frac{P(X>n+k)}{P(X>n)}}={\displaystyle \frac{q^{n+k}}{q^n}}=q^k=P(X>k)\mathrm{.}\mathrm{\square }$$

L'interprétation est frappante et parfaitement contre-intuitive pour beaucoup : le passé n'influence pas l'attente future. Si l'on attend un $6$ au dé et que dix lancers ont déjà échoué, la loi du nombre de lancers restants est exactement la même qu'au départ. Le dé « n'a pas de mémoire », et il n'existe aucune tendance à la compensation. C'est un classique absolu de concours, souvent posé sous la forme réciproque : la loi géométrique est la seule loi à valeurs dans ${\mathbb{N}}^{\ast }$ possédant cette propriété.

Loi de Poisson

Démonstration. La série exponentielle ${\sum }_{k⩾0}{\displaystyle \frac{{\lambda }^k}{k!}}$ converge pour tout réel $\lambda$, de somme $e^{\lambda }$. Donc

$$\sum _{k=0}^{+\mathrm{\infty }}{e}^{-\lambda }{\displaystyle \frac{{\lambda }^k}{k!}}=e^{-\lambda }\sum _{k=0}^{+\mathrm{\infty }}{\displaystyle \frac{{\lambda }^k}{k!}}=e^{-\lambda }\times e^{\lambda }=1.$$

Tous les termes sont de plus positifs, puisque $\lambda >0$. La famille définit donc bien une loi de probabilité. $\mathrm{\square }$

Démonstration. Espérance. La série ${\sum }_{k⩾0}k{e}^{-\lambda }{\displaystyle \frac{{\lambda }^k}{k!}}$ est à termes positifs. Le terme d'indice $k=0$ est nul, et pour $k⩾1$ on a ${\displaystyle \frac{k}{k!}}={\displaystyle \frac{1}{(k-1)!}}$, d'où

$$\sum _{k=1}^{+\mathrm{\infty }}k{e}^{-\lambda }{\displaystyle \frac{{\lambda }^k}{k!}}=e^{-\lambda }\sum _{k=1}^{+\mathrm{\infty }}{\displaystyle \frac{{\lambda }^k}{(k-1)!}}=e^{-\lambda }\lambda \sum _{j=0}^{+\mathrm{\infty }}{\displaystyle \frac{{\lambda }^j}{j!}}=e^{-\lambda }\lambda e^{\lambda }=\lambda ,$$

après le changement d'indice $j=k-1$. La série exponentielle étant convergente, $X$ admet une espérance et $E(X)=\lambda$.

Moment d'ordre deux. Le théorème de transfert appliqué à $g(x)=x(x-1)$ donne, les termes d'indices $k=0$ et $k=1$ étant nuls, et ${\displaystyle \frac{k(k-1)}{k!}}={\displaystyle \frac{1}{(k-2)!}}$ pour $k⩾2$ :

$$E(X(X-1))=e^{-\lambda }\sum _{k=2}^{+\mathrm{\infty }}{\displaystyle \frac{{\lambda }^k}{(k-2)!}}=e^{-\lambda }{\lambda }^2\sum _{j=0}^{+\mathrm{\infty }}{\displaystyle \frac{{\lambda }^j}{j!}}=e^{-\lambda }{\lambda }^2{e}^{\lambda }={\lambda }^2,$$

après le changement d'indice $j=k-2$, la série étant à termes positifs et convergente. Par linéarité,

$$E(X^2)=E(X(X-1))+E(X)={\lambda }^2+\lambda \mathrm{.}$$

Variance. La formule de König-Huygens donne

$$V(X)=E(X^2)-(E(X){)}^2={\lambda }^2+\lambda -{\lambda }^2=\lambda \mathrm{.}\mathrm{\square }$$

La loi de Poisson est ainsi la seule loi usuelle du programme dont l'espérance et la variance coïncident quelle que soit la valeur du paramètre. C'est un moyen mnémotechnique, et c'est aussi un test rapide : si un énoncé fournit une espérance et une variance très différentes, la loi de Poisson n'est pas le bon modèle. Attention toutefois à ne pas retourner l'argument : l'égalité $E(X)=V(X)$ ne caractérise pas la loi de Poisson, car d'autres lois la réalisent pour une valeur particulière du paramètre, comme la loi géométrique $\mathcal{G}\left(\frac{1}{2}\right)$, pour laquelle $E(X)=V(X)=2$.

Cette interprétation sera justifiée en fin de chapitre par le théorème d'approximation de la loi binomiale : la loi de Poisson est ce que devient une loi binomiale quand le nombre d'épreuves devient très grand et la probabilité de succès très petite, le produit restant modéré. Le paramètre $\lambda$ est alors ce produit, c'est-à-dire le nombre moyen de succès.

Une dernière remarque de méthode : dès qu'une loi s'écrit $P(X=k)=a{\displaystyle \frac{{\lambda }^k}{k!}}$ pour $k\in \mathbb{N}$, la condition de somme égale à $1$ impose $a=e^{-\lambda }$ et il s'agit d'une loi de Poisson. Reconnaître la loi dispense alors de tout calcul de série pour l'espérance et la variance.

Tableau récapitulatif des lois usuelles

Les six lois suivantes constituent l'intégralité des lois nommées au programme de première année. Les quatre premières sont finies, les deux dernières sont infinies.

Ce tableau doit être su par cœur, mais surtout redémontrable : les concours demandent régulièrement d'établir l'espérance ou la variance d'une loi usuelle, et une réponse donnée sans démonstration ne rapporte alors aucun point. Pour la loi géométrique, l'outil est la série géométrique dérivée ; pour la loi de Poisson, c'est la série exponentielle.

Un mot sur la reconnaissance d'une loi dans un énoncé. La loi géométrique se reconnaît à trois mots-clés : rang du premier succès, épreuves identiques, épreuves indépendantes en nombre illimité. La loi de Poisson, elle, ne se déduit jamais d'un mécanisme décrit dans l'énoncé : elle est posée comme hypothèse de modélisation, sous la forme « on modélise le nombre d'appels par une loi de Poisson de paramètre $\lambda$ », ou bien elle apparaît comme limite d'une loi binomiale.

Couples de variables aléatoires discrètes

Jusqu'ici, chaque variable a été étudiée seule. Or les questions intéressantes portent presque toujours sur deux variables observées dans la même expérience : la somme de deux gains, le lien entre la taille d'une commande et son délai de livraison, le nombre de clients et le chiffre d'affaires. Cette section met en place le vocabulaire correspondant. Dans tout ce qui suit, $X$ et $Y$ sont deux variables aléatoires discrètes définies sur le même espace probabilisé $(\mathrm{\Omega },\mathcal{A},P)$.

Loi conjointe, lois marginales

La notation $P(X=x,Y=y)$ est une abréviation universelle : la virgule signifie « et », c'est-à-dire une intersection. Il ne faut jamais y lire autre chose.

Démonstration. La famille $((Y=y){)}_{y\in Y(\mathrm{\Omega })}$ est un système complet d'événements, fini ou dénombrable. La formule des probabilités totales appliquée à l'événement $B=(X=x)$ donne la convergence de la série et

$$P(X=x)=\sum _{y\in Y(\mathrm{\Omega })}P((X=x)\cap (Y=y)),$$

ce qui est l'égalité annoncée. On échange les rôles de $X$ et $Y$ pour la seconde. $\mathrm{\square }$

La loi conjointe détermine donc les deux lois marginales. La réciproque est fausse : deux couples peuvent avoir les mêmes marginales et des lois conjointes différentes, comme le montrera l'exemple de la section sur l'indépendance. Autrement dit, connaître séparément le comportement de $X$ et celui de $Y$ ne dit rien de leur comportement conjoint.

Lois conditionnelles

Démonstration. L'application $P_{(Y=y)}$ est une probabilité, et la famille $((X=x){)}_{x\in X(\mathrm{\Omega })}$ est un système complet d'événements. La somme des probabilités d'un système complet, pour n'importe quelle probabilité, vaut $1$. $\mathrm{\square }$

C'est un point de rédaction utile : une loi conditionnelle est une loi, on peut donc lui appliquer tout ce que l'on sait faire sur une loi, en particulier la vérification que la somme vaut $1$. En revanche, on ne parle pas ici d'espérance conditionnelle : cette notion relève de la seconde année. Si un énoncé demande une moyenne « sachant que $Y=y$ », on décrit explicitement la loi conditionnelle obtenue, puis on calcule l'espérance de cette loi comme celle d'une loi ordinaire.

Indépendance de deux variables aléatoires, indépendance mutuelle de $n$ variables

Autrement dit, $X$ et $Y$ sont indépendantes lorsque la loi conjointe est le produit des lois marginales. C'est le seul cas où la connaissance des marginales suffit à reconstituer la loi du couple.

Ce résultat est admis par le programme, et il est utilisé sans cesse : c'est lui qui permet d'affirmer que $X^2$ et $Y^2$ sont indépendantes, ou que $2X+1$ et $-Y$ le sont, dès que $X$ et $Y$ le sont.

Comme pour les événements, l'indépendance mutuelle est strictement plus forte que l'indépendance deux à deux, et elle n'est presque jamais démontrée : elle est posée comme hypothèse de modélisation par des formules telles que « les tirages sont indépendants », « les $X_i$ sont indépendantes et de même loi ». Cette hypothèse doit figurer explicitement dans la rédaction, car c'est elle qui autorise les produits.

Loi d'une somme de deux variables indépendantes

Démonstration. La famille $((X=k){)}_{k\in \mathbb{N}}$ est un système complet d'événements dénombrable. La formule des probabilités totales appliquée à l'événement $(S=n)$ donne

$$P(S=n)=\sum _{k=0}^{+\mathrm{\infty }}P((S=n)\cap (X=k))\mathrm{.}$$

Or, pour un entier $k$ fixé, l'événement $(S=n)\cap (X=k)$ est exactement $(X=k)\cap (Y=n-k)$, puisque $S=X+Y$ vaut $n$ et $X$ vaut $k$ si et seulement si $X$ vaut $k$ et $Y$ vaut $n-k$. Deux cas se présentent. Si $k>n$, alors $n-k<0$, et l'événement $(Y=n-k)$ est impossible car $Y$ est à valeurs positives : le terme est nul. Si $0⩽k⩽n$, le terme vaut $P(X=k,Y=n-k)$. La somme se réduit donc à une somme finie, celle annoncée.

Lorsque $X$ et $Y$ sont indépendantes, chaque terme se factorise en $P(X=k)P(Y=n-k)$, d'où la seconde formule. $\mathrm{\square }$

Deux points de vigilance. D'abord, la somme obtenue est finie, ce qui rend le calcul accessible : c'est une conséquence du fait que les variables sont positives. Pour des variables à valeurs dans $\mathbb{Z}$, la somme serait une série. Ensuite, la seconde formule exige l'indépendance : sans elle, on ne peut pas factoriser, et il faut connaître la loi conjointe.

Démonstration. Posons $q=1-p$ et $S=X+Y$. Le support de $S$ est inclus dans $[\text{\hspace{0.17em}⁣}[0,n+m]\text{\hspace{0.17em}⁣}]$. Soit $s\in [\text{\hspace{0.17em}⁣}[0,n+m]\text{\hspace{0.17em}⁣}]$. La formule de la somme discrète et l'indépendance donnent

$$P(S=s)=\sum _{k=0}^s\left(\genfrac{}{}{0px}{}{n}{k}\right)p^k{q}^{n-k}\times \left(\genfrac{}{}{0px}{}{m}{s-k}\right)p^{s-k}{q}^{m-s+k},$$

avec la convention $\left(\genfrac{}{}{0px}{}{n}{k}\right)=0$ si $k>n$, et $\left(\genfrac{}{}{0px}{}{m}{s-k}\right)=0$ si $s-k>m$, ce qui élimine automatiquement les termes impossibles. Les puissances se regroupent :

$$p^k\times p^{s-k}=p^s,q^{n-k}\times q^{m-s+k}=q^{n+m-s},$$

et ces facteurs ne dépendent plus de $k$ : ils sortent de la somme. Il vient

$$P(S=s)=p^s{q}^{n+m-s}\sum _{k=0}^s\left(\genfrac{}{}{0px}{}{n}{k}\right)\left(\genfrac{}{}{0px}{}{m}{s-k}\right)\mathrm{.}$$

Calcul de la somme de coefficients binomiaux. Pour tout réel $x$, la formule du binôme de Newton donne

$$(1+x{)}^n(1+x{)}^m=\left(\sum _{i=0}^n\left(\genfrac{}{}{0px}{}{n}{i}\right)x^i\right)\left(\sum _{j=0}^m\left(\genfrac{}{}{0px}{}{m}{j}\right)x^j\right)\mathrm{.}$$

Dans le produit de droite, le coefficient de $x^s$ s'obtient en regroupant les couples $(i,j)$ tels que $i+j=s$, c'est-à-dire $i=k$ et $j=s-k$ : ce coefficient vaut ${\sum }_{k=0}^s\left(\genfrac{}{}{0px}{}{n}{k}\right)\left(\genfrac{}{}{0px}{}{m}{s-k}\right)$. Dans le membre de gauche, qui vaut $(1+x{)}^{n+m}$, le coefficient de $x^s$ vaut $\left(\genfrac{}{}{0px}{}{n+m}{s}\right)$. Deux polynômes égaux ayant les mêmes coefficients, on obtient

$$\sum _{k=0}^s\left(\genfrac{}{}{0px}{}{n}{k}\right)\left(\genfrac{}{}{0px}{}{m}{s-k}\right)=\left(\genfrac{}{}{0px}{}{n+m}{s}\right)\mathrm{.}$$

Conclusion. En reportant,

$$P(S=s)=\left(\genfrac{}{}{0px}{}{n+m}{s}\right)p^s{q}^{n+m-s},s\in [\text{\hspace{0.17em}⁣}[0,n+m]\text{\hspace{0.17em}⁣}],$$

ce qui est exactement la loi $\mathcal{B}(n+m,p)$. $\mathrm{\square }$

Le résultat est intuitif : compter les succès de $n$ épreuves puis ceux de $m$ autres épreuves, toutes indépendantes et de même probabilité de succès, revient à compter les succès de $n+m$ épreuves. On peut d'ailleurs contrôler les paramètres par l'espérance : $E(X)+E(Y)=np+mp=(n+m)p$, ce qui est bien l'espérance annoncée.

Démonstration. Posons $S=X+Y$, variable à valeurs dans $\mathbb{N}$. Soit $n\in \mathbb{N}$. La formule de la somme discrète et l'indépendance donnent

$$\begin{array}{rl}{\displaystyle P(S=n)}& {\displaystyle =\sum _{k=0}^{n}P(X=k)P(Y=n-k)=\sum _{k=0}^n{e}^{-\lambda }{\displaystyle \frac{{\lambda }^k}{k!}}\times e^{-\mu }{\displaystyle \frac{{\mu }^{n-k}}{(n-k)!}}}\\ {\displaystyle }& {\displaystyle =e^{-(\lambda +\mu )}\sum _{k=0}^n{\displaystyle \frac{{\lambda }^k{\mu }^{n-k}}{k!(n-k)!}}\mathrm{.}}\end{array}$$

Pour faire apparaître un coefficient binomial, on multiplie et l'on divise par $n!$ :

$${\displaystyle \frac{1}{k!(n-k)!}}={\displaystyle \frac{1}{n!}}\times {\displaystyle \frac{n!}{k!(n-k)!}}={\displaystyle \frac{1}{n!}}\left(\genfrac{}{}{0px}{}{n}{k}\right)\mathrm{.}$$

Il vient

$$P(S=n)={\displaystyle \frac{e^{-(\lambda +\mu )}}{n!}}\sum _{k=0}^n\left(\genfrac{}{}{0px}{}{n}{k}\right){\lambda }^k{\mu }^{n-k}={\displaystyle \frac{e^{-(\lambda +\mu )}}{n!}}(\lambda +\mu {)}^n,$$

par la formule du binôme de Newton. C'est exactement la loi de Poisson de paramètre $\lambda +\mu$. $\mathrm{\square }$

Cette stabilité est l'une des propriétés les plus utilisées de la loi de Poisson, et l'une des plus maltraitées : elle exige l'indépendance. Sans cette hypothèse, la conclusion est fausse, et le contre-exemple est immédiat : si $X\hookrightarrow \mathcal{P}(\lambda )$ et $Y=X$, alors $X+Y=2X$ ne prend que des valeurs paires, donc ne suit certainement pas une loi de Poisson. Concrètement, un standard alimenté par deux lignes indépendantes recevant respectivement $X\hookrightarrow \mathcal{P}(2)$ et $Y\hookrightarrow \mathcal{P}(3)$ appels par minute reçoit un total $S\hookrightarrow \mathcal{P}(5)$, d'espérance et de variance $5$, avec $P(S=0)=e^{-5}\approx \mathrm{0,00674}$.

Espérance d'un produit, covariance

Démonstration dans le cas de supports finis. Supposons $X(\mathrm{\Omega })=\{x_1,\dots ,x_r\}$ et $Y(\mathrm{\Omega })=\{y_1,\dots ,y_s\}$ finis. Le théorème de transfert appliqué au couple, c'est-à-dire la décomposition de $(XY=z)$ selon le système complet des couples de valeurs, donne

$$E(XY)=\sum _{i=1}^r\sum _{j=1}^s{x}_i{y}_{j}P(X=x_i,Y=y_j)\mathrm{.}$$

L'indépendance permet de factoriser chaque probabilité, puis les deux sommes finies se séparent :

$$E(XY)=\sum _{i=1}^r\sum _{j=1}^s{x}_i{y}_{j}P(X=x_i)P(Y=y_j)=(\sum _{i=1}^r{x}_{i}P(X=x_i))(\sum _{j=1}^s{y}_{j}P(Y=y_j))=E(X)E(Y)\mathrm{.}$$

Dans le cas de supports infinis, le même calcul demande de réordonner une somme double infinie, ce qui relève de la théorie des familles sommables : le résultat est alors admis. $\mathrm{\square }$

Attention : cette égalité est fausse en général sans hypothèse d'indépendance. Elle n'est pas une propriété de l'espérance, contrairement à la linéarité qui, elle, ne demande rien.

Démonstration. Posons $m=E(X)$ et $m^{\mathrm{\prime }}=E(Y)$, deux constantes. En développant le produit, on obtient l'égalité de variables aléatoires

$$(X-m)(Y-m^{\mathrm{\prime }})=XY-m^{\mathrm{\prime }}X-mY+m{m}^{\mathrm{\prime }}\mathrm{.}$$

Chacune des quatre variables du membre de droite admet une espérance, donc la linéarité de l'espérance donne

$$\mathrm{C}\mathrm{o}\mathrm{v}(X,Y)=E(XY)-m^{\mathrm{\prime }}E(X)-mE(Y)+m{m}^{\mathrm{\prime }}=E(XY)-m{m}^{\mathrm{\prime }}-m{m}^{\mathrm{\prime }}+m{m}^{\mathrm{\prime }}=E(XY)-m{m}^{\mathrm{\prime }}\mathrm{.}\mathrm{\square }$$

Démonstration. a. Le produit de deux réels est commutatif. b. C'est la définition de la variance : $\mathrm{C}\mathrm{o}\mathrm{v}(X,X)=E((X-E(X){)}^2)=V(X)$.

c. On utilise la formule de König-Huygens et la linéarité de l'espérance :

$$\begin{array}{rl}{\displaystyle \mathrm{C}\mathrm{o}\mathrm{v}(aX+bY,Z)}& {\displaystyle =E((aX+bY)Z)-E(aX+bY)E(Z)}\\ {\displaystyle }& {\displaystyle =aE(XZ)+bE(YZ)-(aE(X)+bE(Y))E(Z)}\\ {\displaystyle }& {\displaystyle =a(E(XZ)-E(X)E(Z))+b(E(YZ)-E(Y)E(Z)),}\end{array}$$

ce qui est le résultat annoncé. d. Si $Y$ est la constante $b$, alors $Y-E(Y)$ est la variable nulle, donc le produit est nul et son espérance aussi. e. Si $X$ et $Y$ sont indépendantes, alors $E(XY)=E(X)E(Y)$, donc König-Huygens donne $\mathrm{C}\mathrm{o}\mathrm{v}(X,Y)=0$. $\mathrm{\square }$

Variance d'une somme, coefficient de corrélation linéaire

Démonstration. Posons $m=E(X)$ et $m^{\mathrm{\prime }}=E(Y)$. Par linéarité, $E(X+Y)=m+m^{\mathrm{\prime }}$, donc

$$((X+Y)-(m+m^{\mathrm{\prime }}){)}^2=((X-m)+(Y-m^{\mathrm{\prime }}){)}^2=(X-m{)}^2+(Y-m^{\mathrm{\prime }}{)}^2+2(X-m)(Y-m^{\mathrm{\prime }})\mathrm{.}$$

En prenant l'espérance et en utilisant sa linéarité, chacun des trois termes ayant une espérance, on obtient

$$V(X+Y)=V(X)+V(Y)+2\mathrm{C}\mathrm{o}\mathrm{v}(X,Y)\mathrm{.}$$

La version générale s'obtient en appliquant ce résultat aux variables $aX$ et $bY$, puis en utilisant $V(aX)=a^{2}V(X)$ et la bilinéarité de la covariance, qui donne $\mathrm{C}\mathrm{o}\mathrm{v}(aX,bY)=ab\mathrm{C}\mathrm{o}\mathrm{v}(X,Y)$. $\mathrm{\square }$

Démonstration. Le cas de deux variables indépendantes découle de la propriété précédente et de $\mathrm{C}\mathrm{o}\mathrm{v}(X,Y)=0$. Le cas général s'obtient en développant le carré de la somme :

$${\left(\sum _{i=1}^n\right(X_i-E(X_i)\left)\right)}^2=\sum _{i=1}^n(X_i-E(X_i){)}^2+2\sum _{1⩽i<j⩽n}(X_i-E(X_i)\left)\right(X_j-E(X_j)),$$

puis en prenant l'espérance, qui est linéaire. Si les variables sont mutuellement indépendantes, elles sont en particulier deux à deux indépendantes, donc toutes les covariances sont nulles et il ne reste que la somme des variances. $\mathrm{\square }$

On notera que l'indépendance deux à deux suffit pour la formule de la variance d'une somme : c'est un des rares endroits où elle suffit. En revanche, la linéarité de l'espérance ne demande rien du tout, tandis que la variance d'une somme demande au minimum de connaître les covariances. C'est la différence essentielle entre les deux indicateurs.

Ce résultat est admis. Le coefficient $\rho$ est la covariance rendue sans dimension : il ne dépend plus des unités dans lesquelles $X$ et $Y$ sont exprimées, contrairement à la covariance, ce qui permet de comparer des situations hétérogènes. Son interprétation est la suivante.

• $\rho (X,Y)$ proche de $1$ : forte liaison linéaire croissante, les grandes valeurs de $X$ vont avec les grandes valeurs de $Y$.
• $\rho (X,Y)$ proche de $-1$ : forte liaison linéaire décroissante.
• $\rho (X,Y)$ proche de $0$ : pas de liaison linéaire détectable. Cela ne signifie pas absence de lien, comme le montre le contre-exemple $Y=X^2$ ci-dessus, où $\rho$ est nul alors que $Y$ est entièrement déterminée par $X$.

Convergences et approximations

Cette dernière partie donne un contenu mathématique à une idée intuitive : une variable aléatoire s'écarte rarement beaucoup de son espérance, et une moyenne d'observations indépendantes se rapproche de cette espérance. Les deux inégalités qui suivent sont les seuls outils de majoration du programme, et elles ne supposent aucune connaissance de la loi.

Inégalité de Markov

Démonstration. Notons $X(\mathrm{\Omega })=\{x_k\}$ le support de $X$, avec $x_k⩾0$ pour tout $k$. Par définition,

$$E(X)=\sum _k{x}_{k}P(X=x_k),$$

série à termes positifs convergente. Séparons les indices selon que $x_k⩾a$ ou $x_k<a$ :

$$E(X)=\sum _{k;x_k⩾a}{x}_{k}P(X=x_k)+\sum _{k;x_k<a}{x}_{k}P(X=x_k)⩾\sum _{k;x_k⩾a}{x}_{k}P(X=x_k),$$

puisqu'on retire une somme de termes positifs. Dans la somme restante, chaque $x_k$ est supérieur ou égal à $a$, donc

$$E(X)⩾\sum _{k;x_k⩾a}aP(X=x_k)=a\sum _{k;x_k⩾a}P(X=x_k)=aP(X⩾a),$$

la dernière égalité provenant de la sigma-additivité appliquée à la famille au plus dénombrable des événements incompatibles $(X=x_k)$ pour $x_k⩾a$, dont la réunion est $(X⩾a)$. En divisant par $a>0$, on obtient l'inégalité. $\mathrm{\square }$

L'inégalité de Markov est souvent grossière, mais elle ne coûte rien : elle ne demande que l'espérance. Elle n'a d'intérêt que pour $a>E(X)$, sans quoi la majoration dépasse $1$ et n'apporte aucune information.

Inégalité de Bienaymé-Tchebychev

Démonstration. Posons $Y=(X-m{)}^2$. C'est une variable aléatoire discrète positive, et elle admet une espérance, égale à $V(X)$ par définition de la variance. L'inégalité de Markov, appliquée à $Y$ avec le réel $a={\epsilon }^2>0$, donne

$$P(Y⩾{\epsilon }^2)⩽{\displaystyle \frac{E(Y)}{{\epsilon }^2}}={\displaystyle \frac{V(X)}{{\epsilon }^2}}\mathrm{.}$$

Il reste à identifier l'événement du membre de gauche. Pour tout $\omega$, les inégalités $(X(\omega )-m{)}^2⩾{\epsilon }^2$ et $\mid X(\omega )-m\mid ⩾\epsilon$ sont équivalentes, car la fonction racine carrée est croissante sur $[0,+\mathrm{\infty }[$ et $\epsilon >0$. Donc

$$(Y⩾{\epsilon }^2)=(\mid X-m\mid ⩾\epsilon ),$$

et les deux événements ont la même probabilité. $\mathrm{\square }$

L'inégalité se lit de façon particulièrement parlante en écarts-types. En prenant $\epsilon =t\sigma (X)$ avec $t>0$, elle devient

$$P(\mid X-m\mid ⩾t\sigma (X))⩽{\displaystyle \frac{1}{t^2}}\mathrm{.}$$

Quelle que soit la loi de $X$, la probabilité de s'écarter de plus de deux écarts-types de la moyenne est donc majorée par ${\displaystyle \frac{1}{4}}$, celle de s'écarter de plus de trois écarts-types par ${\displaystyle \frac{1}{9}}\approx \mathrm{0,111}$, celle de plus de dix écarts-types par $\mathrm{0,01}$. C'est le sens précis de la phrase « une variable aléatoire s'écarte rarement de son espérance ».

Loi faible des grands nombres

Démonstration. Espérance de $M_n$. Par linéarité de l'espérance, qui ne demande aucune hypothèse,

$$E(M_n)={\displaystyle \frac{1}{n}}\sum _{i=1}^{n}E(X_i)={\displaystyle \frac{1}{n}}\times nm=m\mathrm{.}$$

Variance de $M_n$. Les variables étant mutuellement indépendantes et admettant chacune un moment d'ordre $2$, la variance de la somme est la somme des variances, puis $V(aZ)=a^{2}V(Z)$ donne

$$V(M_n)={\displaystyle \frac{1}{n^2}}V\left(\sum _{i=1}^n{X}_i\right)={\displaystyle \frac{1}{n^2}}\sum _{i=1}^{n}V(X_i)={\displaystyle \frac{n{\sigma }^2}{n^2}}={\displaystyle \frac{{\sigma }^2}{n}}\mathrm{.}$$

Application de Bienaymé-Tchebychev. Soit $\epsilon >0$. La variable $M_n$ admet un moment d'ordre $2$, donc

$$0⩽P(\mid M_n-m\mid ⩾\epsilon )⩽{\displaystyle \frac{V(M_n)}{{\epsilon }^2}}={\displaystyle \frac{{\sigma }^2}{n{\epsilon }^2}}\mathrm{.}$$

Conclusion. Le majorant tend vers $0$ quand $n\to +\mathrm{\infty }$, à $\epsilon$ et ${\sigma }^2$ fixés. Le théorème d'encadrement donne donc

$$\underset{n\to +\mathrm{\infty }}{\lim }P(\mid M_n-m\mid ⩾\epsilon )=0,$$

et ceci pour tout réel $\epsilon >0$, ce qui est exactement l'énoncé de la loi faible des grands nombres. $\mathrm{\square }$

L'énoncé demande une lecture attentive. Il ne dit pas que $M_n(\omega )$ tend vers $m$ pour chaque résultat $\omega$, ce qui serait une convergence de suites de nombres. Il dit que la probabilité que $M_n$ s'écarte de $m$ d'au moins $\epsilon$ devient arbitrairement petite quand $n$ grandit, et cela pour tout seuil $\epsilon$ fixé à l'avance. Ce qui tend vers $0$, ce sont des probabilités, et non les valeurs prises par $M_n$. Ce mode de convergence porte un nom et fait l'objet d'une étude en deuxième année ; en première année, on s'en tient à l'énoncé ci-dessus, écrit comme une limite de probabilités.

C'est la justification mathématique de l'interprétation intuitive d'une probabilité comme une fréquence limite, celle que l'on utilise depuis le lycée sans démonstration. Elle n'est pas une définition de la probabilité : c'est un théorème, démontré à partir des axiomes, ce qui est exactement l'inverse. Deux remarques pour finir. L'hypothèse de variance finie figure ici parce que la démonstration passe par Bienaymé-Tchebychev ; le résultat reste vrai sous la seule existence de l'espérance, mais cela dépasse le programme. Et la loi faible des grands nombres ne dit rien de la vitesse de convergence, sinon par la majoration très grossière ${\displaystyle \frac{{\sigma }^2}{n{\epsilon }^2}}$ : l'énoncé précis de cette vitesse relève de la deuxième année.

Approximation de la loi binomiale par la loi de Poisson

Démonstration. Fixons l'entier $k$ et posons ${\lambda }_n=n{p}_n$, de sorte que ${\lambda }_n\to \lambda$ et $p_n={\displaystyle \frac{{\lambda }_n}{n}}$ pour $n⩾1$. Pour $n⩾k$,

$$P(X_n=k)=\left(\genfrac{}{}{0px}{}{n}{k}\right)p_n^k(1-p_n{)}^{n-k}\mathrm{.}$$

On traite séparément les deux facteurs.

Premier facteur. En écrivant le coefficient binomial sous forme de produit,

$$\left(\genfrac{}{}{0px}{}{n}{k}\right)p_n^k={\displaystyle \frac{n(n-1)\cdots (n-k+1)}{k!}}\times {\displaystyle \frac{{\lambda }_n^k}{n^k}}={\displaystyle \frac{{\lambda }_n^k}{k!}}\times {\displaystyle \frac{n(n-1)\cdots (n-k+1)}{n^k}}\mathrm{.}$$

Le dernier quotient comporte $k$ facteurs au numérateur et $k$ facteurs $n$ au dénominateur ; il s'écrit donc

$${\displaystyle \frac{n}{n}}\times {\displaystyle \frac{n-1}{n}}\times \cdots \times {\displaystyle \frac{n-k+1}{n}}=\prod _{j=0}^{k-1}(1-{\displaystyle \frac{j}{n}})\mathrm{.}$$

Le nombre $k$ étant fixé, ce produit comporte un nombre fixe de facteurs, chacun tendant vers $1$ : il tend donc vers $1$. Comme ${\lambda }_n^k\to {\lambda }^k$, on obtient

$$\underset{n\to +\mathrm{\infty }}{\lim }\left(\genfrac{}{}{0px}{}{n}{k}\right)p_n^k={\displaystyle \frac{{\lambda }^k}{k!}}\mathrm{.}$$

Second facteur. Comme ${\lambda }_n\to \lambda$, on a $p_n={\displaystyle \frac{{\lambda }_n}{n}}\to 0$, donc $1-p_n>0$ pour $n$ assez grand et l'on peut écrire

$$(1-p_n{)}^{n-k}=\exp ((n-k)\ln (1-p_n))\mathrm{.}$$

Le développement limité $\ln (1-u)=-u+o(u)$ au voisinage de $0$, appliqué à $u=p_n\to 0$, donne $\ln (1-p_n)=-p_n(1+{\epsilon }_n)$ avec ${\epsilon }_n\to 0$. Donc

$$(n-k)\ln (1-p_n)=-(n-k){\displaystyle \frac{{\lambda }_n}{n}}(1+{\epsilon }_n)=-{\lambda }_n(1-{\displaystyle \frac{k}{n}})(1+{\epsilon }_n)\mathrm{.}$$

Le nombre $k$ étant fixé, ${\displaystyle \frac{k}{n}}\to 0$, donc cette expression tend vers $-\lambda$. Par continuité de la fonction exponentielle,

$$\underset{n\to +\mathrm{\infty }}{\lim }(1-p_n{)}^{n-k}=e^{-\lambda }\mathrm{.}$$

Conclusion. Le produit des deux limites donne

$$\underset{n\to +\mathrm{\infty }}{\lim }P(X_n=k)={\displaystyle \frac{{\lambda }^k}{k!}}\times e^{-\lambda }=e^{-\lambda }{\displaystyle \frac{{\lambda }^k}{k!}}\mathrm{.}\mathrm{\square }$$

Ce théorème est la justification annoncée de l'appellation « loi des événements rares ». Une loi binomiale décrit un très grand nombre $n$ d'épreuves indépendantes, chacune ayant une probabilité de succès très faible $p$, de sorte que le nombre moyen de succès $np$ reste modéré : c'est exactement la situation d'un standard téléphonique, où chacun des très nombreux abonnés appelle avec une probabilité minuscule à un instant donné.

Méthodes du chapitre et erreurs classiques

Cette dernière section rassemble les gestes techniques du chapitre. Aucune notion nouvelle n'y figure : tout ce qui suit a été démontré plus haut, il s'agit seulement de savoir quel outil sortir devant quel énoncé.

Voici enfin les cinq erreurs qui coûtent le plus de points aux concours sur ce chapitre. Elles reviennent copie après copie, et elles sont toutes évitables par une relecture ciblée.

Erreur 1. Confondre $P_A(B)$ et $P(A\cap B)$. La première est une probabilité conditionnelle, calculée dans un univers réduit à $A$ ; la seconde est la probabilité que les deux événements se réalisent. Elles sont reliées par $P(A\cap B)=P(A)P_A(B)$, et elles ne sont égales que si $P(A)=1$. L'erreur se produit surtout dans la formule des probabilités totales, où l'on écrit ${\sum }_i{P}_{A_i}(B)$ au lieu de ${\sum }_{i}P(A_i)P_{A_i}(B)$ : le résultat obtenu dépasse alors souvent $1$, ce qui devrait alerter. Le symétrique de cette erreur est l'inversion du conditionnement, c'est-à-dire l'échange de $P_A(B)$ et $P_B(A)$, qui ne se fait que par la formule de Bayes.

Erreur 2. Manipuler une somme infinie sans vérifier qu'elle converge. Écrire $E(X)={\sum }_{k}kP(X=k)$ puis calculer, sans avoir dit un mot de la convergence, c'est perdre les points de la question même si le résultat numérique est juste. Il existe des variables discrètes sans espérance, l'exemple de loi $P(X=k)={\displaystyle \frac{c}{k^2}}$ est là pour le rappeler. La rédaction attendue tient en une phrase, du type « la série à termes positifs $\sum kP(X=k)$ converge par comparaison avec une série géométrique, donc $X$ admet une espérance ». Même remarque pour la variance, avec le moment d'ordre $2$.

Erreur 3. Additionner des lois au lieu d'additionner des variables. La somme de deux variables suivant des lois géométriques ne suit pas une loi géométrique, et il n'existe aucune règle générale du type « la somme des lois est la loi de la somme ». Une loi n'est pas un nombre et ne s'additionne pas. Ce qui existe, ce sont trois outils précis : la formule de la somme discrète, qui donne la loi de $X+Y$ ; la stabilité de la binomiale à paramètre $p$ commun ; la stabilité de Poisson. En dehors de ces cas, on calcule. En revanche, les espérances s'additionnent toujours, sans aucune hypothèse : c'est la linéarité.

Erreur 4. Croire qu'une covariance nulle entraîne l'indépendance. L'implication ne vaut que dans un sens : indépendantes entraîne covariance nulle. La réciproque est fausse, et le contre-exemple $X$ uniforme sur $\{-1,0,1\}$ avec $Y=X^2$ est à savoir écrire de mémoire en quatre lignes. La covariance ne détecte que les liaisons linéaires. La conséquence rédactionnelle est nette : pour établir l'indépendance de deux variables, on revient toujours à la définition, c'est-à-dire à l'égalité $P(X=x,Y=y)=P(X=x)P(Y=y)$ pour tous les couples de valeurs.

Erreur 5. Utiliser la stabilité de Poisson sans hypothèse d'indépendance. L'énoncé « $X\hookrightarrow \mathcal{P}(\lambda )$, $Y\hookrightarrow \mathcal{P}(\mu )$, donc $X+Y\hookrightarrow \mathcal{P}(\lambda +\mu )$ » est faux tel quel : l'hypothèse d'indépendance est indispensable, et la démonstration montre où elle sert, au moment de factoriser $P(X=k,Y=n-k)$. Il suffit de prendre $Y=X$ pour s'en convaincre : $2X$ ne prend que des valeurs paires. La même remarque vaut pour la stabilité de la binomiale, et plus généralement pour la variance d'une somme : $V(X+Y)=V(X)+V(Y)$ n'est vraie que si la covariance est nulle. Dans le doute, on écrit la formule complète avec le terme $2\mathrm{C}\mathrm{o}\mathrm{v}(X,Y)$, qui est toujours vraie.