ECG appliquées · Chapitre 15 · Quatrième semestre

Probabilités : chaînes de Markov, densités et estimation

2e année

Graphes probabilistes et chaînes de Markov, variables à densité, convergences, loi faible des grands nombres, estimation.

Ce qu'il faut savoir faire

  • Graphes probabilistes et chaînes de Markov
  • Variables à densité
  • Convergences
  • Loi faible des grands nombres
  • Estimation

Jusqu'ici, toutes les variables aléatoires que vous avez rencontrées étaient discrètes : elles prenaient leurs valeurs dans un ensemble fini ou dénombrable, leur loi se lisait sur la liste des P(X=k), et leur espérance était une somme ou une série. Ce cadre suffit à compter des pièces défectueuses, des appels ou des succès, mais il devient impuissant dès que la grandeur observée est une mesure continue : la durée de vie d'un composant, le temps d'attente d'un client, une taille, un rendement. Pour une telle grandeur, la question « quelle est la probabilité que la durée de vie vaille exactement 3 ans ? » n'a aucun intérêt, car la réponse est 0 ; la bonne question est « quelle est la probabilité qu'elle soit comprise entre 3 et 4 ans ? ». Ce basculement de la valeur ponctuelle vers l'intervalle est l'idée centrale de ce chapitre, et il a une conséquence technique immédiate : l'intégrale remplace la somme.

Avant d'y venir, le chapitre commence par un objet d'une autre nature, qui prolonge l'algèbre linéaire du troisième semestre. Un graphe probabiliste décrit un système qui, à chaque étape, se trouve dans l'un de quelques états possibles et passe de l'un à l'autre selon des probabilités fixées. Un client abonné à une offre A ou à une offre B, une machine en marche ou en panne, un joueur dans l'une de trois situations : à chaque fois, la dynamique se résume à une matrice carrée, la matrice de transition, et l'évolution du système se calcule par des produits matriciels. Toute la question devient alors : que devient le système au bout de longtemps ? La réponse tient en un vecteur propre pour la valeur propre 1, et l'algèbre linéaire répond à une question de probabilités. Le programme précise que tous les résultats de cette première partie sont admis ; les démonstrations données ici sont courtes et éclairantes, mais elles ne vous seront pas réclamées.

Le cœur du chapitre est la théorie des variables aléatoires à densité. On y définit une variable par sa fonction de répartition, on lui associe une densité, et l'on reconstruit tout le vocabulaire connu : espérance, variance, écart-type, transfert. Trois lois y jouent le rôle que jouaient la binomiale, la géométrique et la loi de Poisson chez les variables discrètes : la loi uniforme, qui modélise un tirage au hasard dans un intervalle, la loi exponentielle, qui modélise une durée de vie sans usure, et la loi normale, qui est la loi limite universelle de ce chapitre. Le programme impose ici un garde-fou dont il faut se souvenir en permanence : on se limite à des densités ayant des limites finies à gauche et à droite en tout point, ce qui signifie qu'aucune densité rencontrée ne s'envole vers l'infini en un point fini. Les seules bornes délicates d'une intégrale sont donc et +, et toute intégration par parties ou tout changement de variable se pratique sur un segment, avant un passage à la limite explicite.

La quatrième partie enchaîne sur les convergences. Deux inégalités très simples, celle de Markov et celle de Bienaymé-Tchebychev, majorent la probabilité qu'une variable s'écarte de sa moyenne, sans rien connaître de sa loi. Elles suffisent à démontrer la loi faible des grands nombres, qui justifie enfin ce que l'intuition affirmait depuis toujours : la moyenne d'un grand nombre d'observations indépendantes se rapproche de l'espérance. Puis vient le théorème limite central, admis, qui va beaucoup plus loin en décrivant la forme des fluctuations autour de cette moyenne, et qui explique pourquoi la loi normale surgit partout.

La dernière partie, l'estimation, referme la boucle ouverte au premier semestre de la première année. Les statistiques descriptives résumaient des données observées ; les probabilités modélisaient une expérience ; l'estimation fait le pont entre les deux, en cherchant ce que des observations permettent d'affirmer sur le paramètre inconnu du modèle qui les a produites. On y construit des estimateurs, dont la moyenne empirique et l'estimateur du maximum de vraisemblance, puis des intervalles de confiance, d'abord par l'inégalité de Bienaymé-Tchebychev, ensuite, plus finement, par le théorème limite central. Le programme est explicite sur le ton à donner à ce paragraphe : il « ne doit pas faire l'objet d'un exposé théorique ». On y calcule, on y interprète, on n'y théorise pas.

Voici les notations en vigueur dans tout le chapitre. L'univers est noté Ω, les variables aléatoires réelles X, Y, Z, et les événements associés s'écrivent [Xx], [XI], [a<Xb] comme en première année. La fonction de répartition de X est FX, définie par FX(x)=P(Xx), et une densité de X est notée fX. L'espérance est E(X), la variance V(X), l'écart-type σ(X). Le symbole se lit « suit la loi » : on écrit XU([a,b]), XE(λ), XN(m,σ2), et l'on conserve B(n,p) pour la loi binomiale et P(λ) pour la loi de Poisson. La densité de la loi normale centrée réduite est notée φ et sa fonction de répartition Φ. Pour les chaînes de Markov, le nombre d'états est r, les sommets sont numérotés de 1 à r, la matrice de transition est M=(mi,j)Mr(R), la chaîne est (Xn)nN et son n-ième état est la matrice ligne Vn. Pour l'estimation, la taille de l'échantillon est n, le paramètre inconnu θ, l'estimateur Tn, la moyenne empirique Xn et la variance empirique Sn2. Enfin, tA désigne la transposée de A et le symbole marque la fin d'une démonstration.

Graphes probabilistes et matrice de transition

Le modèle

On observe un système qui, à chaque instant entier n=0,1,2,, se trouve dans exactement l'un de r états possibles, numérotés de 1 à r. À chaque étape, il change d'état, ou reste où il est, selon des probabilités qui ne dépendent que de l'état courant et pas du passé. Ce mécanisme se dessine sous la forme d'un graphe orienté et pondéré.

Définition

Soit r un entier supérieur ou égal à 2. Un graphe probabiliste à r états est un graphe orienté dont les sommets sont numérotés de 1 à r, dans lequel chaque arc du sommet i vers le sommet j porte un poids mi,j appartenant à [0,1], et tel que, pour chaque sommet i, la somme des poids des arcs issus de i vaut 1 :

i[ ⁣[1,r] ⁣],j=1rmi,j=1.

Un arc absent du dessin correspond au poids mi,j=0. Une boucle sur le sommet i porte le poids mi,i, probabilité de rester dans l'état i.

Le poids mi,j se lit « sachant que le système est dans l'état i, la probabilité qu'il soit dans l'état j à l'étape suivante ». La condition de somme égale à 1 n'est donc rien d'autre que la certitude d'être quelque part à l'étape suivante : partant de i, le système va forcément dans l'un des r états.

La matrice de transition

Définition

La matrice de transition du graphe probabiliste est la matrice carrée

M=(mi,j)1i,jrMr(R),

dont le coefficient situé à la ligne i et à la colonne j est le poids de l'arc allant de i vers j.

Propriété

Une matrice de transition vérifie les deux propriétés suivantes.

  1. Tous ses coefficients appartiennent à [0,1].
  2. La somme des coefficients de chaque ligne vaut 1.

Une matrice carrée qui vérifie ces deux propriétés est appelée matrice stochastique.

Retenez le sens de lecture, car il est la source d'erreurs numéro un du chapitre : la ligne est l'état de départ, la colonne est l'état d'arrivée, et ce sont les lignes qui somment à 1, jamais les colonnes. Une matrice dont les colonnes sommeraient à 1 existe aussi dans la littérature, mais ce n'est pas la convention du programme, et mélanger les deux rend tous les calculs faux.

Exemple

Un graphe à deux états. Un opérateur téléphonique propose deux forfaits, 1 et 2. D'un mois sur l'autre, un client qui a le forfait 1 le conserve avec la probabilité 0,8 et bascule sur le forfait 2 avec la probabilité 0,2 ; un client qui a le forfait 2 le conserve avec la probabilité 0,7 et revient au forfait 1 avec la probabilité 0,3.

Graphe probabiliste à deux états numérotés 1 et 2, avec la boucle 0,8 sur l'état 1, la boucle 0,7 sur l'état 2, l'arc de 1 vers 2 étiqueté 0,2 et l'arc de 2 vers 1 étiqueté 0,3

La matrice de transition est

M=(0,80,20,30,7).

Contrôle immédiat : 0,8+0,2=1 et 0,3+0,7=1. Les lignes somment bien à 1. Notez au passage que les colonnes, elles, somment à 1,1 et à 0,9 : cela n'a aucune importance et ne signale aucune erreur.

Exemple

Un graphe à trois états. Une enseigne suit ses clients, répartis en trois segments : 1 pour les inactifs, 2 pour les occasionnels, 3 pour les fidèles. Les transitions d'un trimestre au suivant sont résumées par le graphe ci-dessous.

Graphe probabiliste à trois états numérotés 1, 2 et 3, avec les boucles 0,7 sur l'état 1, 0,8 sur l'état 2 et 0,6 sur l'état 3, et les arcs 1 vers 2 étiqueté 0,2, 1 vers 3 étiqueté 0,1, 2 vers 1 étiqueté 0,1, 2 vers 3 étiqueté 0,1, 3 vers 1 étiqueté 0,1 et 3 vers 2 étiqueté 0,3

Sa matrice de transition est

M=(0,70,20,10,10,80,10,10,30,6),

et les trois lignes somment à 1, à 1 et à 1.

Méthode

Construire la matrice de transition à partir d'un énoncé.

  1. Numéroter les états de 1 à r, dans l'ordre imposé par l'énoncé, et l'écrire noir sur blanc : « l'état 1 est … ».
  2. Traiter les états un par un, dans l'ordre. Pour l'état i, relire l'énoncé en se demandant : « si le système est en i, où va-t-il, et avec quelles probabilités ? ». On remplit ainsi la ligne i.
  3. Compléter par les probabilités manquantes. Un énoncé donne rarement tous les coefficients : quand une ligne comporte une seule case vide, la condition de somme égale à 1 la remplit.
  4. Vérifier chaque ligne en additionnant ses coefficients. C'est le contrôle qui détecte instantanément une lecture en colonne.

Chaînes de Markov, états successifs et état stable

La chaîne associée à un graphe probabiliste

Définition

Soit un graphe probabiliste à r états, de matrice de transition M. On appelle chaîne de Markov associée à ce graphe une suite (Xn)nN de variables aléatoires définies sur un même espace probabilisé, à valeurs dans [ ⁣[1,r] ⁣], telle que Xn désigne l'état du système à l'étape n et que, pour tout entier n1 et tous états i et j vérifiant P(Xn1=i)0,

P[Xn1=i](Xn=j)=mi,j.

Cette égalité est la traduction exacte de la phrase « les coefficients de M sont des probabilités conditionnelles ». Elle contient deux hypothèses distinctes, qu'il faut savoir séparer. D'abord, la probabilité de passer en j ne dépend que de l'état immédiatement précédent, et non de tout l'historique : c'est la propriété dite de Markov, l'absence de mémoire du système. Ensuite, cette probabilité ne dépend pas non plus de l'étape n : le mécanisme est le même à chaque instant, ce que l'on résume en disant que la chaîne est homogène. Toutes les chaînes du programme sont homogènes.

Le vecteur d'état

Définition

Soit (Xn) une chaîne de Markov à r états. On appelle n-ième état de la chaîne la matrice ligne

Vn=(P(Xn=1), P(Xn=2), , P(Xn=r))M1,r(R).

La matrice V0 est l'état initial.

Le vecteur Vn n'est pas l'état du système : c'est la loi de Xn, écrite en ligne. Ses coefficients sont positifs et leur somme vaut 1, puisque la famille ([Xn=i])1ir est un système complet d'événements.

Propriété

Soit (Xn) une chaîne de Markov de matrice de transition M. Pour tout entier n1 et tout état j,

P(Xn=j)=i=1rmi,jP(Xn1=i),

ce qui s'écrit matriciellement

Vn=Vn1M.

Démonstration. Le programme admet ce résultat, mais sa démonstration tient en trois lignes et il est bon de la connaître, car elle explique le sens de lecture de M.

La variable Xn1 est à valeurs dans [ ⁣[1,r] ⁣], donc la famille ([Xn1=i])1ir est un système complet d'événements. La formule des probabilités totales appliquée à l'événement [Xn=j] donne

P(Xn=j)=i=1rP([Xn1=i][Xn=j]).

Pour chaque indice i tel que P(Xn1=i)0, la formule des probabilités composées donne

P([Xn1=i][Xn=j])=P(Xn1=i)P[Xn1=i](Xn=j)=P(Xn1=i)mi,j.

Pour un indice i tel que P(Xn1=i)=0, l'intersection [Xn1=i][Xn=j] est incluse dans [Xn1=i], donc sa probabilité est nulle elle aussi, et le produit P(Xn1=i)mi,j est nul également : l'égalité reste vraie. En sommant sur i, on obtient bien

P(Xn=j)=i=1rmi,jP(Xn1=i).

Reste à reconnaître un produit matriciel. Le coefficient de la colonne j de la matrice ligne Vn1M vaut, par définition du produit,

i=1r(Vn1)1,imi,j=i=1rP(Xn1=i)mi,j,

qui est exactement P(Xn=j), c'est-à-dire le coefficient de la colonne j de Vn. Les deux matrices lignes ont donc les mêmes coefficients : Vn=Vn1M.

Propriété

Avec les mêmes notations, pour tout entier naturel n,

Vn=V0Mn.

Démonstration. Par récurrence sur n. Pour n=0, l'égalité s'écrit V0=V0Ir, qui est vraie. Supposons Vn=V0Mn pour un entier naturel n fixé. Alors, d'après la propriété précédente appliquée au rang n+1,

Vn+1=VnM=(V0Mn)M=V0Mn+1,

ce qui achève la récurrence.

Cette formule est la raison pour laquelle les chaînes de Markov apparaissent dans les sujets d'algèbre linéaire : calculer la loi de Xn revient à calculer Mn, donc à diagonaliser M quand c'est possible.

Exemple

Trois mois de forfaits. Reprenons M=(0,80,20,30,7) et supposons qu'au mois 0 tous les clients ont le forfait 1, c'est-à-dire V0=(10).

V1=V0M=(10)(0,80,20,30,7)=(0,80,2).V2=V1M=(0,8×0,8+0,2×0,3 0,8×0,2+0,2×0,7)=(0,70,3).V3=V2M=(0,7×0,8+0,3×0,3 0,7×0,2+0,3×0,7)=(0,650,35).

À chaque étape, la somme des deux coefficients vaut 1 : c'est le contrôle à faire systématiquement. La proportion de clients au forfait 1 décroît, de 1 à 0,8 puis 0,7 puis 0,65, en se rapprochant visiblement d'une valeur limite. La section suivante identifie cette valeur.

L'état stable

Définition

Soit M la matrice de transition d'un graphe probabiliste à r états. On appelle état stable de la chaîne toute matrice ligne

V=(v1v2vr)

à coefficients positifs, de somme égale à 1, et vérifiant

V=VM.

L'interprétation probabiliste est la suivante : si la loi de X0 est donnée par V, alors V1=V0M=VM=V, puis V2=V, et de proche en proche Vn=V pour tout n. Autrement dit, un système lancé dans l'état stable y reste indéfiniment : les échanges entre les états ne cessent pas, mais ils se compensent exactement, et la répartition globale ne bouge plus.

Propriété

Soit V une matrice ligne de M1,r(R) dont la somme des coefficients vaut 1. Alors

V=VM    tMtV=tV,

c'est-à-dire si et seulement si tV est un vecteur propre de tM associé à la valeur propre 1.

Démonstration. La transposition est une bijection de M1,r(R) sur Mr,1(R), donc deux matrices lignes sont égales si et seulement si leurs transposées le sont :

V=VM    tV=t(VM).

Or la transposée d'un produit est le produit des transposées dans l'ordre inverse, donc t(VM)=tMtV. L'équivalence annoncée en découle :

V=VM    tMtV=tV=1tV.

Il reste à vérifier que tV est bien un vecteur propre, c'est-à-dire qu'il est non nul. C'est ici que sert l'hypothèse sur la somme : si tV était la colonne nulle, tous les vi seraient nuls et leur somme vaudrait 0, et non 1. Donc tV0, et tV est un vecteur propre de tM associé à la valeur propre 1.

Propriété

Pour toute matrice de transition M d'ordre r, le réel 1 est valeur propre de M et de tM. En particulier, l'équation V=VM admet toujours une solution non nulle.

Démonstration. Notez U la colonne de Mr,1(R) dont tous les coefficients valent 1. Le coefficient de la ligne i de MU vaut j=1rmi,j×1=1, puisque chaque ligne de M somme à 1. Donc MU=U, et comme U0, le réel 1 est valeur propre de M et U est un vecteur propre associé.

La matrice MIr n'est donc pas inversible, puisque son noyau contient U qui est non nul, et par conséquent rg(MIr)<r. Or transposer ne change pas le rang, et tMIr=t(MIr), donc rg(tMIr)<r : la matrice tMIr n'est pas inversible non plus, et 1 est valeur propre de tM.

L'existence d'une solution non nulle à V=VM est donc toujours acquise. Ce qui n'est pas automatique, c'est que cette solution puisse être normalisée en un vecteur de probabilités, ni qu'elle soit unique, ni que Vn converge vers elle. Le programme n'exige pas ces subtilités : sur les exemples traités, le calcul répond à la question.

Méthode

Déterminer l'état stable d'une chaîne à r états.

  1. Poser V=(xy) pour r=2, ou V=(xyz) pour r=3.
  2. Écrire l'égalité matricielle V=VM, ce qui donne r équations, une par colonne de M.
  3. Ajouter l'équation de normalisation x+y=1, ou x+y+z=1. Elle est indispensable : sans elle, le système est de rang r1 et admet une infinité de solutions proportionnelles.
  4. Résoudre le système obtenu, en éliminant l'une des r premières équations, qui est toujours redondante avec les autres.
  5. Vérifier en calculant VM et en contrôlant qu'on retrouve V, puis que les coefficients sont positifs et de somme 1.

Exemple

L'état stable du graphe à deux états. Avec M=(0,80,20,30,7), on cherche V=(xy) vérifiant V=VM et x+y=1. L'égalité V=VM s'écrit

{0,8x+0,3y=x0,2x+0,7y=ysoit{0,2x+0,3y=00,2x0,3y=0

Les deux équations sont opposées : elles n'en font qu'une, 2x=3y. Avec x+y=1, on obtient y=1x, puis 2x=3(1x), donc 5x=3 et x=0,6, d'où y=0,4. L'état stable est

V=(0,60,4).

Vérification. VM=(0,6×0,8+0,4×0,3 0,6×0,2+0,4×0,7)=(0,48+0,12 0,12+0,28)=(0,60,4). C'est bien V.

À long terme, l'opérateur conservera donc 60 % de ses clients sur le forfait 1 et 40 % sur le forfait 2, quelle que soit la répartition de départ, comme le laissait pressentir la suite 1;0,8;0,7;0,65 calculée plus haut.

Exemple

L'état stable du graphe à trois états. Avec M=(0,70,20,10,10,80,10,10,30,6), on cherche V=(xyz) avec V=VM et x+y+z=1. En lisant colonne par colonne et en multipliant par 10 pour chasser les décimaux, V=VM équivaut à

{7x+y+z=10x2x+8y+3z=10yx+y+6z=10zsoit{y+z=3x2x2y+3z=0x+y=4z

Résolution. La première équation combinée à x+y+z=1 donne x+3x=1, donc

x=14=0,25.

Il reste alors y+z=0,75. La troisième équation s'écrit 0,25+y=4z, et en y remplaçant y par 0,75z on obtient 0,25+0,75z=4z, c'est-à-dire 1=5z, donc

z=0,2puisy=0,750,2=0,55.

La deuxième équation, redondante, sert de contrôle : 2×0,252×0,55+3×0,2=0,51,1+0,6=0. L'état stable est

V=(0,250,550,2).

Ce résultat se vérifie en recalculant VM colonne par colonne, ce qu'il faut prendre l'habitude de faire systématiquement. Première colonne : 0,25×0,7+0,55×0,1+0,2×0,1=0,175+0,055+0,02=0,25. Deuxième colonne : 0,25×0,2+0,55×0,8+0,2×0,3=0,05+0,44+0,06=0,55. Troisième colonne : 0,25×0,1+0,55×0,1+0,2×0,6=0,025+0,055+0,12=0,2. On retrouve bien V, dont les coefficients sont positifs et de somme 0,25+0,55+0,2=1.

Les comportements d'un graphe à deux états

Le programme demande d'observer, sur des exemples, les différents comportements possibles d'un graphe probabiliste à deux états, en précisant que ce savoir-faire n'est pas exigible. Voici la situation générale, qui se traite entièrement à la main.

Exemple

Les trois comportements. Soit M=(1aab1b), avec a et b dans [0,1], et soit V0=(p1p).

Cas général : 0<a+b<2. L'état stable est V=1a+b(ba), et la seconde valeur propre de M vaut 1ab, de valeur absolue strictement inférieure à 1. On montre alors que Vn=V+(pv1)(1ab)n(11), donc Vn converge vers V, quel que soit l'état initial.

Cas figé : a=b=0. Alors M=I2, aucun échange n'a lieu, et Vn=V0 pour tout n. Tout vecteur de probabilités est un état stable, il n'y a pas unicité.

Cas alterné : a=b=1. Alors M=(0110), la seconde valeur propre vaut 1, et le système bascule d'un état à l'autre à chaque étape : Vn oscille entre (p1p) et (1pp). Il n'y a convergence que si p=0,5, c'est-à-dire si l'on part déjà de l'unique état stable.

Exemple

Le cas de l'opérateur, traité complètement. Avec a=0,2 et b=0,3, on a a+b=0,5, donc la seconde valeur propre vaut 10,5=0,5 et l'état stable est 10,5(0,30,2)=(0,60,4), conformément au calcul précédent.

Cherchons une matrice ligne propre pour la valeur propre 0,5. On résout WM=0,5W avec W=(st) : la première colonne donne 0,8s+0,3t=0,5s, soit 0,3s+0,3t=0, donc t=s. On prend W=(11), et l'on vérifie WM=(0,80,3 0,20,7)=(0,50,5)=0,5W.

Avec V0=(p1p), on écrit V0=V+(p0,6)W, ce qui se vérifie coordonnée par coordonnée. En multipliant n fois par M,

Vn=V0Mn=VMn+(p0,6)WMn=V+(p0,6)×0,5nW.

Comme 0,5n tend vers 0, on conclut Vn(0,60,4). Pour p=1, la formule donne V1=(0,6+0,2 0,40,2)=(0,80,2) et V2=(0,70,3), conformes aux calculs directs.

Variables aléatoires à densité

Rappel : la fonction de répartition

Définition

Soit X une variable aléatoire réelle définie sur un espace probabilisé (Ω,A,P). On appelle fonction de répartition de X l'application FX définie sur R par

FX(x)=P(Xx).

Propriété

La fonction de répartition d'une variable aléatoire réelle X vérifie :

  1. FX est croissante sur R, à valeurs dans [0,1] ;
  2. limxFX(x)=0 et limx+FX(x)=1 ;
  3. pour tous réels ab,  P(a<Xb)=FX(b)FX(a).

Démonstration. Les deux premiers points relèvent de la théorie générale et sont admis, conformément au programme, qui demande de ne soulever aucune difficulté sur l'ensemble des événements. Démontrons le troisième, qui est purement ensembliste. Soient ab. Un résultat ω vérifie X(ω)b si et seulement si X(ω)a ou a<X(ω)b, et ces deux cas s'excluent. Donc

[Xb]=[Xa][a<Xb],

réunion de deux événements incompatibles. L'additivité donne P(Xb)=P(Xa)+P(a<Xb), d'où le résultat.

Une conséquence utile, obtenue par passage au contraire : P(X>x)=1FX(x).

Définition d'une variable à densité

Définition

Une variable aléatoire réelle X est dite à densité lorsque sa fonction de répartition FX est

  1. continue sur R tout entier, et
  2. de classe C1 sur R privé éventuellement d'un ensemble fini de points.

On appelle alors densité de X toute fonction fX positive sur R qui ne diffère de FX qu'en un nombre fini de points.

Trois remarques, à lire lentement. D'abord, la définition porte sur FX, pas sur fX : c'est toujours par la fonction de répartition qu'on démontre qu'une variable est à densité. Ensuite, une variable à densité n'a pas une densité mais des densités : les valeurs de fX aux quelques points où FX n'est pas dérivable sont libres, on les choisit comme on veut, en général de façon à rendre la formule aussi simple que possible. Enfin, le programme se restreint à des densités ayant des limites finies à gauche et à droite en tout point de R : aucune densité de ce chapitre ne part vers l'infini au voisinage d'un point fini, et les seules bornes délicates d'une intégrale sont donc et +.

Propriété

Soit X une variable à densité, de densité fX. Alors, pour tout réel x, l'intégrale xfX(t)dt converge et

FX(x)=xfX(t)dt.

En particulier, en faisant tendre x vers +,

+fX(t)dt=1.

Propriété

Caractérisation d'une densité (admis). Soit f une fonction définie sur R, positive, continue sauf éventuellement en un nombre fini de points, et telle que +f(t)dt converge et vaille 1. Alors il existe une variable aléatoire à densité dont f est une densité.

Propriété

Dérivation d'une intégrale de densité (admis). Si f est une densité, alors la fonction xxf(t)dt est de classe C1 en tout point xf est continue, et sa dérivée y vaut f(x).

Ces deux résultats sont explicitement déclarés admis par le programme, et ils forment ensemble l'aller-retour fondamental du chapitre : d'une densité on remonte à une fonction de répartition par intégration, et d'une fonction de répartition on redescend à une densité par dérivation, sauf en un nombre fini de points, où l'on choisit une valeur arbitraire positive.

Calculs de probabilités avec une densité

Propriété

Soit X une variable à densité de densité fX et de fonction de répartition FX. Pour tous réels ab :

  1. P(X=a)=0 ;
  2. P(aXb)=P(a<X<b)=FX(b)FX(a)=abfX(t)dt ;
  3. P(X>a)=1FX(a)=a+fX(t)dt.

Démonstration. Montrons d'abord le point 1. Soit h>0. Un résultat ω tel que X(ω)=a vérifie en particulier ah<X(ω)a, donc [X=a][ah<Xa]. La croissance de la probabilité donne alors

0P(X=a)P(ah<Xa)=FX(a)FX(ah).

Comme FX est continue en a, le membre de droite tend vers FX(a)FX(a)=0 quand h tend vers 0 par valeurs positives. Le théorème d'encadrement impose P(X=a)=0.

Le point 2 s'en déduit : par la propriété de la fonction de répartition, P(a<Xb)=FX(b)FX(a). Ajouter ou retirer les extrémités ne change rien, puisque P(X=a)=P(X=b)=0. Enfin,

abfX(t)dt=bfX(t)dtafX(t)dt=FX(b)FX(a).

Le point 3 est le passage au contraire, combiné à la relation de Chasles.

Le point 1 est le point de rupture avec tout ce que vous connaissiez : pour une variable à densité, tout événement ponctuel est de probabilité nulle. Cela ne signifie pas qu'il est impossible, seulement que sa probabilité est nulle. Conséquence pratique : les inégalités strictes et larges deviennent interchangeables, ce qui simplifie beaucoup les calculs, mais il faut avoir justifié une fois pour toutes que X est à densité.

Méthode

Montrer qu'une fonction f est une densité. Trois vérifications, dans cet ordre, et toutes les trois rédigées.

  1. Positivité : f(t)0 pour tout réel t.
  2. Continuité : f est continue sur R, sauf éventuellement en un nombre fini de points, que l'on cite.
  3. Intégrale égale à 1 : on montre la convergence de +f et l'on calcule sa valeur, en découpant par Chasles là où l'expression de f change, et en passant par un segment avant de faire tendre la borne vers l'infini.

Si l'énoncé introduit une constante inconnue, ce sont les points 1 et 3 qui la déterminent : le point 3 donne une équation, le point 1 tranche le signe.

Exemple

Une densité sur un segment. Soit f définie par f(t)=ct si t[0,2] et f(t)=0 sinon. Déterminons c.

La positivité impose c0, puisque t0 sur [0,2]. La fonction f est continue sur R sauf au point 2, où elle passe de 2c à 0. Enfin, f est nulle hors de [0,2], donc

+f(t)dt=02ctdt=c[t22]02=2c,

intégrale d'une fonction continue sur un segment, donc sans aucun problème de convergence. La condition 2c=1 donne c=12, valeur bien positive.

Fonction de répartition. Pour x<0, FX(x)=0. Pour x[0,2],

FX(x)=0xt2dt=x24.

Pour x>2, FX(x)=1. On vérifie la continuité aux points de raccord : FX(0)=0 des deux côtés, et 224=1 en x=2. Par exemple P(X1)=14 et P(1X2)=114=34.

Exemple

Une densité sur un intervalle non borné. Soit f définie par f(t)=ct3 si t1 et f(t)=0 sinon.

Sur [1,+[, on a t3>0, donc la positivité impose c0. La fonction est continue partout sauf en 1. Pour la troisième condition, on intègre d'abord sur un segment : pour tout réel x1,

1xct3dt=c[12t2]1x=c(1212x2).

On fait ensuite tendre x vers + : la quantité ci-dessus tend vers c2, donc l'intégrale 1+f converge et vaut c2. La condition c2=1 donne c=2.

Notez que f(1)=2 : la densité a bien une limite finie en 1, comme le programme l'exige.

Exemple

Trois fonctions à passer au crible.

a. g(t)=t sur R : elle n'est pas positive, donc ce n'est pas une densité.

b. g(t)=et sur R tout entier : elle est positive et continue, mais pour x>0 on a x0etdt=ex1, qui tend vers + quand x tend vers +. L'intégrale sur R diverge, donc ce n'est pas une densité.

c. g(t)=1t2 pour t1 et 0 sinon : elle est positive, continue sauf en 1, et son intégrale vaut 1. Celle-là est donc bien une densité. Le piège est ailleurs, et la section suivante le révèle : la variable correspondante n'a pas d'espérance.

Moments d'une variable à densité

L'espérance

Définition

Soit X une variable à densité, de densité fX. On dit que X admet une espérance lorsque l'intégrale

+tfX(t)dt

est absolument convergente. On pose alors

E(X)=+tfX(t)dt.

Lorsque E(X)=0, on dit que X est centrée.

L'exigence de convergence absolue n'est pas une coquetterie : c'est elle qui rend E(X) indépendante de la façon dont on découpe l'intégrale. Elle se vérifie donc explicitement, et elle se vérifie avant d'écrire la moindre valeur de E(X). Une simplification utile : si fX est nulle sur ],0[, alors tfX(t)0 partout, et la convergence entraîne la convergence absolue. C'est le cas de la plupart des lois de durée du chapitre.

Exemple

Une variable sans espérance. Soit X de densité f(t)=1t2 pour t1 et f(t)=0 sinon. C'est bien une densité, comme on l'a vu. Étudions l'espérance :

1xt×1t2dt=1xdtt=lnx.

Quand x tend vers +, cette quantité tend vers + : l'intégrale 1+tf(t)dt diverge, donc X n'admet pas d'espérance.

Le phénomène est instructif. La variable X prend des valeurs de plus en plus grandes avec des probabilités de plus en plus petites, mais la décroissance des probabilités n'est pas assez rapide pour compenser la croissance des valeurs. Une variable aléatoire parfaitement bien définie peut donc n'avoir aucune valeur moyenne.

Le théorème de transfert

Propriété

Théorème de transfert (admis). Soit X une variable à densité, de densité f nulle en dehors d'un intervalle ]a,b[, avec a<b+. Soit g une fonction continue sur ]a,b[, sauf éventuellement en un nombre fini de points. Alors g(X) admet une espérance si et seulement si l'intégrale

abg(t)f(t)dt

est absolument convergente, et dans ce cas

E(g(X))=abg(t)f(t)dt.

Ce théorème est le pendant exact du transfert discret E(g(X))=kg(xk)P(X=xk) : la somme devient une intégrale, et la probabilité ponctuelle devient f(t)dt. Sa force est la même : on calcule E(g(X)) sans jamais déterminer la loi de g(X).

Variance et écart-type

Définition

Soit X une variable à densité admettant une espérance m=E(X). On dit que X admet une variance lorsque X2 admet une espérance, et l'on pose alors

V(X)=E((Xm)2)=+(tm)2fX(t)dt.

L'écart-type de X est σ(X)=V(X).

Propriété

Formule de Kœnig-Huygens. Si X admet une variance, alors

V(X)=E(X2)(E(X))2.

Démonstration. Posons m=E(X). En développant le carré, (Xm)2=X22mX+m2. Les trois variables X2, X et la constante m2 admettent une espérance par hypothèse, donc la linéarité de l'espérance, admise par le programme pour les variables quelconques, donne

V(X)=E(X2)2mE(X)+m2=E(X2)2m2+m2=E(X2)m2.

Dans la pratique, on calcule toujours V(X) par Kœnig-Huygens : l'intégrale t2f(t)dt est presque toujours plus simple que (tm)2f(t)dt.

Propriété

Transformation affine. Soit X une variable à densité admettant une espérance et une variance, et soient a et b deux réels. Alors aX+b admet une espérance et une variance, et

E(aX+b)=aE(X)+b,V(aX+b)=a2V(X),σ(aX+b)=aσ(X).

Démonstration. Appliquons le théorème de transfert à g(t)=at+b, continue sur R. L'intégrale (at+b)fX(t)dt se scinde en atfX(t)dt+bfX(t)dt, dont les deux morceaux convergent absolument par hypothèse ; la somme converge donc absolument, et

E(aX+b)=a+tfX(t)dt+b+fX(t)dt=aE(X)+b×1.

Pour la variance, notons m=E(X), de sorte que E(aX+b)=am+b. Alors

(aX+b)E(aX+b)=aX+bamb=a(Xm),

donc ((aX+b)E(aX+b))2=a2(Xm)2, et la linéarité de l'espérance donne V(aX+b)=a2V(X). L'écart-type s'obtient en prenant la racine carrée, d'où le a.

Définition

Soit X une variable admettant une espérance m et une variance non nulle, d'écart-type σ. La variable

X=Xmσ

est appelée variable centrée réduite associée à X. Elle vérifie E(X)=0 et V(X)=1.

Les deux égalités se lisent directement sur la propriété précédente, avec a=1σ et b=mσ : l'espérance devient mσmσ=0 et la variance devient 1σ2×σ2=1.

Exemple

Une variable qui a une espérance mais pas de variance. Soit X de densité f(t)=2t3 pour t1 et f(t)=0 sinon, densité déjà validée plus haut.

Espérance. Pour x1, 1xt×2t3dt=1x2t2dt=[2t]1x=22x, qui tend vers 2. L'intégrande est positif, donc la convergence est absolue et E(X)=2.

Moment d'ordre 2. Par transfert avec g(t)=t2, on étudie 1xt2×2t3dt=1x2tdt=2lnx, qui tend vers +. Donc X2 n'admet pas d'espérance, et X n'a pas de variance.

Une variable peut donc avoir une moyenne parfaitement définie et une dispersion infinie. Conséquence directe pour la suite du chapitre : l'inégalité de Bienaymé-Tchebychev, la loi faible des grands nombres et le théorème limite central ne s'appliquent pas à une telle variable.

Méthode

Calculer l'espérance et la variance d'une variable à densité.

  1. Écrire la densité f et repérer l'intervalle hors duquel elle est nulle. L'intégrale ne porte que sur cet intervalle.
  2. Pour E(X) : étudier tf(t)dt sur un segment, puis faire tendre la borne vers l'infini si nécessaire. Si f est nulle sur R, signaler que l'intégrande est positif, ce qui dispense d'étudier la valeur absolue.
  3. Pour V(X) : calculer E(X2) par le théorème de transfert, en citant le théorème, puis appliquer Kœnig-Huygens.
  4. Contrôler la vraisemblance du résultat : V(X)0 obligatoirement, et E(X) doit tomber dans la plage des valeurs prises par X.

Les trois lois à densité usuelles

La loi uniforme

Définition

Soient a et b deux réels avec a<b. On dit que X suit la loi uniforme sur [a,b], et l'on note XU([a,b]), lorsque X admet pour densité la fonction

fX(t)={1basi t[a,b]0sinon

C'est bien une densité : la fonction est positive puisque ba>0, elle est continue sauf aux deux points a et b, et son intégrale vaut baba=1. Cette loi modélise le tirage « au hasard » d'un nombre dans l'intervalle [a,b], au sens où la probabilité de tomber dans un sous-intervalle ne dépend que de sa longueur, et pas de sa position.

Propriété

Si XU([a,b]), sa fonction de répartition est

FX(x)={0si x<axabasi axb1si x>b

Démonstration. Pour x<a, la densité est nulle sur ],x], donc FX(x)=0. Pour axb, la relation de Chasles et la nullité de fX avant a donnent

FX(x)=axdtba=xaba.

Pour x>b, on ajoute l'intégrale de fX sur ]b,x], qui est nulle, donc FX(x)=FX(b)=1. On vérifie la continuité aux raccords : en a, les deux expressions valent 0 ; en b, elles valent 1.

Propriété

Si XU([a,b]), alors X admet une espérance et une variance, et

E(X)=a+b2,V(X)=(ba)212.

Démonstration. La densité est nulle hors de [a,b], donc toutes les intégrales sont des intégrales de fonctions continues sur un segment : aucune question de convergence ne se pose.

Espérance.

E(X)=abtbadt=1ba[t22]ab=b2a22(ba)=(ba)(b+a)2(ba)=a+b2.

Moment d'ordre 2. Par le théorème de transfert appliqué à g(t)=t2,

E(X2)=abt2badt=1ba[t33]ab=b3a33(ba)=a2+ab+b23,

en utilisant la factorisation b3a3=(ba)(a2+ab+b2).

Variance. Par Kœnig-Huygens,

V(X)=a2+ab+b23(a+b)24=4(a2+ab+b2)3(a+b)212=4a2+4ab+4b23a26ab3b212=a22ab+b212=(ba)212.

L'espérance est le milieu de l'intervalle, ce qui était prévisible par symétrie. La variance, elle, ne dépend que de la longueur de l'intervalle, ce qui est cohérent : déplacer l'intervalle sans le déformer déplace la moyenne sans changer la dispersion.

Exemple

Un temps d'attente uniforme. Un bus passe toutes les 12 minutes, et un voyageur arrive à l'arrêt à un instant quelconque, sans consulter les horaires. Son temps d'attente X, en minutes, suit U([0,12]).

Il attend en moyenne E(X)=0+122=6 minutes, avec V(X)=12212=12, donc σ(X)=123,46 minutes. La probabilité qu'il attende plus de 9 minutes vaut

P(X>9)=1FX(9)=19012=14=0,25.

La loi exponentielle

Définition

Soit λ un réel strictement positif. On dit que X suit la loi exponentielle de paramètre λ, et l'on note XE(λ), lorsque X admet pour densité la fonction

fX(t)={λeλtsi t00si t<0

Densités de la loi exponentielle pour les paramètres 0,5, 1 et 2 sur l'intervalle allant de 0 à 5

Les trois courbes partent respectivement des ordonnées 0,5, 1 et 2 en t=0, puis décroissent vers 0 : plus λ est grand, plus la densité est concentrée près de l'origine, donc plus la durée modélisée est courte.

Propriété

Si XE(λ), sa fonction de répartition est

FX(x)={0si x<01eλxsi x0

En particulier, P(X>x)=eλx pour tout x0.

Démonstration. Vérifions d'abord que fX est une densité. Elle est positive, continue sur R sauf éventuellement en 0, et pour tout x0,

0xλeλtdt=[eλt]0x=1eλx.

Comme λ>0, la quantité eλx tend vers 0 quand x tend vers +, donc l'intégrale converge et vaut 1.

Le calcul ci-dessus donne aussi FX : pour x<0, la densité est nulle sur ],x] donc FX(x)=0 ; pour x0, FX(x)=1eλx. La continuité en 0 se vérifie : les deux expressions y valent 0. Enfin P(X>x)=1FX(x)=eλx.

Propriété

Si XE(λ), alors X admet une espérance et une variance, et

E(X)=1λ,V(X)=1λ2,σ(X)=1λ.

Démonstration. La densité étant nulle sur R, l'intégrande tfX(t) est positif sur R, donc la convergence simple des intégrales entraîne leur convergence absolue : il suffit d'étudier la convergence.

Espérance. Intégrons par parties sur le segment [0,x], avec u(t)=t et v(t)=λeλt, donc u(t)=1 et v(t)=eλt, fonctions de classe C1 sur [0,x] :

0xtλeλtdt=[teλt]0x+0xeλtdt=xeλx+1λ(1eλx).

Faisons maintenant tendre x vers +. Par croissances comparées, xeλx0, et eλx0. L'intégrale converge donc, et

E(X)=1λ.

Moment d'ordre 2. Par le théorème de transfert avec g(t)=t2, puis intégration par parties sur [0,x] avec u(t)=t2 et v(t)=eλt :

0xt2λeλtdt=[t2eλt]0x+0x2teλtdt=x2eλx+2λ0xtλeλtdt.

Quand x tend vers +, le premier terme tend vers 0 par croissances comparées et le second tend vers 2λ×1λ d'après le calcul précédent. Donc

E(X2)=2λ2.

Variance. Par Kœnig-Huygens, V(X)=2λ2(1λ)2=1λ2, et σ(X)=1λ.

Retenez le lien : λ est un taux (un nombre de pannes par heure, par exemple), et 1λ est la durée moyenne correspondante. Un composant qui tombe en panne au taux λ=0,25 par an dure en moyenne 4 ans.

Propriété

Absence de mémoire. Si XE(λ), alors pour tous réels positifs s et t,

P[X>t](X>s+t)=P(X>s).

Réciproquement, si X est une variable à densité à valeurs positives, vérifiant P(X>t)>0 pour tout t0 et l'égalité ci-dessus pour tous s et t positifs, alors il existe λ>0 tel que XE(λ).

Démonstration du sens direct. Soit XE(λ) et soient s et t deux réels positifs. On a P(X>t)=eλt>0, donc le conditionnement est licite. Comme s0, on a s+tt, donc [X>s+t][X>t], ce qui donne [X>s+t][X>t]=[X>s+t]. Par conséquent

P[X>t](X>s+t)=P(X>s+t)P(X>t)=eλ(s+t)eλt=eλs=P(X>s).

Cette propriété se lit ainsi : un composant qui a déjà tenu t heures a la même loi de durée de vie restante qu'un composant neuf. La loi exponentielle modélise donc une défaillance accidentelle, sans usure ni rodage. C'est l'analogue continu de l'absence de mémoire de la loi géométrique.

Démonstration de la réciproque. Posons G(t)=P(X>t)=1FX(t) pour t0. Comme X est à densité, FX est continue, donc G l'est aussi ; de plus G est strictement positive par hypothèse, et G(t)0 quand t+ puisque FX(t)1. Enfin, X étant à valeurs positives et P(X=0)=0, on a FX(0)=0, donc G(0)=1.

Étape 1 : l'équation fonctionnelle. L'hypothèse s'écrit P(X>s+t)P(X>t)=P(X>s), c'est-à-dire

(s,t)R+2,G(s+t)=G(s)G(t).

Étape 2 : les entiers. Une récurrence immédiate donne G(nt)=G(t)n pour tout entier naturel n et tout t0. En particulier, en notant q=G(1), on a G(n)=qn. On a q>0 par hypothèse, et q1 : sinon G(n)=1 pour tout n, ce qui contredirait G(t)0. Comme G est à valeurs dans [0,1], on a donc 0<q<1, et l'on peut poser λ=lnq, réel strictement positif, de sorte que q=eλ.

Étape 3 : les rationnels. Soient p et k deux entiers naturels non nuls. En appliquant l'étape 2 avec t=pk et n=k,

G ⁣(pk)k=G(p)=qp=eλp.

Or l'application uuk est strictement croissante sur R+, donc injective, et (eλp/k)k=eλp également. On en déduit G ⁣(pk)=eλp/k : l'égalité G(r)=eλr est vraie pour tout rationnel r positif.

Étape 4 : passage aux réels. Soit t0. Par densité de Q dans R, il existe une suite (rn) de rationnels positifs convergeant vers t. La fonction G est continue en t, donc G(rn)G(t) ; et la fonction exponentielle est continue, donc eλrneλt. Comme G(rn)=eλrn pour tout n, l'unicité de la limite donne G(t)=eλt.

Ainsi FX(t)=1eλt pour t0, et FX(t)=0 pour t<0 : c'est exactement la fonction de répartition de E(λ), donc XE(λ).

Exemple

Une durée de vie. La durée de vie X, en années, d'un composant électronique suit la loi E(0,2). Sa durée de vie moyenne est E(X)=10,2=5 ans.

La probabilité qu'il dépasse 8 ans vaut P(X>8)=e0,2×8=e1,60,202.

La probabilité qu'il dépasse 8 ans sachant qu'il a déjà tenu 3 ans vaut, par absence de mémoire, P[X>3](X>8)=P(X>5)=e10,368. Un composant de 3 ans a donc exactement les mêmes perspectives qu'un composant neuf sur les 5 années à venir.

La loi normale

Propriété

L'intégrale +et2/2dt converge, et sa valeur, admise, est 2π.

Démonstration de la convergence. La fonction tet2/2 est continue et positive sur R, et elle est paire. Il suffit donc d'étudier la convergence sur [0,+[, puis de conclure par parité.

Sur [0,1], la fonction est continue : l'intégrale y est une intégrale sur un segment, sans problème. Sur [1,+[, on a t1, donc t2t, donc t22t2, et par croissance de l'exponentielle

0et2/2et/2.

Or 1xet/2dt=[2et/2]1x=2e1/22ex/2, qui tend vers 2e1/2 : l'intégrale majorante converge. Par le théorème de comparaison des intégrales de fonctions positives, 1+et2/2dt converge, donc 0+et2/2dt aussi, et par parité l'intégrale sur R converge. Le calcul de sa valeur exacte, en revanche, sort du cadre du programme : on admet qu'elle vaut 2π.

Définition

On appelle loi normale centrée réduite, notée N(0,1), la loi de densité

φ(t)=12πet2/2,tR.

Sa fonction de répartition est notée Φ :

Φ(x)=x12πet2/2dt.

La fonction φ est bien une densité : elle est positive, continue sur R, et son intégrale vaut 12π×2π=1 d'après la propriété précédente. Sa courbe est la fameuse « courbe en cloche », symétrique par rapport à l'axe des ordonnées, de maximum 12π0,399 atteint en 0.

Propriété

Si XN(0,1), alors X admet une espérance et une variance, et

E(X)=0,V(X)=1.

Démonstration.

Espérance. Étudions la convergence absolue. Pour x0,

0xtet2/2dt=[et2/2]0x=1ex2/2x+1.

Donc 0+tφ(t)dt converge, et vaut 12π. La fonction ttφ(t) étant paire, l'intégrale de tφ(t) sur R converge : X admet une espérance. Or la fonction ttφ(t) est impaire, et les deux morceaux de l'intégrale convergent séparément, donc ils se compensent :

E(X)=0tφ(t)dt+0+tφ(t)dt=12π+12π=0.

Moment d'ordre 2. Par le théorème de transfert avec g(t)=t2, intégrons par parties sur le segment [0,x], en posant u(t)=t et v(t)=tet2/2, donc u(t)=1 et v(t)=et2/2 :

0xt2et2/2dt=[tet2/2]0x+0xet2/2dt=xex2/2+0xet2/2dt.

Quand x tend vers +, le premier terme tend vers 0 par croissances comparées, et le second tend vers 2π2 par parité. Donc 0+t2φ(t)dt=12π×2π2=12, et par parité de tt2φ(t),

E(X2)=2×12=1.

Conclusion. Kœnig-Huygens donne V(X)=102=1.

Propriété

Pour tout réel x,

Φ(x)=1Φ(x).

En particulier Φ(0)=12.

Démonstration. Soit x un réel et soit A>max(x,x). Effectuons dans Axφ(t)dt, intégrale sur un segment, le changement de variable affine u=t, de classe C1, avec du=dt ; les bornes t=A et t=x deviennent u=A et u=x :

Axφ(t)dt=Axφ(u)×(du)=xAφ(u)du=xAφ(u)du,

la dernière égalité résultant de la parité de φ, puisque (u)2=u2. On fait maintenant tendre A vers + : le membre de gauche tend vers Φ(x), et le membre de droite tend vers 1Φ(x), car +φ=1. D'où Φ(x)=1Φ(x).

En prenant x=0 : Φ(0)=1Φ(0), donc 2Φ(0)=1 et Φ(0)=12.

Densité de la loi normale centrée réduite avec l'aire sous la courbe hachurée jusqu'à l'abscisse 1,2, représentant la valeur de Phi de 1,2

L'aire hachurée sur la figure représente Φ(1,2)0,8849 : c'est la probabilité que la variable soit inférieure ou égale à 1,2. La relation Φ(x)=1Φ(x) se lit alors géométriquement : l'aire à gauche de x est l'image miroir de l'aire à droite de x.

Définition

Soient m un réel et σ un réel strictement positif. On dit que X suit la loi normale de paramètres m et σ2, et l'on note XN(m,σ2), lorsque la variable Xmσ suit la loi N(0,1). Une densité de X est alors

fX(t)=1σ2πexp ⁣((tm)22σ2),tR.

Densités des lois normales de paramètres (0, 1), (2, 1) et (0, 4) sur l'intervalle allant de -6 à 8

La figure montre l'effet de chaque paramètre, et il faut savoir la commenter. Passer de N(0,1) à N(2,1) translate la cloche de deux unités vers la droite, sans la déformer : m est le centre de symétrie. Passer de N(0,1) à N(0,4) aplatit et élargit la cloche, puisque σ passe de 1 à 2 : l'aire totale valant toujours 1, une courbe plus large est nécessairement moins haute.

Propriété

Soit XN(m,σ2). Alors X admet une espérance et une variance, et

E(X)=m,V(X)=σ2,σ(X)=σ.

De plus, pour tout réel x,

P(Xx)=Φ ⁣(xmσ).

Démonstration. Posons Z=Xmσ, qui suit N(0,1) par définition. Alors X=σZ+m, et la propriété de la transformation affine donne

E(X)=σE(Z)+m=σ×0+m=m,V(X)=σ2V(Z)=σ2×1=σ2.

Pour la fonction de répartition, comme σ>0, l'inégalité Xx équivaut à Xmσxmσ, c'est-à-dire à Zxmσ. Donc

P(Xx)=P ⁣(Zxmσ)=Φ ⁣(xmσ).

Propriété

Somme de variables normales indépendantes (admis). Si XN(m1,σ12) et YN(m2,σ22) sont indépendantes, alors

X+YN(m1+m2, σ12+σ22).

Plus généralement, toute somme de variables normales indépendantes suit une loi normale.

L'hypothèse d'indépendance est indispensable : sans elle, l'espérance de la somme reste la somme des espérances, mais la variance ne s'ajoute plus et la loi n'est plus normale en général.

Méthode

Calculer une probabilité avec la loi normale.

  1. Si XN(m,σ2), centrer et réduire : poser Z=Xmσ, qui suit N(0,1), et réécrire l'événement en fonction de Z.
  2. Exprimer la probabilité cherchée à l'aide de Φ seulement. Les trois formules utiles sont
P(Zz)=Φ(z),P(Z>z)=1Φ(z),P(aZb)=Φ(b)Φ(a).
  1. Si l'argument est négatif, utiliser Φ(z)=1Φ(z) pour se ramener à une valeur positive, seule lisible dans une table.
  2. Lire la valeur dans la table fournie et conclure par une phrase interprétant le résultat.

Voici quelques valeurs de Φ, à connaître ou au moins à reconnaître.

x 0,5 1 1,2 1,96 2,5
Φ(x) 0,6915 0,8413 0,8849 0,9750 0,9938

Exemple

Un contrôle de fabrication. Le diamètre X, en millimètres, d'une pièce usinée suit la loi N(20;0,25), c'est-à-dire m=20 et σ=0,25=0,5. La pièce est conforme si son diamètre appartient à [19,4;20,6].

Centrons et réduisons : Z=X200,5 suit N(0,1), et

19,4X20,6    19,4200,5Z20,6200,5    1,2Z1,2.

Donc

P(19,4X20,6)=Φ(1,2)Φ(1,2)=Φ(1,2)(1Φ(1,2))=2Φ(1,2)1.

Avec Φ(1,2)0,8849, on obtient P2×0,88491=0,7698. Environ 77 % des pièces sont conformes.

Transferts : loi d'une fonction d'une variable à densité

Méthode

Déterminer la loi de Y=g(X) quand X est à densité. La méthode est toujours la même, et elle passe par la fonction de répartition, jamais directement par la densité.

  1. Déterminer Y(Ω), c'est-à-dire l'ensemble des valeurs prises par Y. Cela donne immédiatement les zones où FY vaut 0 ou 1.
  2. Écrire FY(x)=P(Yx)=P(g(X)x), puis résoudre l'inéquation g(X)x pour la ramener à un événement portant sur X seul. Attention au sens de l'inégalité, qui s'inverse en multipliant par un nombre négatif ou en appliquant une fonction décroissante.
  3. Exprimer le résultat avec FX, en se souvenant que P(X<c)=P(Xc)=FX(c) puisque X est à densité.
  4. Vérifier que FY est continue sur R et de classe C1 sauf en un nombre fini de points, ce qui prouve que Y est à densité, puis dériver pour obtenir fY, en choisissant librement les valeurs aux points de raccord.

La transformation affine

Propriété

Soit X une variable à densité, de densité fX, et soient a et b deux réels avec a0. Alors Y=aX+b est une variable à densité, et une densité de Y est

fY(t)=1afX ⁣(tba).

Démonstration. Distinguons les deux signes de a.

Cas a>0. Pour tout réel x, l'inégalité aX+bx équivaut à Xxba, car diviser par a>0 conserve le sens. Donc

FY(x)=FX ⁣(xba).

La fonction xxba est affine, donc de classe C1 sur R ; par composition, FY est continue sur R et de classe C1 partout sauf aux antécédents des points où FX ne l'est pas, en nombre fini. Donc Y est à densité et, en dérivant,

fY(x)=1afX ⁣(xba)=1afX ⁣(xba).

Cas a<0. Cette fois, diviser par a inverse l'inégalité : aX+bx équivaut à Xxba. Donc

FY(x)=P ⁣(Xxba)=1P ⁣(X<xba)=1FX ⁣(xba),

la dernière égalité utilisant P(X<c)=P(Xc), valable parce que X est à densité. Le même argument de composition montre que Y est à densité, et en dérivant,

fY(x)=1afX ⁣(xba)=1afX ⁣(xba),

puisque a=a lorsque a<0. Les deux cas donnent la même formule.

Exemple

Deux conséquences du programme.

a. Soient a<b. Si XU([0,1]), alors Y=a+(ba)X suit U([a,b]), et réciproquement.

Preuve. Le coefficient ba est strictement positif, donc fY(t)=1bafX ⁣(taba). Or fX vaut 1 sur [0,1] et 0 ailleurs, et taba[0,1] équivaut à t[a,b]. Donc fY(t)=1ba sur [a,b] et 0 ailleurs : c'est la densité de U([a,b]). La réciproque s'obtient en écrivant X=Yaba et en refaisant le même calcul.

b. Soient a0 et b réels. Si XN(m,σ2), alors aX+bN(am+b, a2σ2).

Preuve. Avec Y=aX+b,

fY(t)=1a×1σ2πexp ⁣(12σ2(tbam)2).

Or tbam=tbama, donc son carré vaut (t(am+b))2a2, et l'exposant devient (t(am+b))22a2σ2. Comme aσ=a2σ2, on reconnaît exactement la densité de N(am+b, a2σ2).

Le carré

Propriété

Soit X une variable à densité, de densité fX, et soit Y=X2. Alors FY(x)=0 pour x<0 et, pour x0,

FY(x)=FX ⁣(x)FX ⁣(x).

Lorsque la dérivée existe, c'est-à-dire pour x>0 et hors des points de non-dérivabilité de FX,

fY(x)=12x(fX ⁣(x)+fX ⁣(x)).

Démonstration. La variable Y=X2 est positive, donc pour x<0 l'événement [Yx] est impossible et FY(x)=0. Pour x0, l'inégalité X2x équivaut à xXx, donc

FY(x)=P ⁣(xXx)=FX ⁣(x)FX ⁣(x),

en utilisant que X est à densité, ce qui permet d'ignorer les bornes. Pour la densité, on dérive en x>0 par composition, la dérivée de xx étant 12x et celle de xx étant 12x :

fY(x)=12xfX ⁣(x)+12xfX ⁣(x).

Le programme se limitant à des densités ayant des limites finies en tout point, on choisira des situations où le facteur 12x ne s'emballe pas, c'est-à-dire où fX est nulle au voisinage de 0.

Exemple

Le carré d'une uniforme. Soit XU([1,2]) et Y=X2. Comme X prend ses valeurs dans [1,2], la variable Y prend les siennes dans [1,4].

Pour x<1, FY(x)=0 ; pour x>4, FY(x)=1. Pour 1x4, on a x[1,2] et x<1, donc FX ⁣(x)=0 et

FY(x)=FX ⁣(x)=x121=x1.

Cette fonction est continue sur R (elle vaut 0 en x=1 et 1 en x=4) et de classe C1 sauf en 1 et en 4 : Y est bien à densité, de densité

fY(x)=12xsur ]1,4[,fY(x)=0ailleurs.

On contrôle : fY est comprise entre 14 et 12, donc bornée, et 14dx2x=[x]14=21=1.

L'exponentielle

Propriété

Soit X une variable à densité et soit Y=eX. Alors FY(x)=0 pour x0 et FY(x)=FX(lnx) pour x>0. Lorsque la dérivée existe,

fY(x)=1xfX(lnx)pour x>0,fY(x)=0pour x<0.

Démonstration. La variable Y=eX est strictement positive, donc FY(x)=0 pour x0. Pour x>0, la fonction ln étant strictement croissante sur R+, l'inégalité eXx équivaut à Xlnx, d'où FY(x)=FX(lnx). On dérive par composition, la dérivée de ln étant x1x.

Exemple

L'exponentielle d'une uniforme. Soit XU([0,1]) et Y=eX. Comme X prend ses valeurs dans [0,1] et que exp est croissante, Y prend les siennes dans [1,e].

Pour 1xe, on a lnx[0,1], donc FY(x)=FX(lnx)=lnx. On complète par FY(x)=0 si x<1 et FY(x)=1 si x>e, et l'on vérifie la continuité aux raccords : ln1=0 et lne=1. Donc Y est à densité, de densité

fY(x)=1xsur ]1,e[,fY(x)=0ailleurs,

fonction bornée entre 1e et 1, d'intégrale [lnx]1e=1.

Simuler une loi exponentielle à partir d'une loi uniforme

Propriété

Soient λ>0 et Y une variable suivant la loi uniforme sur [0,1[. Alors la variable

X=1λln(1Y)

suit la loi exponentielle E(λ).

Démonstration. D'abord, X est bien définie : Y prend ses valeurs dans [0,1[, donc 1Y prend les siennes dans ]0,1], ensemble sur lequel ln est définie. De plus ln(1Y)0, donc X0, et FX(x)=0 pour x<0.

Soit maintenant x0. En multipliant par λ<0, ce qui inverse l'inégalité, puis en appliquant l'exponentielle, qui est strictement croissante :

Xx      1λln(1Y)x     ln(1Y)λx     1Yeλx     Y1eλx.

Comme x0, le réel 1eλx appartient à [0,1[, intervalle sur lequel la fonction de répartition de Y vaut FY(u)=u. Donc

FX(x)=P ⁣(Y1eλx)=1eλx.

On reconnaît la fonction de répartition de E(λ), donc XE(λ).

C'est le principe de la simulation informatique d'une loi exponentielle : un générateur de nombres pseudo-aléatoires fournit une valeur uniforme sur [0,1[, et la formule ci-dessus la transforme en une valeur exponentielle.

Variables aléatoires quelconques : indépendance et opérations

Le programme est ici d'une netteté rare, et il faut la citer : « la définition de l'espérance ou des moments d'ordre supérieur d'une variable aléatoire quelconque est hors d'atteinte dans le cadre de ce programme ». Tous les résultats de cette section sont donc admis. On les utilise sans les démontrer, et sans se demander comment E(X) serait définie pour une variable ni discrète ni à densité : on admet qu'une telle définition existe et qu'elle prolonge les deux cas connus.

Indépendance

Définition

Deux variables aléatoires réelles X et Y sont indépendantes lorsque, pour tous intervalles I et J de R,

P([XI][YJ])=P(XI)P(YJ).

Définition

Les variables X1,,Xn sont mutuellement indépendantes lorsque, pour tous intervalles I1,,In de R,

P(k=1n[XkIk])=k=1nP(XkIk).

Une suite (Xn)nN est dite indépendante lorsque toute sous-famille finie l'est.

Comme pour les variables discrètes, l'indépendance deux à deux est plus faible que l'indépendance mutuelle : trois variables peuvent être indépendantes deux à deux sans l'être mutuellement. Dans les énoncés, l'indépendance est presque toujours une hypothèse fournie, jamais quelque chose à démontrer.

Propriété

Lemme des coalitions (admis). Soient X1,,Xn des variables mutuellement indépendantes et soit p un entier tel que 1p<n. Si f est une fonction de p variables et g une fonction de np variables, alors les variables

f(X1,,Xp)etg(Xp+1,,Xn)

sont indépendantes.

Ce lemme est l'outil qui permet de séparer un échantillon en deux blocs disjoints et de traiter les deux blocs comme indépendants. Sa condition d'emploi est simple mais impérative : les deux paquets d'indices doivent être disjoints. Les variables X1+X2 et X2+X3 ne sont pas indépendantes, puisqu'elles partagent X2.

Opérations sur l'espérance et la variance

Propriété

Propriétés opératoires (toutes admises). Soient X et Y deux variables aléatoires réelles admettant une espérance, et soient a et b deux réels.

  1. Linéarité : aX+bY admet une espérance et E(aX+bY)=aE(X)+bE(Y). Plus généralement, si X1,,Xn admettent une espérance, alors E(k=1nXk)=k=1nE(Xk).
  2. Croissance : si XY, alors E(X)E(Y). En particulier, si X0, alors E(X)0.

Propriété

Produit et variance d'une somme (admis). Soient X et Y deux variables indépendantes.

  1. Si X et Y admettent une espérance, alors XY en admet une et E(XY)=E(X)E(Y).
  2. Si X et Y admettent une variance, alors X+Y en admet une et V(X+Y)=V(X)+V(Y).

Plus généralement, si X1,,Xn sont mutuellement indépendantes et admettent une variance,

V(k=1nXk)=k=1nV(Xk).

Trois points de vigilance, qui reviennent à chaque copie. L'espérance d'une somme ne demande aucune hypothèse d'indépendance ; la variance d'une somme, si. L'implication du point 1 ne se retourne pas : E(XY)=E(X)E(Y) n'entraîne pas l'indépendance. Enfin, la variance n'est pas linéaire : V(aX)=a2V(X), avec un carré, et V(XY)=V(X)+V(Y) pour des variables indépendantes, avec un plus, car V(Y)=(1)2V(Y)=V(Y).

Exemple

Une somme de variables normales. Soient XN(10,4) et YN(6,9) indépendantes. Alors X+Y suit une loi normale, d'espérance 10+6=16 et de variance 4+9=13, c'est-à-dire X+YN(16,13), d'écart-type 133,61.

De même, XY suit une loi normale d'espérance 106=4 et de variance V(X)+V(Y)=4+9=13, donc XYN(4,13). La variance de la différence est bien la somme des variances.

Inégalités de concentration et loi faible des grands nombres

L'inégalité de Markov

Propriété

Inégalité de Markov. Soit X une variable aléatoire positive admettant une espérance. Alors, pour tout réel a>0,

P(Xa)E(X)a.

Démonstration dans le cas d'une variable à densité. Soit f une densité de X, nulle sur ],0[ puisque X est positive. Soit a>0 et soit A>a. Sur le segment [a,A], on a ta et f(t)0, donc tf(t)af(t), et par croissance de l'intégrale sur un segment

aAtf(t)dtaaAf(t)dt=a(F(A)F(a)).

Par ailleurs 0atf(t)dt0, toujours parce que l'intégrande est positif, donc

0Atf(t)dta(F(A)F(a)).

Les deux membres admettent une limite quand A tend vers +, à gauche E(X) par hypothèse, à droite a(1F(a)) ; le passage à la limite conserve l'inégalité large :

E(X)a(1F(a))=aP(X>a)=aP(Xa),

la dernière égalité parce que P(X=a)=0 pour une variable à densité. En divisant par a>0, on obtient l'inégalité annoncée.

Démonstration dans le cas discret. Supposons X(Ω) fini ou dénombrable, contenu dans R+. Tous les termes des sommes ci-dessous sont positifs, donc les manipulations sont licites :

E(X)=xX(Ω)xP(X=x)xX(Ω)xaxP(X=x)xX(Ω)xaaP(X=x)=aP(Xa).

La première inégalité retire des termes positifs, la seconde minore chaque x par a. On divise par a>0.

Le programme précise que ce résultat n'est pas exigible en tant que tel, mais qu'on peut l'appliquer à Xr : pour r>0 et a>0, l'événement [Xa] est égal à [Xrar], donc

P(Xa)E(Xr)ar,

dès que Xr admet une espérance. Le cas r=2 conduit directement au résultat suivant.

L'inégalité de Bienaymé-Tchebychev

Propriété

Inégalité de Bienaymé-Tchebychev. Soit X une variable aléatoire admettant une espérance m et une variance V(X). Alors, pour tout réel ε>0,

P(Xmε)V(X)ε2.

Démonstration. Posons Y=(Xm)2. C'est une variable positive, et elle admet une espérance, égale à V(X) par définition de la variance. L'inégalité de Markov, applicable à Y avec le réel strictement positif a=ε2, donne

P(Yε2)E(Y)ε2=V(X)ε2.

Il reste à identifier l'événement de gauche. Pour un réel positif u, l'inégalité u2ε2 équivaut à uε puisque la fonction carré est croissante sur R+. Appliqué à u=Xm, cela donne

[Yε2]=[(Xm)2ε2]=[Xmε].

D'où le résultat. La démonstration vaut telle quelle dans le cas discret et dans le cas à densité, puisque l'inégalité de Markov a été établie dans les deux cas.

L'inégalité de Bienaymé-Tchebychev a une qualité et un défaut, et il faut connaître les deux. Sa qualité : elle ne suppose rien sur la loi de X, seulement l'existence d'une variance. Son défaut : elle est très grossière. Pour une variable normale, elle annonce P(Xm2σ)0,25 alors que la valeur exacte est d'environ 0,046. On l'utilise donc quand la loi est inconnue, ou pour obtenir une majoration valable en toute généralité.

Exemple

Une majoration sans connaître la loi. Une machine produit des pièces dont la masse X, en grammes, a pour espérance m=100 et pour écart-type σ=5. Sans rien savoir de plus, majorons la probabilité que la masse s'écarte de plus de 15 grammes de la moyenne :

P(X10015)25152=25225=190,111.

Au plus 11,1 % des pièces s'écartent de la moyenne de plus de trois écarts-types. Par passage au contraire, au moins 88,9 % des pièces ont une masse comprise strictement entre 85 et 115 grammes.

La loi faible des grands nombres

Définition

Soit (Xn)n1 une suite de variables aléatoires. Pour n1, on note

Sn=k=1nXketXn=Snn=1nk=1nXk.

La variable Xn est appelée moyenne empirique des n premières variables.

Propriété

Soit (Xn) une suite de variables indépendantes, de même loi, admettant une espérance m et une variance σ2. Alors, pour tout n1,

E(Xn)=metV(Xn)=σ2n.

Démonstration. Toutes les Xk ont la même loi, donc la même espérance m et la même variance σ2. Par linéarité de l'espérance, qui ne réclame aucune indépendance,

E(Xn)=1nk=1nE(Xk)=1n×nm=m.

Pour la variance, on utilise d'abord V(aX)=a2V(X) avec a=1n, puis l'additivité de la variance, qui elle exige l'indépendance :

V(Xn)=1n2V(k=1nXk)=1n2k=1nV(Xk)=1n2×nσ2=σ2n.

Ces deux formules sont le cœur de tout ce qui suit, et il faut en comprendre le contraste. La moyenne empirique est centrée sur la bonne valeur quel que soit n : en moyenne, elle ne se trompe pas. Et sa dispersion décroît en 1n : plus l'échantillon est grand, plus elle se resserre autour de m. L'écart-type, lui, décroît en σn, ce qui signifie qu'il faut multiplier la taille de l'échantillon par 4 pour diviser l'incertitude par 2.

Propriété

Loi faible des grands nombres. Soit (Xn) une suite de variables indépendantes, de même loi, admettant une espérance m et une variance σ2. Alors, pour tout réel ε>0,

limn+P(Xnmε)=0.

Démonstration. Soit ε>0. La variable Xn admet une espérance égale à m et une variance égale à σ2n, donc l'inégalité de Bienaymé-Tchebychev s'applique :

0P(Xnmε)σ2nε2.

Le membre de droite est le terme général d'une suite qui tend vers 0 quand n tend vers +, puisque σ2 et ε2 sont des constantes. Par le théorème d'encadrement, la probabilité du milieu tend vers 0.

Fréquence cumulée de succès au cours de 500 épreuves de Bernoulli de paramètre 0,5, avec la droite horizontale d'équation y égale 0,5

La figure illustre le cas des épreuves de Bernoulli de paramètre 0,5. La fréquence cumulée de succès oscille beaucoup au début, quand n est petit, puis se stabilise autour de 0,5. Notez bien ce que la loi faible affirme, et ce qu'elle n'affirme pas : elle ne dit pas que la courbe finit par coller à la droite, elle dit que la probabilité de s'en écarter de plus de ε tend vers 0.

Exemple

Quelle taille d'échantillon ? On lance une pièce équilibrée n fois et l'on note Fn la fréquence de « pile ». On veut que la probabilité que Fn s'écarte de 0,5 d'au moins 0,01 soit inférieure à 0,05.

Ici σ2=0,5×0,5=0,25, donc Bienaymé-Tchebychev donne

P(Fn0,50,01)0,25n×0,012=0,250,0001n.

La condition 0,250,0001n0,05 équivaut à n0,250,0001×0,05=50000.

Il suffit donc de 50000 lancers. Ce nombre est très largement surestimé, parce que l'inégalité de Bienaymé-Tchebychev est grossière ; le théorème limite central, à la section suivante, ramènera l'exigence à environ 10000 lancers.

Convergence en loi, théorème limite central et approximations

La convergence en loi

Définition

Soit (Xn) une suite de variables aléatoires réelles et soit X une variable aléatoire réelle. On dit que (Xn) converge en loi vers X lorsque

limn+FXn(x)=FX(x)

en tout point xFX est continue. On note alors

Xnn+LX.

Deux remarques sur cette définition. D'abord, elle ne porte que sur les lois : les variables Xn et X n'ont aucune raison d'être définies sur le même espace probabilisé, et il ne se passe rien « point par point ». Ensuite, la restriction aux points de continuité de FX n'est pas un détail technique gratuit : sans elle, la définition serait trop exigeante et beaucoup de convergences naturelles seraient perdues.

Propriété

Caractérisation pour des variables entières (admis). Si les variables Xn et X sont toutes à valeurs dans Z, alors

Xnn+LX    kZ,limn+P(Xn=k)=P(X=k).

Pour des variables entières, il suffit donc de faire converger les probabilités ponctuelles, ce qui est en général beaucoup plus simple que de manipuler des fonctions de répartition en escalier.

Propriété

Convergence de la loi binomiale vers la loi de Poisson. Soit λ>0. Pour n assez grand pour que λn1, soit XnB ⁣(n,λn), et soit XP(λ). Alors

Xnn+LX.

Démonstration. Les variables Xn et X sont à valeurs entières, donc il suffit, d'après la caractérisation admise, de montrer que P(Xn=k)P(X=k) pour tout entier naturel k fixé. Écrivons

P(Xn=k)=(nk)(λn)k(1λn)nk=n(n1)(nk+1)nkAn×λkk!×(1λn)nkBn.

Limite de An. Le numérateur est un produit de k facteurs, donc

An=nn×n1n××nk+1n=1×(11n)××(1k1n).

L'entier k étant fixé, ce produit compte un nombre fixe de facteurs, chacun tendant vers 1 : donc An1.

Limite de Bn. Pour n assez grand, 1λn>0, et l'on peut écrire

Bn=exp((nk)ln ⁣(1λn)).

Le développement limité de ln(1+u) à l'ordre 1 au voisinage de 0 donne ln ⁣(1λn)=λn+o ⁣(1n), donc

(nk)ln ⁣(1λn)=(nk)(λn+o ⁣(1n))=λ+kλn+o(1)n+λ.

Par continuité de l'exponentielle, Bneλ.

Conclusion. En multipliant les limites,

P(Xn=k)n+1×λkk!×eλ=eλλkk!=P(X=k).

Ce résultat est la justification théorique de l'approximation « binomiale par Poisson » : quand on répète un très grand nombre de fois une épreuve dont la probabilité de succès est très petite, avec un nombre moyen de succès np modéré, la loi de Poisson de paramètre np décrit bien le nombre de succès.

Exemple

Une chaîne de Markov qui converge en loi. Reprenons la chaîne à deux états de matrice M=(0,80,20,30,7), dont le graphe est complet (les quatre arcs existent, boucles comprises). On a établi que, pour tout état initial V0=(p1p),

Vn=(0,6+(p0,6)×0,5n 0,4(p0,6)×0,5n).

Donc P(Xn=1)0,6 et P(Xn=2)0,4. Les variables Xn étant à valeurs dans {1,2}, donc dans Z, la caractérisation admise s'applique : (Xn) converge en loi vers la variable X définie par P(X=1)=0,6 et P(X=2)=0,4, c'est-à-dire vers la loi décrite par l'état stable.

C'est l'interprétation probabiliste de l'état stable : au bout de longtemps, la position du système est distribuée selon V, quelle que soit sa position de départ.

Le théorème limite central

Propriété

Théorème limite central (admis). Soit (Xn)n1 une suite de variables aléatoires indépendantes, de même loi, admettant une espérance m et une variance σ2 non nulle. On pose Sn=X1++Xn. Alors la suite des variables centrées réduites

Sn=Snnmσn=Xnmσ/n

converge en loi vers une variable suivant la loi N(0,1). Autrement dit, pour tout réel x,

limn+P(Snnmσnx)=Φ(x).

Histogramme de la loi binomiale de paramètres 30 et 0,25 centrée et réduite, superposé à la densité de la loi normale centrée réduite

La figure prend XB(30;0,25), d'espérance 30×0,25=7,5 et de variance 30×0,25×0,75=5,625, donc d'écart-type 5,6252,37. L'histogramme de X7,52,37 épouse déjà nettement la courbe en cloche, alors que n=30 seulement. Une loi binomiale est en effet une somme de n variables de Bernoulli indépendantes de même loi : le théorème limite central s'y applique directement, et c'est le prototype de son usage.

Mesurez la portée de l'énoncé. La loi commune des Xk est quelconque : discrète ou à densité, symétrique ou non, peu importe. Seules trois hypothèses comptent, et ce sont exactement celles qu'il faut vérifier avant d'invoquer le théorème : indépendance, même loi, existence d'une variance non nulle. La conclusion, elle, est toujours la même loi normale centrée réduite. C'est cette universalité qui explique la place de la loi normale dans toutes les sciences expérimentales.

Les approximations usuelles

Le programme est explicite : « toutes les indications devront être fournies aux candidats quant à la justification de l'utilisation des approximations ». Un énoncé de concours vous dira donc par quelle loi approcher, et souvent avec quels seuils. Les conditions usuelles, données ici à titre de repère, sont les suivantes.

Méthode

Choisir une approximation.

  1. Binomiale par Poisson : B(n,p)P(np) lorsque n est grand (n30), p petit (p0,1) et np modéré (np15). Justification : la convergence en loi démontrée plus haut.
  2. Binomiale par normale : B(n,p)N(np, np(1p)) lorsque n30, np5 et n(1p)5. Justification : le théorème limite central appliqué à une somme de n variables de Bernoulli.
  3. Poisson par normale : P(λ)N(λ,λ) lorsque λ est grand (λ15). Justification : une variable de Poisson de paramètre λ=nμ est de même loi qu'une somme de n variables de Poisson indépendantes de paramètre μ.

Dans les trois cas, on vérifie les conditions par écrit avant d'approcher, et l'on conserve les paramètres de la loi de départ : l'espérance et la variance de la loi approchante sont celles de la loi exacte.

Exemple

Une binomiale approchée par une normale. Soit XB(100;0,5), par exemple le nombre de « pile » en 100 lancers d'une pièce équilibrée. Les conditions sont remplies : n=10030, np=505 et n(1p)=505.

On approche donc la loi de X par N(50, 25), d'écart-type σ=5. Alors

P(X60)Φ ⁣(60505)=Φ(2)0,9772.

La valeur exacte, calculée par la formule binomiale, vaut 0,9824 : l'approximation est bonne à cinq millièmes près, sans avoir eu à sommer 61 coefficients binomiaux.

Exemple

Une loi de Poisson approchée par une normale. Un standard reçoit un nombre d'appels par heure X suivant P(25). Comme λ=2515, on approche par N(25,25), d'écart-type 5. Alors

P(X30)Φ ⁣(30255)=Φ(1)0,8413,

et la probabilité de recevoir plus de 30 appels est d'environ 10,8413=0,1587.

Estimation ponctuelle et par intervalle de confiance

Le programme prévient : « ce paragraphe ne doit pas faire l'objet d'un exposé théorique ». On installe donc le vocabulaire minimal, puis on calcule.

Le cadre

Définition

On observe une grandeur dont la loi appartient à une famille de lois indexée par un paramètre inconnu θ (par exemple θ=p pour une loi de Bernoulli, θ=λ pour une loi de Poisson, θ=m pour une loi normale d'écart-type connu). On appelle :

  • n-échantillon de la loi de X toute famille (X1,,Xn) de variables indépendantes et de même loi que X ;
  • estimateur de θ toute variable aléatoire de la forme Tn=ϕ(X1,,Xn), dont l'expression ne dépend pas de θ ;
  • estimation la valeur ϕ(x1,,xn) obtenue en remplaçant les variables par les valeurs observées x1,,xn.

La distinction entre l'estimateur et l'estimation est celle entre une variable aléatoire et un nombre. L'estimateur Tn est une variable aléatoire : elle a une loi, une espérance, une variance, et elle change si l'on refait l'expérience. L'estimation est le nombre que l'on obtient une fois l'expérience faite. On peut calculer E(Tn) ; on ne peut pas calculer l'espérance d'une estimation, qui n'est qu'un réel.

La moyenne empirique

Propriété

Soit (X1,,Xn) un n-échantillon d'une loi d'espérance m et de variance σ2. Alors la moyenne empirique

Xn=1nk=1nXk

vérifie

E(Xn)=metV(Xn)=σ2n.

La démonstration a été faite à la section « Inégalités de concentration et loi faible des grands nombres » : linéarité pour l'espérance, indépendance pour la variance. Ces deux égalités disent tout ce qu'il faut savoir sur Xn comme estimateur de m. D'une part E(Xn) vaut exactement le paramètre cherché : en moyenne sur un grand nombre de répétitions de l'expérience, l'estimateur vise juste. C'est ce calcul de E(Tn), et la constatation qu'il redonne le paramètre, qu'on attend systématiquement d'un estimateur. D'autre part V(Xn) tend vers 0, ce qui traduit la précision croissante avec la taille de l'échantillon.

Exemple

Le cas de Bernoulli. Soit (X1,,Xn) un n-échantillon de la loi B(p), où Xk vaut 1 si la k-ième personne interrogée est favorable et 0 sinon. Alors Xn est la fréquence de personnes favorables dans l'échantillon, souvent notée Fn. Comme E(Xk)=p et V(Xk)=p(1p),

E(Fn)=petV(Fn)=p(1p)n.

La fréquence observée est donc un estimateur naturel de la proportion inconnue p. Sur 1000 personnes dont 520 sont favorables, l'estimation de p vaut 5201000=0,52.

L'estimateur du maximum de vraisemblance

Le principe est le suivant, et le programme demande de l'expliquer plutôt que de le théoriser. On a observé les valeurs x1,,xn. Pour chaque valeur possible du paramètre θ, on calcule la probabilité d'observer précisément ces valeurs-là, quantité appelée vraisemblance. On retient alors la valeur de θ qui rend l'observation la plus probable.

Définition

Soit (X1,,Xn) un n-échantillon d'une loi discrète dépendant d'un paramètre θ. La vraisemblance de l'observation (x1,,xn) est

L(x1,,xn;θ)=k=1nPθ(X=xk),

le produit venant de l'indépendance. L'estimateur du maximum de vraisemblance est obtenu en cherchant la valeur de θ qui maximise L, puis en remplaçant les observations xk par les variables Xk.

Méthode

Chercher un maximum de vraisemblance.

  1. Écrire L(θ) comme un produit, en utilisant l'indépendance, puis regrouper les facteurs à l'aide de s=x1++xn.
  2. Passer au logarithme : lnL atteint son maximum au même endroit que L, puisque ln est strictement croissante, et transforme le produit en somme.
  3. Dériver lnL par rapport à θ, chercher le point d'annulation, et étudier le signe de la dérivée pour prouver qu'il s'agit bien d'un maximum. Un simple « la dérivée s'annule » ne suffit pas.
  4. Conclure en remplaçant les xk par les Xk dans l'expression obtenue.

Exemple

Maximum de vraisemblance pour une loi de Bernoulli. Soit (X1,,Xn) un n-échantillon de B(θ), avec θ]0,1[ inconnu. Les observations xk valent 0 ou 1, et l'on pose s=k=1nxk, le nombre de succès observés. Comme Pθ(X=x)=θx(1θ)1x pour x{0,1},

L(θ)=k=1nθxk(1θ)1xk=θs(1θ)ns.

Supposons 0<s<n, de sorte que L ne s'annule pas sur ]0,1[, et passons au logarithme :

lnL(θ)=slnθ+(ns)ln(1θ).

Cette fonction est dérivable sur ]0,1[, et

(lnL)(θ)=sθns1θ=s(1θ)(ns)θθ(1θ)=snθθ(1θ).

Le dénominateur est strictement positif sur ]0,1[, donc la dérivée a le signe de snθ : elle est strictement positive pour θ<sn et strictement négative pour θ>sn. La fonction lnL croît puis décroît : elle atteint son maximum en θ=sn.

L'estimateur du maximum de vraisemblance de p est donc

Tn=1nk=1nXk=Xn,

c'est-à-dire la fréquence empirique de succès. Restent les deux cas écartés en cours de route : s=0 et s=n donnent respectivement L(θ)=(1θ)n et L(θ)=θn. Sur l'intervalle ouvert ]0,1[ ces deux fonctions sont strictement monotones, donc sans maximum ; c'est en étendant l'étude au segment [0,1] qu'on obtient un maximum, atteint respectivement en θ=0 et en θ=1, ce qui reste conforme à la formule sn. C'est la raison pour laquelle un énoncé impose presque toujours 0<s<n.

Exemple

Maximum de vraisemblance pour une loi de Poisson. Soit (X1,,Xn) un n-échantillon de P(θ), avec θ>0 inconnu, et soit s=k=1nxk. Comme Pθ(X=x)=eθθxx!,

L(θ)=k=1neθθxkxk!=enθθsk=1nxk!.

Supposons s>0 et passons au logarithme, le dernier terme étant une constante indépendante de θ :

lnL(θ)=nθ+slnθk=1nln(xk!).

En dérivant par rapport à θ sur ]0,+[,

(lnL)(θ)=n+sθ=snθθ.

Le dénominateur étant strictement positif, la dérivée est strictement positive pour θ<sn et strictement négative pour θ>sn : le maximum est atteint en θ=sn.

L'estimateur du maximum de vraisemblance de λ est donc, là encore, la moyenne empirique Xn. Ce n'est pas un hasard : pour une loi de Poisson, E(X)=λ, et il est rassurant que la méthode retrouve l'estimateur naturel.

Intervalle de confiance par l'inégalité de Bienaymé-Tchebychev

Définition

Soit α]0,1[. Un intervalle de confiance de θ au niveau de confiance 1α est un intervalle aléatoire [An,Bn], dont les bornes sont des variables aléatoires calculables à partir de l'échantillon, tel que

P(AnθBn)1α.

Attention au sens de cette écriture : ce n'est pas θ qui est aléatoire, mais l'intervalle. Le paramètre θ est un nombre fixe, inconnu ; ce sont les bornes qui changent d'un échantillon à l'autre. La phrase correcte est : « la probabilité que l'intervalle produit par la méthode contienne θ est au moins 1α ».

Propriété

Soit (X1,,Xn) un n-échantillon d'une loi d'espérance m inconnue et d'écart-type σ connu. Alors, pour tout α]0,1[,

[ Xnσnα ,  Xn+σnα ]

est un intervalle de confiance de m au niveau de confiance 1α.

Démonstration. La variable Xn admet pour espérance m et pour variance σ2n. L'inégalité de Bienaymé-Tchebychev donne, pour tout ε>0,

P(Xnmε)σ2nε2.

Choisissons ε de sorte que le majorant vaille exactement α :

σ2nε2=α    ε2=σ2nα    ε=σnα,

en ne retenant que la racine positive. Par passage au contraire,

P(Xnm<ε)1α.

Or Xnm<ε équivaut à Xnε<m<Xn+ε, ce qui entraîne l'appartenance de m à l'intervalle fermé. D'où le résultat.

Exemple

Un sondage, majoré par Bienaymé-Tchebychev. On interroge n=1000 personnes et 520 se déclarent favorables, soit une fréquence observée fn=0,52. On cherche un intervalle de confiance de la proportion p au niveau 0,95, donc avec α=0,05.

Ici σ2=p(1p), qui dépend du paramètre inconnu. On la majore : pour tout p[0,1], on a p(1p)14, car 14p(1p)=(p12)20. On prend donc σ12, ce qui ne peut qu'élargir l'intervalle, donc renforcer la garantie. Le rayon vaut

ε=1/21000×0,05=12500,0707.

L'intervalle de confiance au niveau 0,95 est donc, à trois décimales, [0,449;0,591].

Il est très large : il ne permet même pas d'affirmer que p dépasse 0,5. C'est le prix de la généralité de l'inégalité de Bienaymé-Tchebychev, qui n'utilise rien de la forme de la loi.

Estimation de la moyenne d'une loi normale d'écart-type connu

Propriété

Soit (X1,,Xn) un n-échantillon de la loi N(m,σ2), avec m inconnue et σ connu. Soit tα le quantile d'ordre 1α2 de la loi N(0,1), c'est-à-dire l'unique réel tel que Φ(tα)=1α2. Alors

[ Xntασn ,  Xn+tασn ]

est un intervalle de confiance de m au niveau exactement 1α. Pour α=0,05, on a tα=1,96.

Démonstration. Les Xk sont normales et indépendantes, donc leur somme Sn suit une loi normale, d'espérance nm et de variance nσ2. En multipliant par 1n, la propriété de transformation affine d'une normale donne

XnN ⁣(m, σ2n),doncZ=Xnmσ/nN(0,1).

Calculons P(Ztα). Par définition de Φ et par la relation Φ(x)=1Φ(x),

P(tαZtα)=Φ(tα)Φ(tα)=2Φ(tα)1=2(1α2)1=1α.

Enfin, Ztα équivaut successivement à Xnmtασn, puis à l'appartenance de m à l'intervalle annoncé. D'où le résultat, avec une égalité et non une simple minoration. Pour α=0,05, on cherche t tel que Φ(t)=0,975, et la table donne t=1,96.

Exemple

Un dosage industriel. La teneur en principe actif d'un comprimé suit une loi normale d'écart-type connu σ=3 milligrammes et d'espérance m inconnue. Sur un échantillon de n=100 comprimés, on mesure une teneur moyenne xn=12,4 milligrammes.

Au niveau de confiance 0,95, le rayon vaut 1,96×3100=1,96×0,3=0,588, et l'intervalle de confiance de m est

[12,40,588;12,4+0,588]=[11,812;12,988].

Variance empirique et intervalle de confiance asymptotique

En pratique, σ est rarement connu. On l'estime alors sur l'échantillon lui-même.

Définition

Soit (X1,,Xn) un n-échantillon. On appelle variance empirique la variable

Sn2=1nk=1n(XkXn)2,

et écart-type empirique sa racine carrée Sn=Sn2.

Certains énoncés définissent la variance empirique avec un dénominateur n1 au lieu de n ; la différence est négligeable pour n grand, et un exercice précise toujours la convention qu'il adopte. Lisez donc l'énoncé avant de calculer.

Propriété

Intervalle de confiance asymptotique. Soit (X1,,Xn) un n-échantillon d'une loi d'espérance m inconnue et de variance finie non nulle, et soit tα le quantile d'ordre 1α2 de N(0,1). Alors

P(XntαSnn  m  Xn+tαSnn)n+1α.

On dit que cet intervalle est un intervalle de confiance asymptotique de m au niveau 1α.

Ce résultat est une conséquence directe du théorème limite central, et le programme précise qu'il n'est pas exigible en l'état : tout exercice qui l'utilise vous en fournira la formule. Ce qu'il faut comprendre, c'est le sens du mot « asymptotique » : le niveau 1α n'est atteint qu'à la limite, donc l'intervalle n'offre aucune garantie pour un petit échantillon, contrairement à celui de Bienaymé-Tchebychev, qui est valable pour tout n.

Exemple

Le même sondage, affiné par le théorème limite central. Reprenons n=1000 et fn=0,52 pour une loi de Bernoulli. Ici Xk2=Xk puisque Xk{0,1}, donc

Sn2=1nk=1nXk2(Xn)2=Xn(Xn)2=fn(1fn),

en utilisant la version empirique de Kœnig-Huygens. Numériquement, Sn2=0,52×0,48=0,2496, donc Snn=0,249610000,0158, et le rayon vaut 1,96×0,01580,031.

L'intervalle de confiance asymptotique au niveau 0,95 est donc [0,489;0,551], contre [0,449;0,591] par Bienaymé-Tchebychev. Il est plus de deux fois plus court, pour le même échantillon et le même niveau de confiance : c'est le bénéfice du théorème limite central, qui exploite la forme de la loi limite au lieu de se contenter d'une majoration universelle. Il reste que 0,5 appartient encore à cet intervalle : avec 1000 personnes, on ne peut pas conclure à une majorité.

L'essentiel

Chaînes de Markov. La matrice de transition M se lit « ligne de départ, colonne d'arrivée », et ses lignes somment à 1. L'état Vn est une matrice ligne de probabilités, et la récurrence est Vn=Vn1M, donc Vn=V0Mn. L'état stable est la solution du système V=VM complété par v1++vr=1 ; sa transposée est un vecteur propre de tM pour la valeur propre 1. Sur un graphe complet, Vn converge vers l'état stable, quel que soit l'état initial.

Variables à densité. Une variable est à densité lorsque FX est continue sur R et de classe C1 sauf en un nombre fini de points ; une densité est alors fX=FX, complétée arbitrairement en ces points. On a FX(x)=xfX, P(X=a)=0, et P(aXb)=FX(b)FX(a). L'espérance existe si tfX(t)dt converge absolument, la variance se calcule par transfert puis Kœnig-Huygens.

Les trois lois.

Loi Densité E(X) V(X)
U([a,b]) 1ba sur [a,b] a+b2 (ba)212
E(λ) λeλt sur R+ 1λ 1λ2
N(m,σ2) 1σ2πexp ⁣((tm)22σ2) m σ2

Transferts. Toujours par la fonction de répartition : calculer FY(x)=P(g(X)x), se ramener à FX, vérifier la continuité, dériver. Les trois cas du programme sont aX+b, de densité 1afX ⁣(tba), le carré et l'exponentielle.

Concentration et limites. Markov : P(Xa)E(X)a pour X positive. Bienaymé-Tchebychev : P(Xmε)V(X)ε2. Loi faible des grands nombres : P(Xnmε)0. Théorème limite central : Snnmσn converge en loi vers N(0,1), sous les trois hypothèses d'indépendance, de même loi et de variance non nulle.

Estimation. Xn estime m, avec E(Xn)=m et V(Xn)=σ2n. Le maximum de vraisemblance, sur Bernoulli comme sur Poisson, redonne Xn. Deux intervalles de confiance de m au niveau 1α : celui de Bienaymé-Tchebychev, de rayon σnα, valable pour tout n ; celui issu du théorème limite central, de rayon tαSnn, valable asymptotiquement, avec tα=1,96 pour α=0,05.

Les erreurs à ne pas commettre

Affirmer une espérance sans vérifier la convergence absolue. L'existence de E(X) est une question, pas une évidence : elle se démontre avant tout calcul, et le chapitre fournit des contre-exemples explicites. Un calcul d'intégrale mené jusqu'au bout sans un mot sur la convergence ne vaut aucun point.

Confondre densité et probabilité. La quantité fX(t) n'est pas une probabilité : elle peut dépasser 1, comme la densité de U([0;0,5]), qui vaut 2. Seule l'aire sous la courbe est une probabilité.

Écrire P(X=a)0 pour une variable à densité. Tout événement ponctuel est de probabilité nulle. Corollaire : P(Xa)=P(X<a), et une inégalité stricte ou large donnent le même résultat, ce qu'il faut justifier une fois par la phrase « X est à densité ».

Appliquer Bienaymé-Tchebychev sans variance. L'inégalité, la loi faible des grands nombres et le théorème limite central exigent tous l'existence d'une variance. Une variable peut avoir une espérance et pas de variance ; dans ce cas, aucun de ces trois résultats ne s'applique.

Confondre VnM et MVn. L'état Vn est une matrice ligne de format 1×r, donc seul le produit VnM a un sens. Écrire MVn est une faute de dimension, pas une variante de notation.

Oublier que ce sont les lignes de M qui somment à 1. La ligne est l'état de départ. Additionner les colonnes pour vérifier une matrice de transition conduit à conclure qu'une matrice correcte est fausse, ou l'inverse.

Dériver FX en un point où la densité est discontinue. Aux points de raccord, FX n'est en général pas dérivable, et c'est permis : la définition tolère un nombre fini de tels points. On y choisit une valeur arbitraire positive pour fX, et l'on n'écrit jamais que FX est dérivable partout.

Intégrer par parties directement sur un intervalle non borné. Le programme l'interdit. On écrit « pour tout x>0, 0x », on effectue l'intégration par parties sur le segment, puis on fait tendre x vers + en justifiant chaque limite, croissances comparées à l'appui.

Utiliser le théorème limite central sans indépendance ni même loi. Ses trois hypothèses ne sont pas décoratives. Une somme de variables dépendantes, ou de lois différentes, ne relève pas de ce théorème, et l'invoquer quand même invalide tout ce qui suit.

Additionner des variances sans indépendance. E(X+Y)=E(X)+E(Y) est toujours vrai ; V(X+Y)=V(X)+V(Y) ne l'est que pour des variables indépendantes. Et pour une différence, les variances s'ajoutent encore.

Dire que « θ a 95 % de chances d'être dans l'intervalle ». Le paramètre est un nombre fixe ; c'est l'intervalle qui est aléatoire. La formulation correcte est : la méthode produit, dans 95 % des cas, un intervalle qui contient θ.

Oublier le sens de l'inégalité dans un transfert. Multiplier par un nombre négatif, ou appliquer une fonction décroissante, inverse l'inégalité, ce qui remplace FX par 1FX. C'est exactement ce qui distingue le cas a>0 du cas a<0 dans la densité de aX+b, et c'est la source d'erreurs la plus fréquente de la section « Transferts ».

Bloqué sur « Probabilités : chaînes de Markov, densités et estimation » ?

On peut le travailler ensemble dès cette semaine. La première heure est offerte — on fait le point honnêtement, et vous repartez au minimum avec une méthode.