ECG appliquées · Chapitre 15 · Quatrième semestre
Probabilités : chaînes de Markov, densités et estimation
2e année
Graphes probabilistes et chaînes de Markov, variables à densité, convergences, loi faible des grands nombres, estimation.
Sommaire
Ce qu'il faut savoir faire
- Graphes probabilistes et chaînes de Markov
- Variables à densité
- Convergences
- Loi faible des grands nombres
- Estimation
Jusqu'ici, toutes les variables aléatoires que vous avez rencontrées étaient discrètes : elles prenaient leurs valeurs dans un ensemble fini ou dénombrable, leur loi se lisait sur la liste des , et leur espérance était une somme ou une série. Ce cadre suffit à compter des pièces défectueuses, des appels ou des succès, mais il devient impuissant dès que la grandeur observée est une mesure continue : la durée de vie d'un composant, le temps d'attente d'un client, une taille, un rendement. Pour une telle grandeur, la question « quelle est la probabilité que la durée de vie vaille exactement ans ? » n'a aucun intérêt, car la réponse est ; la bonne question est « quelle est la probabilité qu'elle soit comprise entre et ans ? ». Ce basculement de la valeur ponctuelle vers l'intervalle est l'idée centrale de ce chapitre, et il a une conséquence technique immédiate : l'intégrale remplace la somme.
Avant d'y venir, le chapitre commence par un objet d'une autre nature, qui prolonge l'algèbre linéaire du troisième semestre. Un graphe probabiliste décrit un système qui, à chaque étape, se trouve dans l'un de quelques états possibles et passe de l'un à l'autre selon des probabilités fixées. Un client abonné à une offre A ou à une offre B, une machine en marche ou en panne, un joueur dans l'une de trois situations : à chaque fois, la dynamique se résume à une matrice carrée, la matrice de transition, et l'évolution du système se calcule par des produits matriciels. Toute la question devient alors : que devient le système au bout de longtemps ? La réponse tient en un vecteur propre pour la valeur propre , et l'algèbre linéaire répond à une question de probabilités. Le programme précise que tous les résultats de cette première partie sont admis ; les démonstrations données ici sont courtes et éclairantes, mais elles ne vous seront pas réclamées.
Le cœur du chapitre est la théorie des variables aléatoires à densité. On y définit une variable par sa fonction de répartition, on lui associe une densité, et l'on reconstruit tout le vocabulaire connu : espérance, variance, écart-type, transfert. Trois lois y jouent le rôle que jouaient la binomiale, la géométrique et la loi de Poisson chez les variables discrètes : la loi uniforme, qui modélise un tirage au hasard dans un intervalle, la loi exponentielle, qui modélise une durée de vie sans usure, et la loi normale, qui est la loi limite universelle de ce chapitre. Le programme impose ici un garde-fou dont il faut se souvenir en permanence : on se limite à des densités ayant des limites finies à gauche et à droite en tout point, ce qui signifie qu'aucune densité rencontrée ne s'envole vers l'infini en un point fini. Les seules bornes délicates d'une intégrale sont donc et , et toute intégration par parties ou tout changement de variable se pratique sur un segment, avant un passage à la limite explicite.
La quatrième partie enchaîne sur les convergences. Deux inégalités très simples, celle de Markov et celle de Bienaymé-Tchebychev, majorent la probabilité qu'une variable s'écarte de sa moyenne, sans rien connaître de sa loi. Elles suffisent à démontrer la loi faible des grands nombres, qui justifie enfin ce que l'intuition affirmait depuis toujours : la moyenne d'un grand nombre d'observations indépendantes se rapproche de l'espérance. Puis vient le théorème limite central, admis, qui va beaucoup plus loin en décrivant la forme des fluctuations autour de cette moyenne, et qui explique pourquoi la loi normale surgit partout.
La dernière partie, l'estimation, referme la boucle ouverte au premier semestre de la première année. Les statistiques descriptives résumaient des données observées ; les probabilités modélisaient une expérience ; l'estimation fait le pont entre les deux, en cherchant ce que des observations permettent d'affirmer sur le paramètre inconnu du modèle qui les a produites. On y construit des estimateurs, dont la moyenne empirique et l'estimateur du maximum de vraisemblance, puis des intervalles de confiance, d'abord par l'inégalité de Bienaymé-Tchebychev, ensuite, plus finement, par le théorème limite central. Le programme est explicite sur le ton à donner à ce paragraphe : il « ne doit pas faire l'objet d'un exposé théorique ». On y calcule, on y interprète, on n'y théorise pas.
Voici les notations en vigueur dans tout le chapitre. L'univers est noté , les variables aléatoires réelles , , , et les événements associés s'écrivent , , comme en première année. La fonction de répartition de est , définie par , et une densité de est notée . L'espérance est , la variance , l'écart-type . Le symbole se lit « suit la loi » : on écrit , , , et l'on conserve pour la loi binomiale et pour la loi de Poisson. La densité de la loi normale centrée réduite est notée et sa fonction de répartition . Pour les chaînes de Markov, le nombre d'états est , les sommets sont numérotés de à , la matrice de transition est , la chaîne est et son -ième état est la matrice ligne . Pour l'estimation, la taille de l'échantillon est , le paramètre inconnu , l'estimateur , la moyenne empirique et la variance empirique . Enfin, désigne la transposée de et le symbole marque la fin d'une démonstration.
Graphes probabilistes et matrice de transition
Le modèle
On observe un système qui, à chaque instant entier , se trouve dans exactement l'un de états possibles, numérotés de à . À chaque étape, il change d'état, ou reste où il est, selon des probabilités qui ne dépendent que de l'état courant et pas du passé. Ce mécanisme se dessine sous la forme d'un graphe orienté et pondéré.
Définition
Soit un entier supérieur ou égal à . Un graphe probabiliste à états est un graphe orienté dont les sommets sont numérotés de à , dans lequel chaque arc du sommet vers le sommet porte un poids appartenant à , et tel que, pour chaque sommet , la somme des poids des arcs issus de vaut :
Un arc absent du dessin correspond au poids . Une boucle sur le sommet porte le poids , probabilité de rester dans l'état .
Le poids se lit « sachant que le système est dans l'état , la probabilité qu'il soit dans l'état à l'étape suivante ». La condition de somme égale à n'est donc rien d'autre que la certitude d'être quelque part à l'étape suivante : partant de , le système va forcément dans l'un des états.
La matrice de transition
Définition
La matrice de transition du graphe probabiliste est la matrice carrée
dont le coefficient situé à la ligne et à la colonne est le poids de l'arc allant de vers .
Propriété
Une matrice de transition vérifie les deux propriétés suivantes.
- Tous ses coefficients appartiennent à .
- La somme des coefficients de chaque ligne vaut .
Une matrice carrée qui vérifie ces deux propriétés est appelée matrice stochastique.
Retenez le sens de lecture, car il est la source d'erreurs numéro un du chapitre : la ligne est l'état de départ, la colonne est l'état d'arrivée, et ce sont les lignes qui somment à , jamais les colonnes. Une matrice dont les colonnes sommeraient à existe aussi dans la littérature, mais ce n'est pas la convention du programme, et mélanger les deux rend tous les calculs faux.
Exemple
Un graphe à deux états. Un opérateur téléphonique propose deux forfaits, et . D'un mois sur l'autre, un client qui a le forfait le conserve avec la probabilité et bascule sur le forfait avec la probabilité ; un client qui a le forfait le conserve avec la probabilité et revient au forfait avec la probabilité .
La matrice de transition est
Contrôle immédiat : et . Les lignes somment bien à . Notez au passage que les colonnes, elles, somment à et à : cela n'a aucune importance et ne signale aucune erreur.
Exemple
Un graphe à trois états. Une enseigne suit ses clients, répartis en trois segments : pour les inactifs, pour les occasionnels, pour les fidèles. Les transitions d'un trimestre au suivant sont résumées par le graphe ci-dessous.
Sa matrice de transition est
et les trois lignes somment à , à et à .
Méthode
Construire la matrice de transition à partir d'un énoncé.
- Numéroter les états de à , dans l'ordre imposé par l'énoncé, et l'écrire noir sur blanc : « l'état est … ».
- Traiter les états un par un, dans l'ordre. Pour l'état , relire l'énoncé en se demandant : « si le système est en , où va-t-il, et avec quelles probabilités ? ». On remplit ainsi la ligne .
- Compléter par les probabilités manquantes. Un énoncé donne rarement tous les coefficients : quand une ligne comporte une seule case vide, la condition de somme égale à la remplit.
- Vérifier chaque ligne en additionnant ses coefficients. C'est le contrôle qui détecte instantanément une lecture en colonne.
Chaînes de Markov, états successifs et état stable
La chaîne associée à un graphe probabiliste
Définition
Soit un graphe probabiliste à états, de matrice de transition . On appelle chaîne de Markov associée à ce graphe une suite de variables aléatoires définies sur un même espace probabilisé, à valeurs dans , telle que désigne l'état du système à l'étape et que, pour tout entier et tous états et vérifiant ,
Cette égalité est la traduction exacte de la phrase « les coefficients de sont des probabilités conditionnelles ». Elle contient deux hypothèses distinctes, qu'il faut savoir séparer. D'abord, la probabilité de passer en ne dépend que de l'état immédiatement précédent, et non de tout l'historique : c'est la propriété dite de Markov, l'absence de mémoire du système. Ensuite, cette probabilité ne dépend pas non plus de l'étape : le mécanisme est le même à chaque instant, ce que l'on résume en disant que la chaîne est homogène. Toutes les chaînes du programme sont homogènes.
Le vecteur d'état
Définition
Soit une chaîne de Markov à états. On appelle -ième état de la chaîne la matrice ligne
La matrice est l'état initial.
Le vecteur n'est pas l'état du système : c'est la loi de , écrite en ligne. Ses coefficients sont positifs et leur somme vaut , puisque la famille est un système complet d'événements.
Propriété
Soit une chaîne de Markov de matrice de transition . Pour tout entier et tout état ,
ce qui s'écrit matriciellement
Démonstration. Le programme admet ce résultat, mais sa démonstration tient en trois lignes et il est bon de la connaître, car elle explique le sens de lecture de .
La variable est à valeurs dans , donc la famille est un système complet d'événements. La formule des probabilités totales appliquée à l'événement donne
Pour chaque indice tel que , la formule des probabilités composées donne
Pour un indice tel que , l'intersection est incluse dans , donc sa probabilité est nulle elle aussi, et le produit est nul également : l'égalité reste vraie. En sommant sur , on obtient bien
Reste à reconnaître un produit matriciel. Le coefficient de la colonne de la matrice ligne vaut, par définition du produit,
qui est exactement , c'est-à-dire le coefficient de la colonne de . Les deux matrices lignes ont donc les mêmes coefficients : .
Propriété
Avec les mêmes notations, pour tout entier naturel ,
Démonstration. Par récurrence sur . Pour , l'égalité s'écrit , qui est vraie. Supposons pour un entier naturel fixé. Alors, d'après la propriété précédente appliquée au rang ,
ce qui achève la récurrence.
Cette formule est la raison pour laquelle les chaînes de Markov apparaissent dans les sujets d'algèbre linéaire : calculer la loi de revient à calculer , donc à diagonaliser quand c'est possible.
Exemple
Trois mois de forfaits. Reprenons et supposons qu'au mois tous les clients ont le forfait , c'est-à-dire .
À chaque étape, la somme des deux coefficients vaut : c'est le contrôle à faire systématiquement. La proportion de clients au forfait décroît, de à puis puis , en se rapprochant visiblement d'une valeur limite. La section suivante identifie cette valeur.
L'état stable
Définition
Soit la matrice de transition d'un graphe probabiliste à états. On appelle état stable de la chaîne toute matrice ligne
à coefficients positifs, de somme égale à , et vérifiant
L'interprétation probabiliste est la suivante : si la loi de est donnée par , alors , puis , et de proche en proche pour tout . Autrement dit, un système lancé dans l'état stable y reste indéfiniment : les échanges entre les états ne cessent pas, mais ils se compensent exactement, et la répartition globale ne bouge plus.
Propriété
Soit une matrice ligne de dont la somme des coefficients vaut . Alors
c'est-à-dire si et seulement si est un vecteur propre de associé à la valeur propre .
Démonstration. La transposition est une bijection de sur , donc deux matrices lignes sont égales si et seulement si leurs transposées le sont :
Or la transposée d'un produit est le produit des transposées dans l'ordre inverse, donc . L'équivalence annoncée en découle :
Il reste à vérifier que est bien un vecteur propre, c'est-à-dire qu'il est non nul. C'est ici que sert l'hypothèse sur la somme : si était la colonne nulle, tous les seraient nuls et leur somme vaudrait , et non . Donc , et est un vecteur propre de associé à la valeur propre .
Propriété
Pour toute matrice de transition d'ordre , le réel est valeur propre de et de . En particulier, l'équation admet toujours une solution non nulle.
Démonstration. Notez la colonne de dont tous les coefficients valent . Le coefficient de la ligne de vaut , puisque chaque ligne de somme à . Donc , et comme , le réel est valeur propre de et est un vecteur propre associé.
La matrice n'est donc pas inversible, puisque son noyau contient qui est non nul, et par conséquent . Or transposer ne change pas le rang, et , donc : la matrice n'est pas inversible non plus, et est valeur propre de .
L'existence d'une solution non nulle à est donc toujours acquise. Ce qui n'est pas automatique, c'est que cette solution puisse être normalisée en un vecteur de probabilités, ni qu'elle soit unique, ni que converge vers elle. Le programme n'exige pas ces subtilités : sur les exemples traités, le calcul répond à la question.
Méthode
Déterminer l'état stable d'une chaîne à états.
- Poser pour , ou pour .
- Écrire l'égalité matricielle , ce qui donne équations, une par colonne de .
- Ajouter l'équation de normalisation , ou . Elle est indispensable : sans elle, le système est de rang et admet une infinité de solutions proportionnelles.
- Résoudre le système obtenu, en éliminant l'une des premières équations, qui est toujours redondante avec les autres.
- Vérifier en calculant et en contrôlant qu'on retrouve , puis que les coefficients sont positifs et de somme .
Exemple
L'état stable du graphe à deux états. Avec , on cherche vérifiant et . L'égalité s'écrit
Les deux équations sont opposées : elles n'en font qu'une, . Avec , on obtient , puis , donc et , d'où . L'état stable est
Vérification. . C'est bien .
À long terme, l'opérateur conservera donc de ses clients sur le forfait et sur le forfait , quelle que soit la répartition de départ, comme le laissait pressentir la suite calculée plus haut.
Exemple
L'état stable du graphe à trois états. Avec , on cherche avec et . En lisant colonne par colonne et en multipliant par pour chasser les décimaux, équivaut à
Résolution. La première équation combinée à donne , donc
Il reste alors . La troisième équation s'écrit , et en y remplaçant par on obtient , c'est-à-dire , donc
La deuxième équation, redondante, sert de contrôle : . L'état stable est
Ce résultat se vérifie en recalculant colonne par colonne, ce qu'il faut prendre l'habitude de faire systématiquement. Première colonne : . Deuxième colonne : . Troisième colonne : . On retrouve bien , dont les coefficients sont positifs et de somme .
Les comportements d'un graphe à deux états
Le programme demande d'observer, sur des exemples, les différents comportements possibles d'un graphe probabiliste à deux états, en précisant que ce savoir-faire n'est pas exigible. Voici la situation générale, qui se traite entièrement à la main.
Exemple
Les trois comportements. Soit , avec et dans , et soit .
Cas général : . L'état stable est , et la seconde valeur propre de vaut , de valeur absolue strictement inférieure à . On montre alors que , donc converge vers , quel que soit l'état initial.
Cas figé : . Alors , aucun échange n'a lieu, et pour tout . Tout vecteur de probabilités est un état stable, il n'y a pas unicité.
Cas alterné : . Alors , la seconde valeur propre vaut , et le système bascule d'un état à l'autre à chaque étape : oscille entre et . Il n'y a convergence que si , c'est-à-dire si l'on part déjà de l'unique état stable.
Exemple
Le cas de l'opérateur, traité complètement. Avec et , on a , donc la seconde valeur propre vaut et l'état stable est , conformément au calcul précédent.
Cherchons une matrice ligne propre pour la valeur propre . On résout avec : la première colonne donne , soit , donc . On prend , et l'on vérifie .
Avec , on écrit , ce qui se vérifie coordonnée par coordonnée. En multipliant fois par ,
Comme tend vers , on conclut . Pour , la formule donne et , conformes aux calculs directs.
Variables aléatoires à densité
Rappel : la fonction de répartition
Définition
Soit une variable aléatoire réelle définie sur un espace probabilisé . On appelle fonction de répartition de l'application définie sur par
Propriété
La fonction de répartition d'une variable aléatoire réelle vérifie :
- est croissante sur , à valeurs dans ;
- et ;
- pour tous réels , .
Démonstration. Les deux premiers points relèvent de la théorie générale et sont admis, conformément au programme, qui demande de ne soulever aucune difficulté sur l'ensemble des événements. Démontrons le troisième, qui est purement ensembliste. Soient . Un résultat vérifie si et seulement si ou , et ces deux cas s'excluent. Donc
réunion de deux événements incompatibles. L'additivité donne , d'où le résultat.
Une conséquence utile, obtenue par passage au contraire : .
Définition d'une variable à densité
Définition
Une variable aléatoire réelle est dite à densité lorsque sa fonction de répartition est
- continue sur tout entier, et
- de classe sur privé éventuellement d'un ensemble fini de points.
On appelle alors densité de toute fonction positive sur qui ne diffère de qu'en un nombre fini de points.
Trois remarques, à lire lentement. D'abord, la définition porte sur , pas sur : c'est toujours par la fonction de répartition qu'on démontre qu'une variable est à densité. Ensuite, une variable à densité n'a pas une densité mais des densités : les valeurs de aux quelques points où n'est pas dérivable sont libres, on les choisit comme on veut, en général de façon à rendre la formule aussi simple que possible. Enfin, le programme se restreint à des densités ayant des limites finies à gauche et à droite en tout point de : aucune densité de ce chapitre ne part vers l'infini au voisinage d'un point fini, et les seules bornes délicates d'une intégrale sont donc et .
Propriété
Soit une variable à densité, de densité . Alors, pour tout réel , l'intégrale converge et
En particulier, en faisant tendre vers ,
Propriété
Caractérisation d'une densité (admis). Soit une fonction définie sur , positive, continue sauf éventuellement en un nombre fini de points, et telle que converge et vaille . Alors il existe une variable aléatoire à densité dont est une densité.
Propriété
Dérivation d'une intégrale de densité (admis). Si est une densité, alors la fonction est de classe en tout point où est continue, et sa dérivée y vaut .
Ces deux résultats sont explicitement déclarés admis par le programme, et ils forment ensemble l'aller-retour fondamental du chapitre : d'une densité on remonte à une fonction de répartition par intégration, et d'une fonction de répartition on redescend à une densité par dérivation, sauf en un nombre fini de points, où l'on choisit une valeur arbitraire positive.
Calculs de probabilités avec une densité
Propriété
Soit une variable à densité de densité et de fonction de répartition . Pour tous réels :
- ;
- ;
- .
Démonstration. Montrons d'abord le point . Soit . Un résultat tel que vérifie en particulier , donc . La croissance de la probabilité donne alors
Comme est continue en , le membre de droite tend vers quand tend vers par valeurs positives. Le théorème d'encadrement impose .
Le point s'en déduit : par la propriété de la fonction de répartition, . Ajouter ou retirer les extrémités ne change rien, puisque . Enfin,
Le point est le passage au contraire, combiné à la relation de Chasles.
Le point est le point de rupture avec tout ce que vous connaissiez : pour une variable à densité, tout événement ponctuel est de probabilité nulle. Cela ne signifie pas qu'il est impossible, seulement que sa probabilité est nulle. Conséquence pratique : les inégalités strictes et larges deviennent interchangeables, ce qui simplifie beaucoup les calculs, mais il faut avoir justifié une fois pour toutes que est à densité.
Méthode
Montrer qu'une fonction est une densité. Trois vérifications, dans cet ordre, et toutes les trois rédigées.
- Positivité : pour tout réel .
- Continuité : est continue sur , sauf éventuellement en un nombre fini de points, que l'on cite.
- Intégrale égale à : on montre la convergence de et l'on calcule sa valeur, en découpant par Chasles là où l'expression de change, et en passant par un segment avant de faire tendre la borne vers l'infini.
Si l'énoncé introduit une constante inconnue, ce sont les points et qui la déterminent : le point donne une équation, le point tranche le signe.
Exemple
Une densité sur un segment. Soit définie par si et sinon. Déterminons .
La positivité impose , puisque sur . La fonction est continue sur sauf au point , où elle passe de à . Enfin, est nulle hors de , donc
intégrale d'une fonction continue sur un segment, donc sans aucun problème de convergence. La condition donne , valeur bien positive.
Fonction de répartition. Pour , . Pour ,
Pour , . On vérifie la continuité aux points de raccord : des deux côtés, et en . Par exemple et .
Exemple
Une densité sur un intervalle non borné. Soit définie par si et sinon.
Sur , on a , donc la positivité impose . La fonction est continue partout sauf en . Pour la troisième condition, on intègre d'abord sur un segment : pour tout réel ,
On fait ensuite tendre vers : la quantité ci-dessus tend vers , donc l'intégrale converge et vaut . La condition donne .
Notez que : la densité a bien une limite finie en , comme le programme l'exige.
Exemple
Trois fonctions à passer au crible.
a. sur : elle n'est pas positive, donc ce n'est pas une densité.
b. sur tout entier : elle est positive et continue, mais pour on a , qui tend vers quand tend vers . L'intégrale sur diverge, donc ce n'est pas une densité.
c. pour et sinon : elle est positive, continue sauf en , et son intégrale vaut . Celle-là est donc bien une densité. Le piège est ailleurs, et la section suivante le révèle : la variable correspondante n'a pas d'espérance.
Moments d'une variable à densité
L'espérance
Définition
Soit une variable à densité, de densité . On dit que admet une espérance lorsque l'intégrale
est absolument convergente. On pose alors
Lorsque , on dit que est centrée.
L'exigence de convergence absolue n'est pas une coquetterie : c'est elle qui rend indépendante de la façon dont on découpe l'intégrale. Elle se vérifie donc explicitement, et elle se vérifie avant d'écrire la moindre valeur de . Une simplification utile : si est nulle sur , alors partout, et la convergence entraîne la convergence absolue. C'est le cas de la plupart des lois de durée du chapitre.
Exemple
Une variable sans espérance. Soit de densité pour et sinon. C'est bien une densité, comme on l'a vu. Étudions l'espérance :
Quand tend vers , cette quantité tend vers : l'intégrale diverge, donc n'admet pas d'espérance.
Le phénomène est instructif. La variable prend des valeurs de plus en plus grandes avec des probabilités de plus en plus petites, mais la décroissance des probabilités n'est pas assez rapide pour compenser la croissance des valeurs. Une variable aléatoire parfaitement bien définie peut donc n'avoir aucune valeur moyenne.
Le théorème de transfert
Propriété
Théorème de transfert (admis). Soit une variable à densité, de densité nulle en dehors d'un intervalle , avec . Soit une fonction continue sur , sauf éventuellement en un nombre fini de points. Alors admet une espérance si et seulement si l'intégrale
est absolument convergente, et dans ce cas
Ce théorème est le pendant exact du transfert discret : la somme devient une intégrale, et la probabilité ponctuelle devient . Sa force est la même : on calcule sans jamais déterminer la loi de .
Variance et écart-type
Définition
Soit une variable à densité admettant une espérance . On dit que admet une variance lorsque admet une espérance, et l'on pose alors
L'écart-type de est .
Propriété
Formule de Kœnig-Huygens. Si admet une variance, alors
Démonstration. Posons . En développant le carré, . Les trois variables , et la constante admettent une espérance par hypothèse, donc la linéarité de l'espérance, admise par le programme pour les variables quelconques, donne
Dans la pratique, on calcule toujours par Kœnig-Huygens : l'intégrale est presque toujours plus simple que .
Propriété
Transformation affine. Soit une variable à densité admettant une espérance et une variance, et soient et deux réels. Alors admet une espérance et une variance, et
Démonstration. Appliquons le théorème de transfert à , continue sur . L'intégrale se scinde en , dont les deux morceaux convergent absolument par hypothèse ; la somme converge donc absolument, et
Pour la variance, notons , de sorte que . Alors
donc , et la linéarité de l'espérance donne . L'écart-type s'obtient en prenant la racine carrée, d'où le .
Définition
Soit une variable admettant une espérance et une variance non nulle, d'écart-type . La variable
est appelée variable centrée réduite associée à . Elle vérifie et .
Les deux égalités se lisent directement sur la propriété précédente, avec et : l'espérance devient et la variance devient .
Exemple
Une variable qui a une espérance mais pas de variance. Soit de densité pour et sinon, densité déjà validée plus haut.
Espérance. Pour , , qui tend vers . L'intégrande est positif, donc la convergence est absolue et .
Moment d'ordre . Par transfert avec , on étudie , qui tend vers . Donc n'admet pas d'espérance, et n'a pas de variance.
Une variable peut donc avoir une moyenne parfaitement définie et une dispersion infinie. Conséquence directe pour la suite du chapitre : l'inégalité de Bienaymé-Tchebychev, la loi faible des grands nombres et le théorème limite central ne s'appliquent pas à une telle variable.
Méthode
Calculer l'espérance et la variance d'une variable à densité.
- Écrire la densité et repérer l'intervalle hors duquel elle est nulle. L'intégrale ne porte que sur cet intervalle.
- Pour : étudier sur un segment, puis faire tendre la borne vers l'infini si nécessaire. Si est nulle sur , signaler que l'intégrande est positif, ce qui dispense d'étudier la valeur absolue.
- Pour : calculer par le théorème de transfert, en citant le théorème, puis appliquer Kœnig-Huygens.
- Contrôler la vraisemblance du résultat : obligatoirement, et doit tomber dans la plage des valeurs prises par .
Les trois lois à densité usuelles
La loi uniforme
Définition
Soient et deux réels avec . On dit que suit la loi uniforme sur , et l'on note , lorsque admet pour densité la fonction
C'est bien une densité : la fonction est positive puisque , elle est continue sauf aux deux points et , et son intégrale vaut . Cette loi modélise le tirage « au hasard » d'un nombre dans l'intervalle , au sens où la probabilité de tomber dans un sous-intervalle ne dépend que de sa longueur, et pas de sa position.
Propriété
Si , sa fonction de répartition est
Démonstration. Pour , la densité est nulle sur , donc . Pour , la relation de Chasles et la nullité de avant donnent
Pour , on ajoute l'intégrale de sur , qui est nulle, donc . On vérifie la continuité aux raccords : en , les deux expressions valent ; en , elles valent .
Propriété
Si , alors admet une espérance et une variance, et
Démonstration. La densité est nulle hors de , donc toutes les intégrales sont des intégrales de fonctions continues sur un segment : aucune question de convergence ne se pose.
Espérance.
Moment d'ordre . Par le théorème de transfert appliqué à ,
en utilisant la factorisation .
Variance. Par Kœnig-Huygens,
L'espérance est le milieu de l'intervalle, ce qui était prévisible par symétrie. La variance, elle, ne dépend que de la longueur de l'intervalle, ce qui est cohérent : déplacer l'intervalle sans le déformer déplace la moyenne sans changer la dispersion.
Exemple
Un temps d'attente uniforme. Un bus passe toutes les minutes, et un voyageur arrive à l'arrêt à un instant quelconque, sans consulter les horaires. Son temps d'attente , en minutes, suit .
Il attend en moyenne minutes, avec , donc minutes. La probabilité qu'il attende plus de minutes vaut
La loi exponentielle
Définition
Soit un réel strictement positif. On dit que suit la loi exponentielle de paramètre , et l'on note , lorsque admet pour densité la fonction
Les trois courbes partent respectivement des ordonnées , et en , puis décroissent vers : plus est grand, plus la densité est concentrée près de l'origine, donc plus la durée modélisée est courte.
Propriété
Si , sa fonction de répartition est
En particulier, pour tout .
Démonstration. Vérifions d'abord que est une densité. Elle est positive, continue sur sauf éventuellement en , et pour tout ,
Comme , la quantité tend vers quand tend vers , donc l'intégrale converge et vaut .
Le calcul ci-dessus donne aussi : pour , la densité est nulle sur donc ; pour , . La continuité en se vérifie : les deux expressions y valent . Enfin .
Propriété
Si , alors admet une espérance et une variance, et
Démonstration. La densité étant nulle sur , l'intégrande est positif sur , donc la convergence simple des intégrales entraîne leur convergence absolue : il suffit d'étudier la convergence.
Espérance. Intégrons par parties sur le segment , avec et , donc et , fonctions de classe sur :
Faisons maintenant tendre vers . Par croissances comparées, , et . L'intégrale converge donc, et
Moment d'ordre . Par le théorème de transfert avec , puis intégration par parties sur avec et :
Quand tend vers , le premier terme tend vers par croissances comparées et le second tend vers d'après le calcul précédent. Donc
Variance. Par Kœnig-Huygens, , et .
Retenez le lien : est un taux (un nombre de pannes par heure, par exemple), et est la durée moyenne correspondante. Un composant qui tombe en panne au taux par an dure en moyenne ans.
Propriété
Absence de mémoire. Si , alors pour tous réels positifs et ,
Réciproquement, si est une variable à densité à valeurs positives, vérifiant pour tout et l'égalité ci-dessus pour tous et positifs, alors il existe tel que .
Démonstration du sens direct. Soit et soient et deux réels positifs. On a , donc le conditionnement est licite. Comme , on a , donc , ce qui donne . Par conséquent
Cette propriété se lit ainsi : un composant qui a déjà tenu heures a la même loi de durée de vie restante qu'un composant neuf. La loi exponentielle modélise donc une défaillance accidentelle, sans usure ni rodage. C'est l'analogue continu de l'absence de mémoire de la loi géométrique.
Démonstration de la réciproque. Posons pour . Comme est à densité, est continue, donc l'est aussi ; de plus est strictement positive par hypothèse, et quand puisque . Enfin, étant à valeurs positives et , on a , donc .
Étape 1 : l'équation fonctionnelle. L'hypothèse s'écrit , c'est-à-dire
Étape 2 : les entiers. Une récurrence immédiate donne pour tout entier naturel et tout . En particulier, en notant , on a . On a par hypothèse, et : sinon pour tout , ce qui contredirait . Comme est à valeurs dans , on a donc , et l'on peut poser , réel strictement positif, de sorte que .
Étape 3 : les rationnels. Soient et deux entiers naturels non nuls. En appliquant l'étape avec et ,
Or l'application est strictement croissante sur , donc injective, et également. On en déduit : l'égalité est vraie pour tout rationnel positif.
Étape 4 : passage aux réels. Soit . Par densité de dans , il existe une suite de rationnels positifs convergeant vers . La fonction est continue en , donc ; et la fonction exponentielle est continue, donc . Comme pour tout , l'unicité de la limite donne .
Ainsi pour , et pour : c'est exactement la fonction de répartition de , donc .
Exemple
Une durée de vie. La durée de vie , en années, d'un composant électronique suit la loi . Sa durée de vie moyenne est ans.
La probabilité qu'il dépasse ans vaut .
La probabilité qu'il dépasse ans sachant qu'il a déjà tenu ans vaut, par absence de mémoire, . Un composant de ans a donc exactement les mêmes perspectives qu'un composant neuf sur les années à venir.
La loi normale
Propriété
L'intégrale converge, et sa valeur, admise, est .
Démonstration de la convergence. La fonction est continue et positive sur , et elle est paire. Il suffit donc d'étudier la convergence sur , puis de conclure par parité.
Sur , la fonction est continue : l'intégrale y est une intégrale sur un segment, sans problème. Sur , on a , donc , donc , et par croissance de l'exponentielle
Or , qui tend vers : l'intégrale majorante converge. Par le théorème de comparaison des intégrales de fonctions positives, converge, donc aussi, et par parité l'intégrale sur converge. Le calcul de sa valeur exacte, en revanche, sort du cadre du programme : on admet qu'elle vaut .
Définition
On appelle loi normale centrée réduite, notée , la loi de densité
Sa fonction de répartition est notée :
La fonction est bien une densité : elle est positive, continue sur , et son intégrale vaut d'après la propriété précédente. Sa courbe est la fameuse « courbe en cloche », symétrique par rapport à l'axe des ordonnées, de maximum atteint en .
Propriété
Si , alors admet une espérance et une variance, et
Démonstration.
Espérance. Étudions la convergence absolue. Pour ,
Donc converge, et vaut . La fonction étant paire, l'intégrale de sur converge : admet une espérance. Or la fonction est impaire, et les deux morceaux de l'intégrale convergent séparément, donc ils se compensent :
Moment d'ordre . Par le théorème de transfert avec , intégrons par parties sur le segment , en posant et , donc et :
Quand tend vers , le premier terme tend vers par croissances comparées, et le second tend vers par parité. Donc , et par parité de ,
Conclusion. Kœnig-Huygens donne .
Propriété
Pour tout réel ,
En particulier .
Démonstration. Soit un réel et soit . Effectuons dans , intégrale sur un segment, le changement de variable affine , de classe , avec ; les bornes et deviennent et :
la dernière égalité résultant de la parité de , puisque . On fait maintenant tendre vers : le membre de gauche tend vers , et le membre de droite tend vers , car . D'où .
En prenant : , donc et .
L'aire hachurée sur la figure représente : c'est la probabilité que la variable soit inférieure ou égale à . La relation se lit alors géométriquement : l'aire à gauche de est l'image miroir de l'aire à droite de .
Définition
Soient un réel et un réel strictement positif. On dit que suit la loi normale de paramètres et , et l'on note , lorsque la variable suit la loi . Une densité de est alors
La figure montre l'effet de chaque paramètre, et il faut savoir la commenter. Passer de à translate la cloche de deux unités vers la droite, sans la déformer : est le centre de symétrie. Passer de à aplatit et élargit la cloche, puisque passe de à : l'aire totale valant toujours , une courbe plus large est nécessairement moins haute.
Propriété
Soit . Alors admet une espérance et une variance, et
De plus, pour tout réel ,
Démonstration. Posons , qui suit par définition. Alors , et la propriété de la transformation affine donne
Pour la fonction de répartition, comme , l'inégalité équivaut à , c'est-à-dire à . Donc
Propriété
Somme de variables normales indépendantes (admis). Si et sont indépendantes, alors
Plus généralement, toute somme de variables normales indépendantes suit une loi normale.
L'hypothèse d'indépendance est indispensable : sans elle, l'espérance de la somme reste la somme des espérances, mais la variance ne s'ajoute plus et la loi n'est plus normale en général.
Méthode
Calculer une probabilité avec la loi normale.
- Si , centrer et réduire : poser , qui suit , et réécrire l'événement en fonction de .
- Exprimer la probabilité cherchée à l'aide de seulement. Les trois formules utiles sont
- Si l'argument est négatif, utiliser pour se ramener à une valeur positive, seule lisible dans une table.
- Lire la valeur dans la table fournie et conclure par une phrase interprétant le résultat.
Voici quelques valeurs de , à connaître ou au moins à reconnaître.
Exemple
Un contrôle de fabrication. Le diamètre , en millimètres, d'une pièce usinée suit la loi , c'est-à-dire et . La pièce est conforme si son diamètre appartient à .
Centrons et réduisons : suit , et
Donc
Avec , on obtient . Environ des pièces sont conformes.
Transferts : loi d'une fonction d'une variable à densité
Méthode
Déterminer la loi de quand est à densité. La méthode est toujours la même, et elle passe par la fonction de répartition, jamais directement par la densité.
- Déterminer , c'est-à-dire l'ensemble des valeurs prises par . Cela donne immédiatement les zones où vaut ou .
- Écrire , puis résoudre l'inéquation pour la ramener à un événement portant sur seul. Attention au sens de l'inégalité, qui s'inverse en multipliant par un nombre négatif ou en appliquant une fonction décroissante.
- Exprimer le résultat avec , en se souvenant que puisque est à densité.
- Vérifier que est continue sur et de classe sauf en un nombre fini de points, ce qui prouve que est à densité, puis dériver pour obtenir , en choisissant librement les valeurs aux points de raccord.
La transformation affine
Propriété
Soit une variable à densité, de densité , et soient et deux réels avec . Alors est une variable à densité, et une densité de est
Démonstration. Distinguons les deux signes de .
Cas . Pour tout réel , l'inégalité équivaut à , car diviser par conserve le sens. Donc
La fonction est affine, donc de classe sur ; par composition, est continue sur et de classe partout sauf aux antécédents des points où ne l'est pas, en nombre fini. Donc est à densité et, en dérivant,
Cas . Cette fois, diviser par inverse l'inégalité : équivaut à . Donc
la dernière égalité utilisant , valable parce que est à densité. Le même argument de composition montre que est à densité, et en dérivant,
puisque lorsque . Les deux cas donnent la même formule.
Exemple
Deux conséquences du programme.
a. Soient . Si , alors suit , et réciproquement.
Preuve. Le coefficient est strictement positif, donc . Or vaut sur et ailleurs, et équivaut à . Donc sur et ailleurs : c'est la densité de . La réciproque s'obtient en écrivant et en refaisant le même calcul.
b. Soient et réels. Si , alors .
Preuve. Avec ,
Or , donc son carré vaut , et l'exposant devient . Comme , on reconnaît exactement la densité de .
Le carré
Propriété
Soit une variable à densité, de densité , et soit . Alors pour et, pour ,
Lorsque la dérivée existe, c'est-à-dire pour et hors des points de non-dérivabilité de ,
Démonstration. La variable est positive, donc pour l'événement est impossible et . Pour , l'inégalité équivaut à , donc
en utilisant que est à densité, ce qui permet d'ignorer les bornes. Pour la densité, on dérive en par composition, la dérivée de étant et celle de étant :
Le programme se limitant à des densités ayant des limites finies en tout point, on choisira des situations où le facteur ne s'emballe pas, c'est-à-dire où est nulle au voisinage de .
Exemple
Le carré d'une uniforme. Soit et . Comme prend ses valeurs dans , la variable prend les siennes dans .
Pour , ; pour , . Pour , on a et , donc et
Cette fonction est continue sur (elle vaut en et en ) et de classe sauf en et en : est bien à densité, de densité
On contrôle : est comprise entre et , donc bornée, et .
L'exponentielle
Propriété
Soit une variable à densité et soit . Alors pour et pour . Lorsque la dérivée existe,
Démonstration. La variable est strictement positive, donc pour . Pour , la fonction étant strictement croissante sur , l'inégalité équivaut à , d'où . On dérive par composition, la dérivée de étant .
Exemple
L'exponentielle d'une uniforme. Soit et . Comme prend ses valeurs dans et que est croissante, prend les siennes dans .
Pour , on a , donc . On complète par si et si , et l'on vérifie la continuité aux raccords : et . Donc est à densité, de densité
fonction bornée entre et , d'intégrale .
Simuler une loi exponentielle à partir d'une loi uniforme
Propriété
Soient et une variable suivant la loi uniforme sur . Alors la variable
suit la loi exponentielle .
Démonstration. D'abord, est bien définie : prend ses valeurs dans , donc prend les siennes dans , ensemble sur lequel est définie. De plus , donc , et pour .
Soit maintenant . En multipliant par , ce qui inverse l'inégalité, puis en appliquant l'exponentielle, qui est strictement croissante :
Comme , le réel appartient à , intervalle sur lequel la fonction de répartition de vaut . Donc
On reconnaît la fonction de répartition de , donc .
C'est le principe de la simulation informatique d'une loi exponentielle : un générateur de nombres pseudo-aléatoires fournit une valeur uniforme sur , et la formule ci-dessus la transforme en une valeur exponentielle.
Variables aléatoires quelconques : indépendance et opérations
Le programme est ici d'une netteté rare, et il faut la citer : « la définition de l'espérance ou des moments d'ordre supérieur d'une variable aléatoire quelconque est hors d'atteinte dans le cadre de ce programme ». Tous les résultats de cette section sont donc admis. On les utilise sans les démontrer, et sans se demander comment serait définie pour une variable ni discrète ni à densité : on admet qu'une telle définition existe et qu'elle prolonge les deux cas connus.
Indépendance
Définition
Deux variables aléatoires réelles et sont indépendantes lorsque, pour tous intervalles et de ,
Définition
Les variables sont mutuellement indépendantes lorsque, pour tous intervalles de ,
Une suite est dite indépendante lorsque toute sous-famille finie l'est.
Comme pour les variables discrètes, l'indépendance deux à deux est plus faible que l'indépendance mutuelle : trois variables peuvent être indépendantes deux à deux sans l'être mutuellement. Dans les énoncés, l'indépendance est presque toujours une hypothèse fournie, jamais quelque chose à démontrer.
Propriété
Lemme des coalitions (admis). Soient des variables mutuellement indépendantes et soit un entier tel que . Si est une fonction de variables et une fonction de variables, alors les variables
sont indépendantes.
Ce lemme est l'outil qui permet de séparer un échantillon en deux blocs disjoints et de traiter les deux blocs comme indépendants. Sa condition d'emploi est simple mais impérative : les deux paquets d'indices doivent être disjoints. Les variables et ne sont pas indépendantes, puisqu'elles partagent .
Opérations sur l'espérance et la variance
Propriété
Propriétés opératoires (toutes admises). Soient et deux variables aléatoires réelles admettant une espérance, et soient et deux réels.
- Linéarité : admet une espérance et . Plus généralement, si admettent une espérance, alors .
- Croissance : si , alors . En particulier, si , alors .
Propriété
Produit et variance d'une somme (admis). Soient et deux variables indépendantes.
- Si et admettent une espérance, alors en admet une et .
- Si et admettent une variance, alors en admet une et .
Plus généralement, si sont mutuellement indépendantes et admettent une variance,
Trois points de vigilance, qui reviennent à chaque copie. L'espérance d'une somme ne demande aucune hypothèse d'indépendance ; la variance d'une somme, si. L'implication du point ne se retourne pas : n'entraîne pas l'indépendance. Enfin, la variance n'est pas linéaire : , avec un carré, et pour des variables indépendantes, avec un plus, car .
Exemple
Une somme de variables normales. Soient et indépendantes. Alors suit une loi normale, d'espérance et de variance , c'est-à-dire , d'écart-type .
De même, suit une loi normale d'espérance et de variance , donc . La variance de la différence est bien la somme des variances.
Inégalités de concentration et loi faible des grands nombres
L'inégalité de Markov
Propriété
Inégalité de Markov. Soit une variable aléatoire positive admettant une espérance. Alors, pour tout réel ,
Démonstration dans le cas d'une variable à densité. Soit une densité de , nulle sur puisque est positive. Soit et soit . Sur le segment , on a et , donc , et par croissance de l'intégrale sur un segment
Par ailleurs , toujours parce que l'intégrande est positif, donc
Les deux membres admettent une limite quand tend vers , à gauche par hypothèse, à droite ; le passage à la limite conserve l'inégalité large :
la dernière égalité parce que pour une variable à densité. En divisant par , on obtient l'inégalité annoncée.
Démonstration dans le cas discret. Supposons fini ou dénombrable, contenu dans . Tous les termes des sommes ci-dessous sont positifs, donc les manipulations sont licites :
La première inégalité retire des termes positifs, la seconde minore chaque par . On divise par .
Le programme précise que ce résultat n'est pas exigible en tant que tel, mais qu'on peut l'appliquer à : pour et , l'événement est égal à , donc
dès que admet une espérance. Le cas conduit directement au résultat suivant.
L'inégalité de Bienaymé-Tchebychev
Propriété
Inégalité de Bienaymé-Tchebychev. Soit une variable aléatoire admettant une espérance et une variance . Alors, pour tout réel ,
Démonstration. Posons . C'est une variable positive, et elle admet une espérance, égale à par définition de la variance. L'inégalité de Markov, applicable à avec le réel strictement positif , donne
Il reste à identifier l'événement de gauche. Pour un réel positif , l'inégalité équivaut à puisque la fonction carré est croissante sur . Appliqué à , cela donne
D'où le résultat. La démonstration vaut telle quelle dans le cas discret et dans le cas à densité, puisque l'inégalité de Markov a été établie dans les deux cas.
L'inégalité de Bienaymé-Tchebychev a une qualité et un défaut, et il faut connaître les deux. Sa qualité : elle ne suppose rien sur la loi de , seulement l'existence d'une variance. Son défaut : elle est très grossière. Pour une variable normale, elle annonce alors que la valeur exacte est d'environ . On l'utilise donc quand la loi est inconnue, ou pour obtenir une majoration valable en toute généralité.
Exemple
Une majoration sans connaître la loi. Une machine produit des pièces dont la masse , en grammes, a pour espérance et pour écart-type . Sans rien savoir de plus, majorons la probabilité que la masse s'écarte de plus de grammes de la moyenne :
Au plus des pièces s'écartent de la moyenne de plus de trois écarts-types. Par passage au contraire, au moins des pièces ont une masse comprise strictement entre et grammes.
La loi faible des grands nombres
Définition
Soit une suite de variables aléatoires. Pour , on note
La variable est appelée moyenne empirique des premières variables.
Propriété
Soit une suite de variables indépendantes, de même loi, admettant une espérance et une variance . Alors, pour tout ,
Démonstration. Toutes les ont la même loi, donc la même espérance et la même variance . Par linéarité de l'espérance, qui ne réclame aucune indépendance,
Pour la variance, on utilise d'abord avec , puis l'additivité de la variance, qui elle exige l'indépendance :
Ces deux formules sont le cœur de tout ce qui suit, et il faut en comprendre le contraste. La moyenne empirique est centrée sur la bonne valeur quel que soit : en moyenne, elle ne se trompe pas. Et sa dispersion décroît en : plus l'échantillon est grand, plus elle se resserre autour de . L'écart-type, lui, décroît en , ce qui signifie qu'il faut multiplier la taille de l'échantillon par pour diviser l'incertitude par .
Propriété
Loi faible des grands nombres. Soit une suite de variables indépendantes, de même loi, admettant une espérance et une variance . Alors, pour tout réel ,
Démonstration. Soit . La variable admet une espérance égale à et une variance égale à , donc l'inégalité de Bienaymé-Tchebychev s'applique :
Le membre de droite est le terme général d'une suite qui tend vers quand tend vers , puisque et sont des constantes. Par le théorème d'encadrement, la probabilité du milieu tend vers .
La figure illustre le cas des épreuves de Bernoulli de paramètre . La fréquence cumulée de succès oscille beaucoup au début, quand est petit, puis se stabilise autour de . Notez bien ce que la loi faible affirme, et ce qu'elle n'affirme pas : elle ne dit pas que la courbe finit par coller à la droite, elle dit que la probabilité de s'en écarter de plus de tend vers .
Exemple
Quelle taille d'échantillon ? On lance une pièce équilibrée fois et l'on note la fréquence de « pile ». On veut que la probabilité que s'écarte de d'au moins soit inférieure à .
Ici , donc Bienaymé-Tchebychev donne
La condition équivaut à .
Il suffit donc de lancers. Ce nombre est très largement surestimé, parce que l'inégalité de Bienaymé-Tchebychev est grossière ; le théorème limite central, à la section suivante, ramènera l'exigence à environ lancers.
Convergence en loi, théorème limite central et approximations
La convergence en loi
Définition
Soit une suite de variables aléatoires réelles et soit une variable aléatoire réelle. On dit que converge en loi vers lorsque
en tout point où est continue. On note alors
Deux remarques sur cette définition. D'abord, elle ne porte que sur les lois : les variables et n'ont aucune raison d'être définies sur le même espace probabilisé, et il ne se passe rien « point par point ». Ensuite, la restriction aux points de continuité de n'est pas un détail technique gratuit : sans elle, la définition serait trop exigeante et beaucoup de convergences naturelles seraient perdues.
Propriété
Caractérisation pour des variables entières (admis). Si les variables et sont toutes à valeurs dans , alors
Pour des variables entières, il suffit donc de faire converger les probabilités ponctuelles, ce qui est en général beaucoup plus simple que de manipuler des fonctions de répartition en escalier.
Propriété
Convergence de la loi binomiale vers la loi de Poisson. Soit . Pour assez grand pour que , soit , et soit . Alors
Démonstration. Les variables et sont à valeurs entières, donc il suffit, d'après la caractérisation admise, de montrer que pour tout entier naturel fixé. Écrivons
Limite de . Le numérateur est un produit de facteurs, donc
L'entier étant fixé, ce produit compte un nombre fixe de facteurs, chacun tendant vers : donc .
Limite de . Pour assez grand, , et l'on peut écrire
Le développement limité de à l'ordre au voisinage de donne , donc
Par continuité de l'exponentielle, .
Conclusion. En multipliant les limites,
Ce résultat est la justification théorique de l'approximation « binomiale par Poisson » : quand on répète un très grand nombre de fois une épreuve dont la probabilité de succès est très petite, avec un nombre moyen de succès modéré, la loi de Poisson de paramètre décrit bien le nombre de succès.
Exemple
Une chaîne de Markov qui converge en loi. Reprenons la chaîne à deux états de matrice , dont le graphe est complet (les quatre arcs existent, boucles comprises). On a établi que, pour tout état initial ,
Donc et . Les variables étant à valeurs dans , donc dans , la caractérisation admise s'applique : converge en loi vers la variable définie par et , c'est-à-dire vers la loi décrite par l'état stable.
C'est l'interprétation probabiliste de l'état stable : au bout de longtemps, la position du système est distribuée selon , quelle que soit sa position de départ.
Le théorème limite central
Propriété
Théorème limite central (admis). Soit une suite de variables aléatoires indépendantes, de même loi, admettant une espérance et une variance non nulle. On pose . Alors la suite des variables centrées réduites
converge en loi vers une variable suivant la loi . Autrement dit, pour tout réel ,
La figure prend , d'espérance et de variance , donc d'écart-type . L'histogramme de épouse déjà nettement la courbe en cloche, alors que seulement. Une loi binomiale est en effet une somme de variables de Bernoulli indépendantes de même loi : le théorème limite central s'y applique directement, et c'est le prototype de son usage.
Mesurez la portée de l'énoncé. La loi commune des est quelconque : discrète ou à densité, symétrique ou non, peu importe. Seules trois hypothèses comptent, et ce sont exactement celles qu'il faut vérifier avant d'invoquer le théorème : indépendance, même loi, existence d'une variance non nulle. La conclusion, elle, est toujours la même loi normale centrée réduite. C'est cette universalité qui explique la place de la loi normale dans toutes les sciences expérimentales.
Les approximations usuelles
Le programme est explicite : « toutes les indications devront être fournies aux candidats quant à la justification de l'utilisation des approximations ». Un énoncé de concours vous dira donc par quelle loi approcher, et souvent avec quels seuils. Les conditions usuelles, données ici à titre de repère, sont les suivantes.
Méthode
Choisir une approximation.
- Binomiale par Poisson : lorsque est grand (), petit () et modéré (). Justification : la convergence en loi démontrée plus haut.
- Binomiale par normale : lorsque , et . Justification : le théorème limite central appliqué à une somme de variables de Bernoulli.
- Poisson par normale : lorsque est grand (). Justification : une variable de Poisson de paramètre est de même loi qu'une somme de variables de Poisson indépendantes de paramètre .
Dans les trois cas, on vérifie les conditions par écrit avant d'approcher, et l'on conserve les paramètres de la loi de départ : l'espérance et la variance de la loi approchante sont celles de la loi exacte.
Exemple
Une binomiale approchée par une normale. Soit , par exemple le nombre de « pile » en lancers d'une pièce équilibrée. Les conditions sont remplies : , et .
On approche donc la loi de par , d'écart-type . Alors
La valeur exacte, calculée par la formule binomiale, vaut : l'approximation est bonne à cinq millièmes près, sans avoir eu à sommer coefficients binomiaux.
Exemple
Une loi de Poisson approchée par une normale. Un standard reçoit un nombre d'appels par heure suivant . Comme , on approche par , d'écart-type . Alors
et la probabilité de recevoir plus de appels est d'environ .
Estimation ponctuelle et par intervalle de confiance
Le programme prévient : « ce paragraphe ne doit pas faire l'objet d'un exposé théorique ». On installe donc le vocabulaire minimal, puis on calcule.
Le cadre
Définition
On observe une grandeur dont la loi appartient à une famille de lois indexée par un paramètre inconnu (par exemple pour une loi de Bernoulli, pour une loi de Poisson, pour une loi normale d'écart-type connu). On appelle :
- -échantillon de la loi de toute famille de variables indépendantes et de même loi que ;
- estimateur de toute variable aléatoire de la forme , dont l'expression ne dépend pas de ;
- estimation la valeur obtenue en remplaçant les variables par les valeurs observées .
La distinction entre l'estimateur et l'estimation est celle entre une variable aléatoire et un nombre. L'estimateur est une variable aléatoire : elle a une loi, une espérance, une variance, et elle change si l'on refait l'expérience. L'estimation est le nombre que l'on obtient une fois l'expérience faite. On peut calculer ; on ne peut pas calculer l'espérance d'une estimation, qui n'est qu'un réel.
La moyenne empirique
Propriété
Soit un -échantillon d'une loi d'espérance et de variance . Alors la moyenne empirique
vérifie
La démonstration a été faite à la section « Inégalités de concentration et loi faible des grands nombres » : linéarité pour l'espérance, indépendance pour la variance. Ces deux égalités disent tout ce qu'il faut savoir sur comme estimateur de . D'une part vaut exactement le paramètre cherché : en moyenne sur un grand nombre de répétitions de l'expérience, l'estimateur vise juste. C'est ce calcul de , et la constatation qu'il redonne le paramètre, qu'on attend systématiquement d'un estimateur. D'autre part tend vers , ce qui traduit la précision croissante avec la taille de l'échantillon.
Exemple
Le cas de Bernoulli. Soit un -échantillon de la loi , où vaut si la -ième personne interrogée est favorable et sinon. Alors est la fréquence de personnes favorables dans l'échantillon, souvent notée . Comme et ,
La fréquence observée est donc un estimateur naturel de la proportion inconnue . Sur personnes dont sont favorables, l'estimation de vaut .
L'estimateur du maximum de vraisemblance
Le principe est le suivant, et le programme demande de l'expliquer plutôt que de le théoriser. On a observé les valeurs . Pour chaque valeur possible du paramètre , on calcule la probabilité d'observer précisément ces valeurs-là, quantité appelée vraisemblance. On retient alors la valeur de qui rend l'observation la plus probable.
Définition
Soit un -échantillon d'une loi discrète dépendant d'un paramètre . La vraisemblance de l'observation est
le produit venant de l'indépendance. L'estimateur du maximum de vraisemblance est obtenu en cherchant la valeur de qui maximise , puis en remplaçant les observations par les variables .
Méthode
Chercher un maximum de vraisemblance.
- Écrire comme un produit, en utilisant l'indépendance, puis regrouper les facteurs à l'aide de .
- Passer au logarithme : atteint son maximum au même endroit que , puisque est strictement croissante, et transforme le produit en somme.
- Dériver par rapport à , chercher le point d'annulation, et étudier le signe de la dérivée pour prouver qu'il s'agit bien d'un maximum. Un simple « la dérivée s'annule » ne suffit pas.
- Conclure en remplaçant les par les dans l'expression obtenue.
Exemple
Maximum de vraisemblance pour une loi de Bernoulli. Soit un -échantillon de , avec inconnu. Les observations valent ou , et l'on pose , le nombre de succès observés. Comme pour ,
Supposons , de sorte que ne s'annule pas sur , et passons au logarithme :
Cette fonction est dérivable sur , et
Le dénominateur est strictement positif sur , donc la dérivée a le signe de : elle est strictement positive pour et strictement négative pour . La fonction croît puis décroît : elle atteint son maximum en .
L'estimateur du maximum de vraisemblance de est donc
c'est-à-dire la fréquence empirique de succès. Restent les deux cas écartés en cours de route : et donnent respectivement et . Sur l'intervalle ouvert ces deux fonctions sont strictement monotones, donc sans maximum ; c'est en étendant l'étude au segment qu'on obtient un maximum, atteint respectivement en et en , ce qui reste conforme à la formule . C'est la raison pour laquelle un énoncé impose presque toujours .
Exemple
Maximum de vraisemblance pour une loi de Poisson. Soit un -échantillon de , avec inconnu, et soit . Comme ,
Supposons et passons au logarithme, le dernier terme étant une constante indépendante de :
En dérivant par rapport à sur ,
Le dénominateur étant strictement positif, la dérivée est strictement positive pour et strictement négative pour : le maximum est atteint en .
L'estimateur du maximum de vraisemblance de est donc, là encore, la moyenne empirique . Ce n'est pas un hasard : pour une loi de Poisson, , et il est rassurant que la méthode retrouve l'estimateur naturel.
Intervalle de confiance par l'inégalité de Bienaymé-Tchebychev
Définition
Soit . Un intervalle de confiance de au niveau de confiance est un intervalle aléatoire , dont les bornes sont des variables aléatoires calculables à partir de l'échantillon, tel que
Attention au sens de cette écriture : ce n'est pas qui est aléatoire, mais l'intervalle. Le paramètre est un nombre fixe, inconnu ; ce sont les bornes qui changent d'un échantillon à l'autre. La phrase correcte est : « la probabilité que l'intervalle produit par la méthode contienne est au moins ».
Propriété
Soit un -échantillon d'une loi d'espérance inconnue et d'écart-type connu. Alors, pour tout ,
est un intervalle de confiance de au niveau de confiance .
Démonstration. La variable admet pour espérance et pour variance . L'inégalité de Bienaymé-Tchebychev donne, pour tout ,
Choisissons de sorte que le majorant vaille exactement :
en ne retenant que la racine positive. Par passage au contraire,
Or équivaut à , ce qui entraîne l'appartenance de à l'intervalle fermé. D'où le résultat.
Exemple
Un sondage, majoré par Bienaymé-Tchebychev. On interroge personnes et se déclarent favorables, soit une fréquence observée . On cherche un intervalle de confiance de la proportion au niveau , donc avec .
Ici , qui dépend du paramètre inconnu. On la majore : pour tout , on a , car . On prend donc , ce qui ne peut qu'élargir l'intervalle, donc renforcer la garantie. Le rayon vaut
L'intervalle de confiance au niveau est donc, à trois décimales, .
Il est très large : il ne permet même pas d'affirmer que dépasse . C'est le prix de la généralité de l'inégalité de Bienaymé-Tchebychev, qui n'utilise rien de la forme de la loi.
Estimation de la moyenne d'une loi normale d'écart-type connu
Propriété
Soit un -échantillon de la loi , avec inconnue et connu. Soit le quantile d'ordre de la loi , c'est-à-dire l'unique réel tel que . Alors
est un intervalle de confiance de au niveau exactement . Pour , on a .
Démonstration. Les sont normales et indépendantes, donc leur somme suit une loi normale, d'espérance et de variance . En multipliant par , la propriété de transformation affine d'une normale donne
Calculons . Par définition de et par la relation ,
Enfin, équivaut successivement à , puis à l'appartenance de à l'intervalle annoncé. D'où le résultat, avec une égalité et non une simple minoration. Pour , on cherche tel que , et la table donne .
Exemple
Un dosage industriel. La teneur en principe actif d'un comprimé suit une loi normale d'écart-type connu milligrammes et d'espérance inconnue. Sur un échantillon de comprimés, on mesure une teneur moyenne milligrammes.
Au niveau de confiance , le rayon vaut , et l'intervalle de confiance de est
Variance empirique et intervalle de confiance asymptotique
En pratique, est rarement connu. On l'estime alors sur l'échantillon lui-même.
Définition
Soit un -échantillon. On appelle variance empirique la variable
et écart-type empirique sa racine carrée .
Certains énoncés définissent la variance empirique avec un dénominateur au lieu de ; la différence est négligeable pour grand, et un exercice précise toujours la convention qu'il adopte. Lisez donc l'énoncé avant de calculer.
Propriété
Intervalle de confiance asymptotique. Soit un -échantillon d'une loi d'espérance inconnue et de variance finie non nulle, et soit le quantile d'ordre de . Alors
On dit que cet intervalle est un intervalle de confiance asymptotique de au niveau .
Ce résultat est une conséquence directe du théorème limite central, et le programme précise qu'il n'est pas exigible en l'état : tout exercice qui l'utilise vous en fournira la formule. Ce qu'il faut comprendre, c'est le sens du mot « asymptotique » : le niveau n'est atteint qu'à la limite, donc l'intervalle n'offre aucune garantie pour un petit échantillon, contrairement à celui de Bienaymé-Tchebychev, qui est valable pour tout .
Exemple
Le même sondage, affiné par le théorème limite central. Reprenons et pour une loi de Bernoulli. Ici puisque , donc
en utilisant la version empirique de Kœnig-Huygens. Numériquement, , donc , et le rayon vaut .
L'intervalle de confiance asymptotique au niveau est donc , contre par Bienaymé-Tchebychev. Il est plus de deux fois plus court, pour le même échantillon et le même niveau de confiance : c'est le bénéfice du théorème limite central, qui exploite la forme de la loi limite au lieu de se contenter d'une majoration universelle. Il reste que appartient encore à cet intervalle : avec personnes, on ne peut pas conclure à une majorité.
L'essentiel
Chaînes de Markov. La matrice de transition se lit « ligne de départ, colonne d'arrivée », et ses lignes somment à . L'état est une matrice ligne de probabilités, et la récurrence est , donc . L'état stable est la solution du système complété par ; sa transposée est un vecteur propre de pour la valeur propre . Sur un graphe complet, converge vers l'état stable, quel que soit l'état initial.
Variables à densité. Une variable est à densité lorsque est continue sur et de classe sauf en un nombre fini de points ; une densité est alors , complétée arbitrairement en ces points. On a , , et . L'espérance existe si converge absolument, la variance se calcule par transfert puis Kœnig-Huygens.
Les trois lois.
| Loi | Densité | ||
|---|---|---|---|
| sur | |||
| sur | |||
Transferts. Toujours par la fonction de répartition : calculer , se ramener à , vérifier la continuité, dériver. Les trois cas du programme sont , de densité , le carré et l'exponentielle.
Concentration et limites. Markov : pour positive. Bienaymé-Tchebychev : . Loi faible des grands nombres : . Théorème limite central : converge en loi vers , sous les trois hypothèses d'indépendance, de même loi et de variance non nulle.
Estimation. estime , avec et . Le maximum de vraisemblance, sur Bernoulli comme sur Poisson, redonne . Deux intervalles de confiance de au niveau : celui de Bienaymé-Tchebychev, de rayon , valable pour tout ; celui issu du théorème limite central, de rayon , valable asymptotiquement, avec pour .
Les erreurs à ne pas commettre
Affirmer une espérance sans vérifier la convergence absolue. L'existence de est une question, pas une évidence : elle se démontre avant tout calcul, et le chapitre fournit des contre-exemples explicites. Un calcul d'intégrale mené jusqu'au bout sans un mot sur la convergence ne vaut aucun point.
Confondre densité et probabilité. La quantité n'est pas une probabilité : elle peut dépasser , comme la densité de , qui vaut . Seule l'aire sous la courbe est une probabilité.
Écrire pour une variable à densité. Tout événement ponctuel est de probabilité nulle. Corollaire : , et une inégalité stricte ou large donnent le même résultat, ce qu'il faut justifier une fois par la phrase « est à densité ».
Appliquer Bienaymé-Tchebychev sans variance. L'inégalité, la loi faible des grands nombres et le théorème limite central exigent tous l'existence d'une variance. Une variable peut avoir une espérance et pas de variance ; dans ce cas, aucun de ces trois résultats ne s'applique.
Confondre et . L'état est une matrice ligne de format , donc seul le produit a un sens. Écrire est une faute de dimension, pas une variante de notation.
Oublier que ce sont les lignes de qui somment à . La ligne est l'état de départ. Additionner les colonnes pour vérifier une matrice de transition conduit à conclure qu'une matrice correcte est fausse, ou l'inverse.
Dériver en un point où la densité est discontinue. Aux points de raccord, n'est en général pas dérivable, et c'est permis : la définition tolère un nombre fini de tels points. On y choisit une valeur arbitraire positive pour , et l'on n'écrit jamais que est dérivable partout.
Intégrer par parties directement sur un intervalle non borné. Le programme l'interdit. On écrit « pour tout , », on effectue l'intégration par parties sur le segment, puis on fait tendre vers en justifiant chaque limite, croissances comparées à l'appui.
Utiliser le théorème limite central sans indépendance ni même loi. Ses trois hypothèses ne sont pas décoratives. Une somme de variables dépendantes, ou de lois différentes, ne relève pas de ce théorème, et l'invoquer quand même invalide tout ce qui suit.
Additionner des variances sans indépendance. est toujours vrai ; ne l'est que pour des variables indépendantes. Et pour une différence, les variances s'ajoutent encore.
Dire que « a de chances d'être dans l'intervalle ». Le paramètre est un nombre fixe ; c'est l'intervalle qui est aléatoire. La formulation correcte est : la méthode produit, dans des cas, un intervalle qui contient .
Oublier le sens de l'inégalité dans un transfert. Multiplier par un nombre négatif, ou appliquer une fonction décroissante, inverse l'inégalité, ce qui remplace par . C'est exactement ce qui distingue le cas du cas dans la densité de , et c'est la source d'erreurs la plus fréquente de la section « Transferts ».
Bloqué sur « Probabilités : chaînes de Markov, densités et estimation » ?
On peut le travailler ensemble dès cette semaine. La première heure est offerte — on fait le point honnêtement, et vous repartez au minimum avec une méthode.