Probabilités conditionnelles et inférence bayésienne

En 1763, la Royal Society de Londres publie un mémoire posthume au titre austère : An Essay towards solving a Problem in the Doctrine of Chances. Son auteur, Thomas Bayes, pasteur presbytérien d'une petite ville d'eaux anglaise, était mort deux ans plus tôt sans avoir rien fait paraître de ses travaux mathématiques ; c'est son ami Richard Price qui retrouva le manuscrit dans ses papiers et en devina la portée. La question qu'y pose Bayes paraît anodine, mais elle inverse le sens habituel du calcul des probabilités. D'ordinaire, on connaît la cause et l'on calcule l'effet : sachant que l'urne contient trois boules rouges et sept vertes, quelle est la probabilité de tirer une rouge ? Bayes ose le chemin inverse : j'ai tiré une boule rouge — que puis-je en conclure sur l'urne dont elle provient ? Raisonner des effets vers les causes : tout le programme tient dans ce renversement, et une formule de deux lignes suffit à l'accomplir.

Ce renversement est aujourd'hui partout. Le médecin n'observe jamais la maladie elle-même, seulement ses effets — une fièvre, un résultat de test — et doit remonter à la cause ; le filtre anti-spam lit les mots d'un message et estime la probabilité qu'il soit indésirable ; le tribunal pèse un indice matériel et s'interroge sur la culpabilité. Dans chacune de ces situations se cache le même piège : confondre la probabilité de l'effet sachant la cause avec la probabilité de la cause sachant l'effet. Un test médical fiable à $95\mathrm{\%}$ ne garantit nullement qu'une personne testée positive soit malade à $95\mathrm{\%}$ — nous verrons que la vraie valeur peut descendre sous les $9\mathrm{\%}$. Distinguer ces deux nombres, et savoir passer de l'un à l'autre, est l'objectif central de ce chapitre.

La route est balisée. Nous réviserons d'abord les probabilités conditionnelles de première — définition, arbres pondérés, tableaux croisés — puis nous donnerons un nom et un énoncé à une règle que l'arbre appliquait déjà en silence : la formule des probabilités totales. Viendra alors la formule de Bayes, qui inverse le conditionnement, avec son vocabulaire propre : probabilité a priori, probabilité a posteriori. Nous l'appliquerons au terrain où elle est la plus spectaculaire, les tests de dépistage médicaux, avant de confier à Python le soin de vérifier nos calculs par simulation.

Probabilité conditionnelle et arbres pondérés

Une information partielle modifie les probabilités. Considérons les $40$ élèves d'une classe de terminale, répartis selon le sexe et le choix de l'option latin :

On choisit un élève au hasard et l'on note $F$ l'événement « l'élève est une fille » et $L$ l'événement « l'élève est latiniste ». Sans autre information, $P(F)={\displaystyle \frac{24}{40}}=\mathrm{0,6}$. Mais supposons qu'on nous apprenne que l'élève choisi est latiniste : l'univers se rétrécit aux $16$ latinistes de la première colonne, parmi lesquels $12$ filles. La probabilité que l'élève soit une fille, sachant qu'il est latiniste, vaut donc ${\displaystyle \frac{12}{16}}=\mathrm{0,75}$. Observons le calcul de plus près : ${\displaystyle \frac{12}{16}}={\displaystyle \frac{12\mathrm{/}40}{16\mathrm{/}40}}={\displaystyle \frac{P(F\cap L)}{P(L)}}$. Conditionner, c'est diviser la probabilité de l'intersection par la probabilité de l'information reçue. Cette observation devient la définition générale.

La notation se lit « probabilité de $A$ sachant $B$ » : l'indice désigne l'information dont on dispose, la parenthèse l'événement dont on évalue la chance. Sur l'exemple, $P_L(F)=\mathrm{0,75}$, tandis que $P_F(L)={\displaystyle \frac{P(F\cap L)}{P(F)}}={\displaystyle \frac{12\mathrm{/}40}{24\mathrm{/}40}}={\displaystyle \frac{12}{24}}=\mathrm{0,5}$ : parmi les latinistes, trois quarts sont des filles, mais seule la moitié des filles est latiniste. Les deux nombres répondent à des questions différentes, et rien ne les oblige à coïncider — nous y reviendrons longuement. Notons enfin que $P_B$ se comporte comme une probabilité ordinaire sur l'univers restreint : en particulier $P_B(\bar{A})=1-P_B(A)$.

En multipliant la définition par $P(B)$, on obtient une formule de produit, si utile qu'elle mérite son propre encadré.

Cette formule est le moteur des arbres pondérés. Un arbre représente une expérience en étapes : les branches issues de la racine portent les probabilités des premiers événements possibles, celles du deuxième niveau portent des probabilités conditionnelles, calculées sachant le chemin déjà parcouru.

Sur la figure, la racine se scinde en $A$ et $\bar{A}$, avec les poids $P(A)$ et $P(\bar{A})$ ; puis chaque nœud se scinde en $B$ et $\bar{B}$, avec les poids conditionnels $P_A(B)$, $P_A(\bar{B})$, $P_{\bar{A}}(B)$ et $P_{\bar{A}}(\bar{B})$. Les règles d'usage de l'arbre découlent toutes de la définition et de la formule des probabilités composées.

Arbre et tableau croisé racontent la même histoire sous deux formes : les effectifs du tableau, divisés par le total, donnent les probabilités des intersections — c'est-à-dire des chemins — et les fréquences calculées ligne par ligne ou colonne par colonne sont les probabilités conditionnelles. Savoir passer d'une représentation à l'autre est une compétence exigible : le tableau rend visibles toutes les intersections d'un coup, l'arbre suit la chronologie de l'expérience.

Sur le tableau de la classe, chercher $P_L(F)$ enferme dans la colonne des latinistes (total $16$, dont $12$ filles : ${\displaystyle \frac{12}{16}}=\mathrm{0,75}$), tandis que chercher $P_F(L)$ enferme dans la ligne des filles (total $24$, dont $12$ latinistes : ${\displaystyle \frac{12}{24}}=\mathrm{0,5}$). Même case au numérateur, dénominateurs différents : les deux conditionnements ne se confondent que si les deux totaux coïncident, ce qui n'a aucune raison de se produire.

Terminons cette remise en route par l'indépendance, rencontrée en première. Deux événements sont indépendants lorsque la réalisation de l'un ne modifie pas la probabilité de l'autre — autrement dit, lorsque conditionner ne change rien.

L'équivalence se vérifie en une ligne : si $P(A\cap B)=P(A)P(B)$, alors $P_B(A)={\displaystyle \frac{P(A)P(B)}{P(B)}}=P(A)$, et réciproquement la formule des probabilités composées donne $P(A\cap B)=P(B)P_B(A)=P(B)P(A)$. Dans notre classe, $P_L(F)=\mathrm{0,75}\mathrm{\ne }\mathrm{0,6}=P(F)$ : les événements $F$ et $L$ ne sont pas indépendants, savoir que l'élève est latiniste rend plus probable que ce soit une fille.

La formule des probabilités totales

La quatrième règle de l'arbre — sommer les chemins — mérite mieux qu'un numéro : c'est un théorème, et l'un des plus utiles du chapitre. Son cadre naturel est celui d'une partition de l'univers : une famille d'événements de probabilités non nulles, deux à deux incompatibles, et dont la réunion est l'univers tout entier. La partition la plus simple est $\{A,\bar{A}\}$ : quoi qu'il arrive, l'un exactement des deux événements $A$ et $\bar{A}$ se réalise. C'est elle que dessine tout arbre à deux branches initiales.

La démonstration se lit sur l'arbre. L'événement $B$ se réalise soit avec $A$, soit avec $\bar{A}$, et jamais les deux à la fois : $B$ est la réunion des deux événements incompatibles $A\cap B$ et $\bar{A}\cap B$, donc $P(B)=P(A\cap B)+P(\bar{A}\cap B)$. Il reste à écrire chaque intersection avec la formule des probabilités composées : ce sont exactement les deux chemins de l'arbre qui aboutissent à $B$. Le cas d'une partition en trois événements se démontre de la même façon, avec un arbre à trois branches initiales.

Le cas d'une partition en trois événements se traite exactement de la même manière : l'arbre a simplement trois branches initiales, et l'on somme trois chemins au lieu de deux.

La formule des probabilités totales répond à la question « quelle est la probabilité de l'effet ? » quand on connaît les causes possibles et leur influence. La section suivante pose la question inverse — et c'est là que Bayes entre en scène.

Inverser le conditionnement : la formule de Bayes

Un arbre pondéré se construit dans le sens de la chronologie : d'abord la cause (la machine, l'urne, la maladie), puis l'effet (le défaut, la couleur, le test). Les probabilités conditionnelles qu'il porte vont donc des causes vers les effets : $P_A(D)$, la probabilité qu'une pièce soit défectueuse sachant sa machine d'origine, se lit directement sur une branche. Mais la question pratique est presque toujours inverse : la pièce prélevée est défectueuse — de quelle machine provient-elle ? On demande $P_D(A)$, qui ne figure sur aucune branche de l'arbre. Il faut remonter l'arbre à contre-courant, et c'est précisément ce que permet la formule de Bayes.

La démonstration tient en deux lignes. La formule des probabilités composées, écrite dans les deux sens, donne une double expression du même nombre :

$$P(A\cap B)=P(B)\times P_B(A)=P(A)\times P_A(B)\mathrm{.}$$

Il suffit de diviser l'égalité de droite par $P(B)\mathrm{\ne }0$ pour isoler $P_B(A)$. Toute la profondeur du résultat tient dans cette symétrie : l'intersection $A\cap B$ ne distingue pas ses deux facteurs, et sert de pont entre les deux conditionnements.

Le vocabulaire consacré souligne le rôle du temps et de l'information.

Reprenons l'usine de la section précédente : la pièce prélevée est défectueuse, quelle est la probabilité qu'elle provienne de la machine $B$ ? A priori, $P(\bar{A})=\mathrm{0,4}$. A posteriori :

$$P_D(\bar{A})={\displaystyle \frac{P_{\bar{A}}(D)\times P(\bar{A})}{P(D)}}={\displaystyle \frac{\mathrm{0,05}\times \mathrm{0,4}}{\mathrm{0,032}}}={\displaystyle \frac{\mathrm{0,02}}{\mathrm{0,032}}}=\mathrm{0,625.}$$

La machine $B$ ne fabrique que $40\mathrm{\%}$ des pièces, mais elle est responsable de $\mathrm{62,5}\mathrm{\%}$ des défauts : l'information « la pièce est défectueuse » a fait grimper la probabilité de $\mathrm{0,4}$ à $\mathrm{0,625}$. C'est exactement ainsi qu'un contrôleur qualité oriente ses vérifications.

En pratique, le calcul suit toujours le même chemin, que l'on peut résumer d'une formule : une probabilité a posteriori est le quotient du chemin favorable par la somme des chemins compatibles avec l'observation.

Avant d'appliquer la méthode, arrêtons-nous sur l'erreur que la formule de Bayes permet d'éviter — la plus répandue de tout le calcul des probabilités : confondre $P_A(B)$ et $P_B(A)$. Ces deux nombres répondent à des questions différentes, et ils peuvent être arbitrairement éloignés l'un de l'autre. Un exemple suffit à s'en convaincre : en France, plus de $80\mathrm{\%}$ des centenaires sont des femmes. En notant $C$ « être centenaire » et $F$ « être une femme », cela s'écrit $P_C(F)>\mathrm{0,8}$. Faut-il en conclure que $P_F(C)>\mathrm{0,8}$, autrement dit que plus de $80\mathrm{\%}$ des femmes sont centenaires ? Évidemment non : les centenaires forment une infime partie de la population, et la probabilité qu'une femme prise au hasard soit centenaire est minuscule. L'inversion brutale des deux conditionnements produit une absurdité ici visible à l'œil nu — mais dans un prétoire ou un cabinet médical, où les ordres de grandeur sont moins familiers, la même confusion passe inaperçue et fausse des décisions graves. La formule de Bayes est le seul passage légitime de $P_A(B)$ à $P_B(A)$ : elle exige de connaître aussi $P(A)$ et $P(B)$, et c'est précisément ce que l'inversion naïve oublie.

Ce mécanisme — une opinion initiale chiffrée, une observation, une opinion révisée — est le cœur du raisonnement bayésien. Le terrain où il se déploie avec le plus d'enjeux est la médecine, et c'est là que nous l'emmenons maintenant.

Tests de dépistage : le raisonnement bayésien en médecine

Un test de dépistage est un instrument de mesure binaire : appliqué à une personne, il rend un résultat positif (le test signale la maladie) ou négatif (il ne la signale pas). Comme tout instrument, il se trompe parfois, et dans deux sens possibles. Le vocabulaire médical distingue soigneusement les quatre situations, selon l'état réel de la personne et la réponse du test. Notons $M$ l'événement « la personne est malade » et $T$ l'événement « le test est positif ».

Le tableau suivant résume la question à laquelle répond chaque indicateur — et le sens de son conditionnement.

Sensibilité et spécificité sont des caractéristiques intrinsèques du test : le laboratoire les mesure une fois pour toutes, sur des populations dont l'état est connu. Mais le patient et son médecin, eux, ne connaissent que le résultat du test : ce qui les intéresse, ce sont les valeurs prédictives — des conditionnements inversés. Le passage des unes aux autres est un pur exercice de formule de Bayes, et son résultat dépend d'un troisième nombre que le test ignore : la prévalence de la maladie, c'est-à-dire la proportion $P(M)$ de malades dans la population testée.

Le résultat mérite qu'on s'y arrête, car il heurte l'intuition de plein fouet : un test « fiable à $95\mathrm{\%}$ » rend des verdicts positifs qui ne sont corrects que dans $\mathrm{8,8}\mathrm{\%}$ des cas. Il n'y a pourtant aucun paradoxe, et un raisonnement en effectifs le montre. Imaginons $10000$ personnes testées : $100$ sont malades et $9900$ sont saines. Parmi les $100$ malades, le test en détecte $95$ — les vrais positifs. Mais parmi les $9900$ personnes saines, il en alarme à tort $10\mathrm{\%}$, soit $990$ faux positifs. Le tableau croisé rassemble ces effectifs :

Sur les $1085$ tests positifs, seuls $95$ désignent de vrais malades : ${\displaystyle \frac{95}{1085}}\approx \mathrm{0,088}$, et l'on retrouve la VPP. La maladie est si rare que les malades bien détectés sont noyés sous les faux positifs venus de l'immense majorité saine : $990$ contre $95$, plus de dix fois plus. La sensibilité de $95\mathrm{\%}$ répond à la question « le test voit-il les malades ? » ; elle ne dit rien de la question du patient, « suis-je malade ? ». Confondre les deux, c'est confondre $P_M(T)$ et $P_T(M)$ — l'erreur d'inversion contre laquelle tout ce chapitre nous arme. En pratique, un dépistage positif dans une population à faible prévalence n'est jamais un diagnostic : c'est un signal, que l'on confirme par un second test plus spécifique.

Cette analyse suggère que la VPP dépend crucialement de la prévalence. Rendons cette dépendance explicite : notons $x=P(M)$ la proportion de malades, avec $0⩽x⩽1$, en conservant la sensibilité $\mathrm{0,95}$ et la spécificité $\mathrm{0,90}$. Le calcul mené plus haut se refait à l'identique avec $x$ à la place de $\mathrm{0,01}$ :

$$\text{VPP}(x)={\displaystyle \frac{\mathrm{0,95}x}{\mathrm{0,95}x+\mathrm{0,10}(1-x)}}={\displaystyle \frac{\mathrm{0,95}x}{\mathrm{0,85}x+\mathrm{0,10}}}={\displaystyle \frac{19x}{17x+2}},$$

la dernière écriture s'obtenant en multipliant numérateur et dénominateur par $20$. Voilà une fonction rationnelle sur $[0;1]$, que les outils d'étude de fonctions analysent sans peine. Sa dérivée se calcule par la formule du quotient :

$${\text{VPP}}^{\mathrm{\prime }}(x)={\displaystyle \frac{19(17x+2)-19x\times 17}{(17x+2{)}^2}}={\displaystyle \frac{38}{(17x+2{)}^2}}>0.$$

La fonction est donc strictement croissante sur $[0;1]$, de $\text{VPP}(0)=0$ à $\text{VPP}(1)=1$ : plus la maladie est répandue dans la population testée, plus un résultat positif est digne de confiance. Quelques valeurs fixent les idées :

La courbe grimpe très vite au voisinage de $0$ — la dérivée y vaut ${\text{VPP}}^{\mathrm{\prime }}(0)={\displaystyle \frac{38}{4}}=\mathrm{9,5}$ — puis s'infléchit en s'approchant de $1$. La leçon de santé publique est directe : le même test, appliqué à la population générale ($x=\mathrm{0,01}$, VPP $\approx \mathrm{8,8}\mathrm{\%}$) ou à des patients que leurs symptômes désignent déjà ($x=\mathrm{0,3}$, VPP $\approx 80\mathrm{\%}$), ne fournit pas du tout la même information. C'est pourquoi on réserve souvent les dépistages aux populations à risque : cibler la population testée, c'est augmenter $x$, donc la valeur d'un résultat positif.

Simuler pour estimer une probabilité conditionnelle

Les calculs de la section précédente reposent sur la formule de Bayes ; le programme invite à les contrôler par une tout autre voie, la simulation. Le principe est celui de la loi des grands nombres, déjà rencontrée : quand on répète une expérience aléatoire un grand nombre de fois, la fréquence observée d'un événement se rapproche de sa probabilité. Pour une probabilité conditionnelle, on adapte l'idée : la fréquence de $M$ parmi les seules expériences où $T$ s'est réalisé — une fréquence conditionnelle — estime $P_T(M)$.

Simulons le test de dépistage. La fonction random() du module random renvoie un réel aléatoire de $[0;1[$, uniformément réparti : la comparaison random() < p est donc vraie avec la probabilité $p$, ce qui suffit à imiter chaque branche de l'arbre. Pour chaque individu virtuel, on tire d'abord son état (malade avec la probabilité $\mathrm{0,01}$), puis le résultat de son test, avec la probabilité conditionnelle correspondant à son état — l'ordre des tirages suit exactement la chronologie de l'arbre.

from random import random

def estimer_vpp(n):
    positifs = 0
    malades_positifs = 0
    for k in range(n):
        malade = random() < 0.01
        if malade:
            test_positif = random() < 0.95
        else:
            test_positif = random() < 0.10
        if test_positif:
            positifs = positifs + 1
            if malade:
                malades_positifs = malades_positifs + 1
    return malades_positifs / positifs

La fonction renvoie le quotient du nombre de vrais positifs par le nombre total de positifs : c'est la fréquence conditionnelle de $M$ sachant $T$ dans l'échantillon simulé. L'appel estimer_vpp(100000) renvoie des valeurs voisines de 0.088, différentes à chaque exécution puisque le hasard s'en mêle — en parfait accord avec la VPP calculée, ${\displaystyle \frac{\mathrm{0,0095}}{\mathrm{0,1085}}}\approx \mathrm{0,088}$.

Deux observations pour finir. D'abord, l'estimation n'utilise qu'une partie de l'échantillon : sur $100000$ individus simulés, environ $\mathrm{10,85}\mathrm{\%}$ seulement sont testés positifs, soit $10850$ environ — c'est sur eux seuls que la fréquence est calculée, et il faut donc choisir $n$ assez grand pour que ce sous-échantillon soit lui-même fourni. Ensuite, la simulation reproduit fidèlement la structure du raisonnement bayésien : le programme engendre les individus des causes vers les effets (l'état, puis le test), exactement comme l'arbre ; et c'est le simple comptage conditionnel, à la fin, qui inverse le conditionnement — sans qu'aucune formule n'ait été écrite. La fréquence conditionnelle est à $P_T(M)$ ce que la fréquence ordinaire est à une probabilité : son ombre expérimentale, que la loi des grands nombres rapproche de la vraie valeur.

Résumons le chemin parcouru. La probabilité conditionnelle $P_B(A)={\displaystyle \frac{P(A\cap B)}{P(B)}}$ chiffre l'effet d'une information sur une probabilité ; les arbres pondérés et les tableaux croisés la font calculer d'un trait, et l'indépendance est le cas où l'information ne change rien. La formule des probabilités totales assemble la probabilité d'un effet à partir de ses causes possibles : $P(B)=P(A)P_A(B)+P(\bar{A})P_{\bar{A}}(B)$. La formule de Bayes, $P_B(A)={\displaystyle \frac{P_A(B)P(A)}{P(B)}}$, remonte l'arbre à contre-courant et transforme une probabilité a priori en probabilité a posteriori : c'est l'inférence bayésienne. Appliquée aux tests de dépistage, elle sépare ce que mesure le laboratoire — sensibilité $P_M(T)$, spécificité $P_{\bar{M}}(\bar{T})$ — de ce que veut savoir le patient — les valeurs prédictives $P_T(M)$ et $P_{\bar{T}}(\bar{M})$ — et révèle le rôle décisif de la prévalence, qu'une brève étude de fonction rend limpide. Et lorsque le calcul se complique, la simulation prend le relais : compter, parmi les expériences simulées où l'effet s'est produit, celles où la cause était présente. Deux cent soixante ans après le mémoire de Bayes, ce va-et-vient entre les causes et les effets reste l'un des raisonnements les plus utiles — et les plus subtils — de toutes les mathématiques.