Loi des grands nombres

L'essentiel en deux minutes

Ce qu'il faut déjà savoir : l'espérance $E(X)$ d'une variable aléatoire (sa valeur moyenne « théorique »), sa variance $V(X)$ qu'on note $\sigma^2$ (elle mesure à quel point les valeurs sont dispersées), et ce qu'est une fréquence. Rien de plus.

L'idée en une phrase : si tu répètes une expérience un très grand nombre de fois, la moyenne des résultats obtenus se rapproche de l'espérance. Exemple parlant : lance un dé équilibré $10\,000$ fois, la fréquence d'apparition du $6$ va se coller à $\dfrac{1}{6}$. C'est la stabilisation des fréquences.

Le décor. On dispose de variables $X_1, X_2, \ldots, X_n$ indépendantes et de même loi (on dit i.i.d.), toutes d'espérance $\mu$ et de variance $\sigma^2$. On regarde leur moyenne empirique : $\bar{X}_n = \dfrac{X_1 + \cdots + X_n}{n}$.

Les formules qui rapportent des points :

• $E(\bar{X}_n) = \mu$ : en moyenne, la moyenne empirique vaut l'espérance.
• $V(\bar{X}_n) = \dfrac{\sigma^2}{n}$ : plus $n$ est grand, plus la moyenne est « resserrée ».
• Inégalité de Bienaymé-Tchebychev : $P(|X - \mu| \ge t) \le \dfrac{\sigma^2}{t^2}$ pour tout $t \gt 0$.
• Loi des grands nombres : $P(|\bar{X}_n - \mu| \ge \varepsilon) \le \dfrac{\sigma^2}{n\varepsilon^2} \xrightarrow[n \to +\infty]{} 0$.

Traduction de la dernière ligne : la probabilité que la moyenne empirique s'écarte de $\mu$ d'au moins $\varepsilon$ devient aussi petite que l'on veut quand $n$ grandit. On dit que $\bar{X}_n$ converge en probabilité vers $\mu$.

Un exemple pour se rassurer

Un exemple direct avec l'inégalité de Bienaymé-Tchebychev, l'outil de base. On sait qu'une variable $X$ vérifie $E(X) = 5$ et $V(X) = 4$. On veut majorer $P(|X - 5| \ge 4)$, c'est-à-dire la probabilité que $X$ s'éloigne de sa moyenne d'au moins $4$.

Étape 1. On repère les ingrédients : ici $\mu = 5$, $\sigma^2 = 4$, et l'écart demandé est $t = 4$.

Étape 2. On applique la formule $P(|X - \mu| \ge t) \le \dfrac{\sigma^2}{t^2}$ : $P(|X - 5| \ge 4) \le \dfrac{4}{4^2}$.

Étape 3. On calcule : $\dfrac{4}{4^2} = \dfrac{4}{16} = \dfrac{1}{4}$.

Conclusion : $P(|X - 5| \ge 4) \le \dfrac{1}{4}$. Sans rien connaître de la loi de $X$, on a encadré la probabilité. Tu vois le principe : repérer $\mu$, $\sigma^2$ et $t$, remplacer, simplifier. C'est déjà la moitié des points d'un exercice.

Le vocabulaire, posé proprement

Reprenons chaque mot du décor, sans le survoler.

Variables i.i.d. On se donne des variables aléatoires $X_1, X_2, \ldots, X_n$ qui sont indépendantes (le résultat de l'une n'influence pas les autres) et de même loi (elles suivent toutes la même règle du hasard). D'où le sigle i.i.d. : indépendantes et identiquement distribuées. Elles partagent alors la même espérance $\mu = E(X_i)$ et la même variance $\sigma^2 = V(X_i)$.

Moyenne empirique. C'est simplement la moyenne des résultats obtenus : $\bar{X}_n = \dfrac{X_1 + X_2 + \cdots + X_n}{n}$. C'est elle-même une variable aléatoire, car elle dépend du hasard des tirages.

Espérance et variance de cette moyenne. Deux résultats à connaître par cœur, et voici pourquoi ils sont vrais :

• $E(\bar{X}_n) = \dfrac{1}{n}\bigl(E(X_1) + \cdots + E(X_n)\bigr) = \dfrac{1}{n} \times n\mu = \mu$.
• Comme les $X_i$ sont indépendantes, $V(X_1 + \cdots + X_n) = n\sigma^2$. En divisant la somme par $n$, la variance est divisée par $n^2$ : $V(\bar{X}_n) = \dfrac{n\sigma^2}{n^2} = \dfrac{\sigma^2}{n}$.

Convergence en probabilité. Dire que $\bar{X}_n$ converge en probabilité vers $\mu$, c'est dire que pour tout $\varepsilon \gt 0$ (aussi petit soit-il), $P(|\bar{X}_n - \mu| \ge \varepsilon) \longrightarrow 0$ quand $n \to +\infty$. Attention : ce n'est pas une égalité $\bar{X}_n = \mu$, mais une probabilité d'écart qui s'évanouit.

L'outil clé et la méthode

L'inégalité de Bienaymé-Tchebychev. Pour n'importe quelle variable $X$ d'espérance $\mu$ et de variance $\sigma^2$, et pour tout $t \gt 0$ : $P(|X - \mu| \ge t) \le \dfrac{\sigma^2}{t^2}$. Elle borne la probabilité de « s'éloigner beaucoup de la moyenne », uniquement à partir de la variance.

De l'outil à la loi. On applique cette inégalité à $\bar{X}_n$, qui a pour espérance $\mu$ et pour variance $\dfrac{\sigma^2}{n}$. En prenant $t = \varepsilon$ : $P(|\bar{X}_n - \mu| \ge \varepsilon) \le \dfrac{\sigma^2/n}{\varepsilon^2} = \dfrac{\sigma^2}{n\varepsilon^2}$. Quand $n \to +\infty$, cette borne tend vers $0$ : c'est la loi des grands nombres.

La méthode, pas à pas.

• Identifier la loi des $X_i$, puis calculer $\mu = E(X_i)$ et $\sigma^2 = V(X_i)$.
• Former $\bar{X}_n$ et écrire ses deux caractéristiques : $E(\bar{X}_n) = \mu$ et $V(\bar{X}_n) = \dfrac{\sigma^2}{n}$.
• Appliquer Bienaymé-Tchebychev à $\bar{X}_n$ avec $t = \varepsilon$ : $P(|\bar{X}_n - \mu| \ge \varepsilon) \le \dfrac{\sigma^2}{n\varepsilon^2}$.
• Cas fréquent : trouver le plus petit $n$ tel que la borne soit sous un seuil $\alpha$. On résout $\dfrac{\sigma^2}{n\varepsilon^2} \le \alpha$, ce qui donne $n \ge \dfrac{\sigma^2}{\alpha\varepsilon^2}$.

Un exemple entièrement traité

Des variables $X_i$ sont i.i.d. de loi de Bernoulli de paramètre $p = 0{,}3$ (chaque $X_i$ vaut $1$ avec probabilité $0{,}3$, sinon $0$). On veut majorer $P(|\bar{X}_{100} - 0{,}3| \ge 0{,}1)$.

Étape 1 — espérance et variance. Pour une loi de Bernoulli de paramètre $p$, on a $\mu = p = 0{,}3$ et $\sigma^2 = p(1 - p) = 0{,}3 \times 0{,}7 = 0{,}21$.

Étape 2 — la moyenne empirique. Ici $n = 100$, donc $E(\bar{X}_{100}) = 0{,}3$ et $V(\bar{X}_{100}) = \dfrac{0{,}21}{100}$.

Étape 3 — Bienaymé-Tchebychev avec $\varepsilon = 0{,}1$. $P(|\bar{X}_{100} - 0{,}3| \ge 0{,}1) \le \dfrac{\sigma^2}{n\varepsilon^2} = \dfrac{0{,}21}{100 \times (0{,}1)^2}$.

Étape 4 — calcul. $100 \times (0{,}1)^2 = 100 \times 0{,}01 = 1$, donc la borne vaut $\dfrac{0{,}21}{1} = 0{,}21$.

Conclusion : $P(|\bar{X}_{100} - 0{,}3| \ge 0{,}1) \le 0{,}21$. Il y a donc au plus $21\%$ de chances que la fréquence observée s'écarte de $0{,}3$ de plus de $0{,}1$.

Échauffement 1 : Bienaymé-Tchebychev tout simple

On se met en jambes avec l'outil de base. Une variable $X$ vérifie $E(X) = 10$ et $V(X) = 9$. On majore ensemble $P(|X - 10| \ge 6)$.

On repère les données : $\mu = 10$, $\sigma^2 = 9$, et l'écart visé est $t = 6$. On note bien que $t$, c'est le nombre qui apparaît juste après le « $\ge$ ».

On applique la formule : $P(|X - 10| \ge 6) \le \dfrac{\sigma^2}{t^2} = \dfrac{9}{6^2}$.

On calcule le dénominateur : $6^2 = 36$.

On simplifie : $\dfrac{9}{36} = \dfrac{1}{4} = 0{,}25$.

On conclut : $P(|X - 10| \ge 6) \le 0{,}25$. Trois lignes, et c'est plié. Retiens le geste : $\mu$, $\sigma^2$, $t$, on remplace, on simplifie.

Échauffement 2 : la loi des grands nombres en action

Passons à la loi des grands nombres elle-même. On joue à pile ou face avec une pièce équilibrée. On pose $X_i = 1$ si le $i$-ème lancer donne pile, et $X_i = 0$ sinon : les $X_i$ sont i.i.d. de loi de Bernoulli de paramètre $p = 0{,}5$. On lance $n = 100$ fois et on veut majorer $P(|\bar{X}_{100} - 0{,}5| \ge 0{,}1)$, la probabilité que la fréquence de pile s'écarte de $0{,}5$ de plus de $0{,}1$.

D'abord l'espérance et la variance d'un lancer : $\mu = p = 0{,}5$ et $\sigma^2 = p(1 - p) = 0{,}5 \times 0{,}5 = 0{,}25$.

Ensuite la moyenne empirique, avec $n = 100$ : $E(\bar{X}_{100}) = 0{,}5$ et $V(\bar{X}_{100}) = \dfrac{0{,}25}{100}$.

On applique Bienaymé-Tchebychev à $\bar{X}_{100}$ avec $\varepsilon = 0{,}1$ : $P(|\bar{X}_{100} - 0{,}5| \ge 0{,}1) \le \dfrac{\sigma^2}{n\varepsilon^2} = \dfrac{0{,}25}{100 \times 0{,}01}$.

On calcule : $100 \times 0{,}01 = 1$, donc la borne vaut $\dfrac{0{,}25}{1} = 0{,}25$.

Conclusion : $P(|\bar{X}_{100} - 0{,}5| \ge 0{,}1) \le 0{,}25$. Autrement dit, il y a au moins $75\%$ de chances que la fréquence de pile tombe entre $0{,}4$ et $0{,}6$ sur $100$ lancers.

Échauffement 3 : combien de lancers pour être tranquille ?

Même pièce équilibrée, mais on renverse la question : combien de lancers $n$ faut-il pour être sûr, à $95\%$ au moins, que la fréquence de pile soit à moins de $0{,}1$ de $0{,}5$ ? Autrement dit, on veut $P(|\bar{X}_n - 0{,}5| \ge 0{,}1) \le 0{,}05$.

On part de la borne : $P(|\bar{X}_n - 0{,}5| \ge 0{,}1) \le \dfrac{\sigma^2}{n\varepsilon^2}$. Il suffit que cette borne soit sous le seuil, donc on impose $\dfrac{\sigma^2}{n\varepsilon^2} \le 0{,}05$.

On isole $n$ : l'inégalité $\dfrac{\sigma^2}{n\varepsilon^2} \le \alpha$ équivaut à $n \ge \dfrac{\sigma^2}{\alpha\varepsilon^2}$. On a juste fait passer $n$ en haut et $\alpha$ en bas.

On remplace par les valeurs $\sigma^2 = 0{,}25$, $\alpha = 0{,}05$, $\varepsilon = 0{,}1$ : $n \ge \dfrac{0{,}25}{0{,}05 \times (0{,}1)^2} = \dfrac{0{,}25}{0{,}05 \times 0{,}01}$.

On calcule le dénominateur : $0{,}05 \times 0{,}01 = 0{,}000\,5$. Donc $n \ge \dfrac{0{,}25}{0{,}000\,5} = 500$.

Conclusion : à partir de $n = 500$ lancers, la garantie est atteinte. Note bien : comme $n$ doit être entier, dès qu'on trouve une valeur non entière on arrondit à l'entier supérieur.

Problème type 1 : maîtriser l'écart au dé

Énoncé. On lance un dé équilibré $n = 1000$ fois. Pour chaque lancer, on pose $X_i = 1$ si on obtient un $6$, et $X_i = 0$ sinon. Majorer la probabilité que la fréquence d'apparition du $6$ s'écarte de sa valeur théorique de plus de $0{,}05$.

Rédaction attendue.

Les $X_i$ sont indépendantes et de même loi de Bernoulli de paramètre $p = \dfrac{1}{6}$ (probabilité d'obtenir un $6$). Donc $\mu = \dfrac{1}{6}$ et $\sigma^2 = p(1 - p) = \dfrac{1}{6} \times \dfrac{5}{6} = \dfrac{5}{36}$.

La fréquence du $6$ sur les $1000$ lancers est la moyenne empirique $\bar{X}_{1000}$, avec $E(\bar{X}_{1000}) = \dfrac{1}{6}$ et $V(\bar{X}_{1000}) = \dfrac{5/36}{1000}$.

On applique Bienaymé-Tchebychev à $\bar{X}_{1000}$ avec $\varepsilon = 0{,}05$ : $P\left(\left|\bar{X}_{1000} - \dfrac{1}{6}\right| \ge 0{,}05\right) \le \dfrac{\sigma^2}{n\varepsilon^2} = \dfrac{5/36}{1000 \times (0{,}05)^2}$.

On calcule le dénominateur : $1000 \times (0{,}05)^2 = 1000 \times 0{,}002\,5 = 2{,}5$.

Donc la borne vaut $\dfrac{5/36}{2{,}5} = \dfrac{5}{36 \times 2{,}5} = \dfrac{5}{90} = \dfrac{1}{18} \approx 0{,}056$.

Conclusion : $P\left(\left|\bar{X}_{1000} - \dfrac{1}{6}\right| \ge 0{,}05\right) \le \dfrac{1}{18} \approx 0{,}056$. Sur $1000$ lancers, l'écart dépasse $0{,}05$ avec moins de $6\%$ de probabilité.

Ce que le correcteur attend : l'identification claire de la loi de Bernoulli et de $p$, le calcul de $\sigma^2 = p(1 - p)$, le passage explicite à $V(\bar{X}_n) = \dfrac{\sigma^2}{n}$, l'application propre de l'inégalité, puis un résultat simplifié.

Problème type 2 : dimensionner le nombre d'essais

Énoncé. Avec le même dé et le même écart $\varepsilon = 0{,}05$, combien de lancers faut-il au minimum pour garantir $P\left(\left|\bar{X}_n - \dfrac{1}{6}\right| \ge 0{,}05\right) \le 0{,}01$ ?

Rédaction attendue.

D'après l'inégalité de la loi des grands nombres, $P\left(\left|\bar{X}_n - \dfrac{1}{6}\right| \ge 0{,}05\right) \le \dfrac{\sigma^2}{n\varepsilon^2}$. Il suffit donc que la borne soit inférieure au seuil : $\dfrac{\sigma^2}{n\varepsilon^2} \le 0{,}01$.

On isole $n$ : cette inégalité équivaut à $n \ge \dfrac{\sigma^2}{\alpha\varepsilon^2}$, avec $\sigma^2 = \dfrac{5}{36}$, $\alpha = 0{,}01$ et $\varepsilon = 0{,}05$.

On calcule le dénominateur : $\alpha\varepsilon^2 = 0{,}01 \times (0{,}05)^2 = 0{,}01 \times 0{,}002\,5 = 0{,}000\,025$.

Donc $n \ge \dfrac{5/36}{0{,}000\,025} \approx \dfrac{0{,}138\,9}{0{,}000\,025} \approx 5555{,}6$.

Conclusion : comme $n$ est un entier, il faut $n \ge 5556$ lancers. Le réflexe qui fait gagner le point : quand le seuil de sécurité $\alpha$ diminue ou que l'écart toléré $\varepsilon$ rétrécit, $n$ explose — la borne varie en $\dfrac{1}{n}$, donc gagner en précision coûte cher en essais.

Les pièges classiques à éviter

Quatre erreurs reviennent à chaque copie. Passe-les en revue avant de rendre.

• Confondre la variance de la somme et celle de la moyenne. Pour des variables indépendantes, $V(X_1 + \cdots + X_n) = n\sigma^2$ (elle grandit), mais $V(\bar{X}_n) = \dfrac{\sigma^2}{n}$ (elle rétrécit). Passer à la moyenne divise la somme par $n$, donc la variance par $n^2$.
• Croire que la loi donne $\bar{X}_n = \mu$. Non : elle garantit une convergence en probabilité, c'est-à-dire $P(|\bar{X}_n - \mu| \ge \varepsilon) \to 0$, pas une égalité exacte. La moyenne empirique reste aléatoire.
• Prendre la borne pour la vraie probabilité. Bienaymé-Tchebychev donne une majoration, souvent très large. La vraie probabilité est en général bien plus petite (voir le schéma) : on n'écrit jamais « la probabilité vaut $\dfrac{\sigma^2}{n\varepsilon^2}$ », seulement qu'elle est au plus égale à cette valeur.
• Appliquer la formule hors de son cadre. Elle suppose des variables indépendantes et de même loi. Sinon, les résultats $V(\bar{X}_n) = \dfrac{\sigma^2}{n}$ et la loi des grands nombres ne s'appliquent plus tels quels.

D'où vient la loi : la preuve en une ligne

La loi des grands nombres n'est pas un mystère tombé du ciel : elle se démontre en une ligne à partir de l'inégalité de Bienaymé-Tchebychev. Suis le raisonnement.

On applique l'inégalité à la variable $\bar{X}_n$, dont on connaît l'espérance $E(\bar{X}_n) = \mu$ et la variance $V(\bar{X}_n) = \dfrac{\sigma^2}{n}$. En choisissant $t = \varepsilon$, l'inégalité $P(|Y - \mu| \ge t) \le \dfrac{V(Y)}{t^2}$ appliquée à $Y = \bar{X}_n$ donne directement :

$P(|\bar{X}_n - \mu| \ge \varepsilon) \le \dfrac{V(\bar{X}_n)}{\varepsilon^2} = \dfrac{\sigma^2/n}{\varepsilon^2} = \dfrac{\sigma^2}{n\varepsilon^2}$.

Il ne reste qu'à faire tendre $n$ vers $+\infty$ : le facteur $\dfrac{1}{n}$ écrase la borne vers $0$, donc $P(|\bar{X}_n - \mu| \ge \varepsilon) \longrightarrow 0$. La démonstration est bouclée. Tout le secret tenait dans un seul fait : diviser une somme par $n$ divise sa variance par $n^2$.

Un cran au-dessus (hors programme). La version que tu connais s'appelle la loi faible des grands nombres (convergence « en probabilité »). Il existe une version plus forte, la loi forte des grands nombres, qui affirme que la suite $\bar{X}_n$ finit presque toujours par se coller à $\mu$ pour de bon (convergence dite « presque sûre »). Même idée, garantie plus solide — tu la croiseras dans le supérieur.

Ce que la loi ne dit pas : vitesse, cloche et sondages

La loi des grands nombres dit vers quoi la moyenne converge ($\mu$), mais pas à quelle vitesse ni selon quelle forme se répartissent les petits écarts restants. C'est là qu'intervient, plus tard, le théorème central limite.

L'idée du théorème central limite (aperçu). Pour $n$ grand, l'écart $\bar{X}_n - \mu$ est typiquement de l'ordre de $\dfrac{\sigma}{\sqrt{n}}$, et sa répartition prend la forme d'une courbe en cloche (loi normale). Deux enseignements : d'une part la précision s'améliore comme $\dfrac{1}{\sqrt{n}}$ (pour diviser l'écart typique par $2$, il faut environ $4$ fois plus d'essais) ; d'autre part on peut décrire finement les fluctuations, là où Bienaymé-Tchebychev ne donnait qu'une majoration grossière.

Le lien avec l'estimation. Ces idées débouchent sur la concentration et les intervalles de confiance : puisque la moyenne empirique se resserre autour de $\mu$, on peut, à l'inverse, utiliser une moyenne observée pour estimer une espérance ou une proportion inconnue — et préciser avec quelle marge. C'est exactement le principe des sondages. La fiche « Concentration et estimation » prend le relais sur ce point.

À retenir pour l'an prochain. La loi des grands nombres est la fondation : elle justifie qu'« un grand échantillon est fiable ». Le théorème central limite et l'estimation viendront préciser à quel point il l'est. Tu pars avec la brique de base déjà en main.