Loi des grands nombres

Plus on répète une expérience, plus la fréquence empirique converge vers la probabilité théorique.

1 L'idée

On lance un dé 10 000 fois : la fréquence d'apparition d'un 6 s'approche de $\dfrac{1}{6}$. Ce phénomène — la stabilisation des fréquences — est formalisé par la loi des grands nombres.

Soit $X_1, X_2, \ldots, X_n$ des variables aléatoires indépendantes et de même loi (i.i.d.), d'espérance $\mu$ et de variance $\sigma^2$. La moyenne empirique est $\bar{X}_n = \dfrac{X_1 + \cdots + X_n}{n}$.

La loi des grands nombres affirme que pour tout $\varepsilon \gt 0$, $P(|\bar{X}_n - \mu| \ge \varepsilon) \longrightarrow 0$ quand $n \to +\infty$. On dit que $\bar{X}_n$ converge en probabilité vers $\mu$. La preuve repose sur l'inégalité de Bienaymé-Tchebychev.

2 Outils et résultats à connaître

Bienaymé-Tchebychev

$P(|X - \mu| \ge t) \le \dfrac{\sigma^2}{t^2} \quad (t \gt 0)$

Espérance de la moyenne

$E(\bar{X}_n) = \mu$

Variance de la moyenne

$V(\bar{X}_n) = \dfrac{\sigma^2}{n}$

Loi des grands nombres

$P(|\bar{X}_n - \mu| \ge \varepsilon) \le \dfrac{\sigma^2}{n\varepsilon^2} \xrightarrow[n \to +\infty]{} 0$

3 Exemples numériques

Exemple A — Bienaymé-Tchebychev

$X$ vérifie $E(X) = 5$, $V(X) = 4$. Majorer $P(|X - 5| \ge 4)$.

$P(|X - 5| \ge 4) \le \dfrac{4}{4^2} = \dfrac{4}{16} = \dfrac{1}{4}$.

Exemple B — LGN appliquée

$X_i$ i.i.d. Bernoulli de paramètre $p = 0{,}3$, donc $\sigma^2 = 0{,}21$. Pour $n = 100$ et $\varepsilon = 0{,}1$ :

$P(|\bar{X}_{100} - 0{,}3| \ge 0{,}1) \le \dfrac{0{,}21}{100 \times (0{,}1)^2} = \dfrac{0{,}21}{1} = 0{,}21$.

Méthode — Appliquer la loi des grands nombres

Identifier la loi de $X_i$, calculer $\mu = E(X_i)$ et $\sigma^2 = V(X_i)$.
Former $\bar{X}_n$ et retenir $E(\bar{X}_n) = \mu$ et $V(\bar{X}_n) = \dfrac{\sigma^2}{n}$.
Appliquer Bienaymé-Tchebychev à $\bar{X}_n$ avec $t = \varepsilon$ : $P(|\bar{X}_n - \mu| \ge \varepsilon) \le \dfrac{\sigma^2}{n\varepsilon^2}$.
Pour trouver un $n$ minimal tel que $P(|\bar{X}_n - \mu| \ge \varepsilon) \le \alpha$, résoudre $\dfrac{\sigma^2}{n\varepsilon^2} \le \alpha$, soit $n \ge \dfrac{\sigma^2}{\alpha\varepsilon^2}$.

Erreurs fréquentes

Confondre $V(X_1 + \cdots + X_n) = n\sigma^2$ et $V(\bar{X}_n) = \dfrac{\sigma^2}{n}$ : passer à la moyenne introduit un $n^2$ au dénominateur.
Croire que la LGN donne $P(\bar{X}_n = \mu) \to 1$ : elle garantit une convergence en probabilité, pas une égalité exacte.
Oublier que la borne de Bienaymé-Tchebychev est une majoration souvent grossière : la vraie probabilité peut être bien plus petite.
Appliquer la formule à des variables non indépendantes ou de lois différentes.