Concentration et estimation

Les 3 mots à connaître avant tout

Trois notions à avoir en tête, pas une de plus.

• Proportion $p$ : le vrai pourcentage dans toute la population (par exemple la vraie part de gens qui votent « oui »). On ne la connaît pas : c'est justement ce qu'on cherche.
• Fréquence $f$ (ou $f_n$) : le pourcentage observé sur ton échantillon de $n$ personnes, soit $f = \dfrac{\text{nombre de cas favorables}}{n}$.
• Taille $n$ : le nombre de personnes interrogées.

L'idée centrale : $f$ change d'un sondage à l'autre (c'est le hasard), donc $f$ n'est pas exactement $p$ — mais il n'en est pas loin dès que $n$ est grand.

L'essentiel et les formules à retenir

Deux résultats suffisent pour un contrôle d'introduction.

1. On sait de combien $f$ peut s'écarter de $p$. C'est l'inégalité de concentration :

$P(|f_n - p| \ge \varepsilon) \le \dfrac{1}{4n\varepsilon^2}$

En clair : la probabilité que la fréquence observée s'éloigne de la vraie proportion de plus de $\varepsilon$ est petite, et d'autant plus petite que $n$ est grand.

2. On enferme $p$ dans une fourchette. Dès que $n \ge 30$, l'intervalle de confiance à 95 % est :

$\text{IC}_{95\%} = \left[\, f - \dfrac{1}{\sqrt{n}} \;;\; f + \dfrac{1}{\sqrt{n}} \,\right]$

Traduction : dans environ 95 sondages sur 100, la vraie proportion $p$ tombe dans cette fourchette.

Un exemple fait en entier

Énoncé. Un sondage sur $n = 400$ personnes donne $62\%$ de « oui », soit $f = 0{,}62$. Donne une fourchette à 95 % pour la vraie proportion $p$.

Étape 1 — on vérifie que $n \ge 30$ : ici $n = 400$, c'est bon.

Étape 2 — on calcule la demi-largeur $\dfrac{1}{\sqrt{n}}$ :

$\dfrac{1}{\sqrt{400}} = \dfrac{1}{20} = 0{,}05$

Étape 3 — on écrit la fourchette $[\,f - 0{,}05 \;;\; f + 0{,}05\,]$ :

$\text{IC}_{95\%} = [\,0{,}62 - 0{,}05 \;;\; 0{,}62 + 0{,}05\,] = [\,0{,}57 \;;\; 0{,}67\,]$

Conclusion. On estime, au niveau de confiance 95 %, que la vraie proportion $p$ est comprise entre $0{,}57$ et $0{,}67$.

Le vocabulaire, au propre

On étudie un caractère (pour ou contre, défectueux ou non...) dans une grande population. La part réelle de ce caractère est la proportion $p$, en général inconnue.

On prélève un échantillon de taille $n$. Chaque individu est modélisé par une variable de Bernoulli : $X_i = 1$ si le caractère est présent (avec la probabilité $p$), $X_i = 0$ sinon.

La fréquence observée est $f_n = \dfrac{X_1 + X_2 + \cdots + X_n}{n}$. C'est une variable aléatoire : elle change d'un échantillon à l'autre, c'est la fluctuation d'échantillonnage.

Deux objets à ne surtout pas confondre :

• Intervalle de fluctuation : $p$ est connu, et on encadre la fréquence $f_n$ à venir.
• Intervalle de confiance : $p$ est inconnu, et on l'estime à partir de la fréquence $f$ déjà observée. C'est notre situation ici.

De Bienaymé-Tchebychev à la concentration

Le point de départ est l'inégalité de Bienaymé-Tchebychev : pour une variable aléatoire $X$ d'espérance $\mu$ et de variance $\sigma^2$, et pour tout $\varepsilon > 0$,

$P(|X - \mu| \ge \varepsilon) \le \dfrac{\sigma^2}{\varepsilon^2}$

On l'applique à $f_n$. Il faut deux ingrédients :

• Son espérance : $E(f_n) = p$ (en moyenne, la fréquence tombe juste).
• Sa variance : $\text{Var}(f_n) = \dfrac{p(1-p)}{n}$.

Or la fonction $p \mapsto p(1-p)$ atteint son maximum $\dfrac{1}{4}$ en $p = \dfrac{1}{2}$ (voir la courbe). Donc, quelle que soit la valeur de $p$ :

$\text{Var}(f_n) = \dfrac{p(1-p)}{n} \le \dfrac{1}{4n}$

En remplaçant dans Bienaymé-Tchebychev, on obtient l'inégalité de concentration :

$P(|f_n - p| \ge \varepsilon) \le \dfrac{\text{Var}(f_n)}{\varepsilon^2} \le \dfrac{1}{4n\varepsilon^2}$

Retiens le sens : plus $n$ grandit, plus $f_n$ se concentre autour de $p$.

L'intervalle de confiance à 95 %, pas à pas

Quand $n \ge 30$, on estime $p$ par la fourchette :

$\text{IC}_{95\%} = \left[\, f - \dfrac{1}{\sqrt{n}} \;;\; f + \dfrac{1}{\sqrt{n}} \,\right]$

La méthode tient en quatre gestes :

• Calculer la fréquence observée $f = \dfrac{\text{effectif favorable}}{n}$.
• Calculer la demi-largeur $\delta = \dfrac{1}{\sqrt{n}}$.
• Écrire $\text{IC}_{95\%} = [\,f - \delta \;;\; f + \delta\,]$.
• Conclure par une phrase : « on estime au niveau 95 % que $p \in [\,f - \delta \;;\; f + \delta\,]$ ».

Exemple. Avec $f = 0{,}62$ et $n = 400$ : $\delta = \dfrac{1}{\sqrt{400}} = 0{,}05$, d'où $\text{IC}_{95\%} = [\,0{,}57 \;;\; 0{,}67\,]$.

Sens exact du « 95 % ». Si on refaisait le sondage un grand nombre de fois, environ 95 % des intervalles ainsi construits contiendraient la vraie proportion $p$. Ce n'est donc pas une certitude sur ce sondage précis.

Ensemble — majorer une probabilité d'écart

Énoncé. On interroge $n = 400$ personnes. Majore la probabilité que la fréquence observée s'écarte de la vraie proportion de plus de $\varepsilon = 0{,}1$.

On relit la formule de concentration, puis on repère nos données : $n = 400$ et $\varepsilon = 0{,}1$.

$P(|f_{400} - p| \ge 0{,}1) \le \dfrac{1}{4 \times 400 \times (0{,}1)^2}$

On calcule le dénominateur morceau par morceau. D'abord $(0{,}1)^2 = 0{,}01$.

Puis $4 \times 400 \times 0{,}01 = 1600 \times 0{,}01 = 16$.

$P(|f_{400} - p| \ge 0{,}1) \le \dfrac{1}{16} = 0{,}0625$

Conclusion. La probabilité d'un écart d'au moins $0{,}1$ (soit 10 points) est majorée par $6{,}25\%$. Note bien : c'est un majorant, la vraie probabilité est en réalité plus petite.

Ensemble — construire un intervalle de confiance

Énoncé. Sur $n = 900$ personnes interrogées, $468$ répondent « oui ». Donne l'intervalle de confiance à 95 % de la proportion $p$.

Geste 1 — la fréquence observée : $f = \dfrac{468}{900} = 0{,}52$.

Geste 2 — on vérifie $n \ge 30$ : $900 \ge 30$, feu vert.

Geste 3 — la demi-largeur : $\delta = \dfrac{1}{\sqrt{900}} = \dfrac{1}{30} \approx 0{,}033$.

Geste 4 — la fourchette : $\text{IC}_{95\%} = [\,0{,}52 - 0{,}033 \;;\; 0{,}52 + 0{,}033\,] \approx [\,0{,}487 \;;\; 0{,}553\,]$.

Conclusion. On estime au niveau 95 % que $p \in [\,0{,}487 \;;\; 0{,}553\,]$. Comme $0{,}5$ est dans l'intervalle, on ne peut pas trancher entre majorité et minorité.

Ensemble — l'effet de la taille $n$

Énoncé. Avec $\varepsilon = 0{,}1$ fixé, compare le majorant de concentration pour $n = 400$ puis pour $n = 1600$.

Pour $n = 400$, on l'a déjà : $\dfrac{1}{4 \times 400 \times 0{,}01} = \dfrac{1}{16} = 0{,}0625$.

Pour $n = 1600$, on refait le calcul : $4 \times 1600 \times 0{,}01 = 64$, donc le majorant vaut $\dfrac{1}{64} \approx 0{,}0156$.

En multipliant $n$ par $4$, le majorant est divisé par $4$ (et pas par $16$).

À retenir. Dans $\dfrac{1}{4n\varepsilon^2}$, le $n$ est à la puissance $1$ : le majorant est proportionnel à $\dfrac{1}{n}$. C'est cohérent avec la demi-largeur de l'IC en $\dfrac{1}{\sqrt{n}}$ : pour diviser la largeur par $2$, il faut multiplier $n$ par $4$.

Problème type — un sondage électoral

Énoncé. Un institut interroge $1000$ personnes : $480$ déclarent voter pour le candidat A. (a) Donne l'intervalle de confiance à 95 % de la proportion $p$ de ses électeurs. (b) Peut-on affirmer qu'il sera élu (plus de 50 %) ?

(a) Fréquence observée : $f = \dfrac{480}{1000} = 0{,}48$.

Condition $n \ge 30$ vérifiée, car $n = 1000$.

Demi-largeur : $\delta = \dfrac{1}{\sqrt{1000}} \approx 0{,}0316$.

$\text{IC}_{95\%} = [\,0{,}48 - 0{,}0316 \;;\; 0{,}48 + 0{,}0316\,] \approx [\,0{,}448 \;;\; 0{,}512\,]$.

(b) La valeur $0{,}5$ appartient à l'intervalle $[\,0{,}448 \;;\; 0{,}512\,]$. On ne peut donc pas conclure : au niveau 95 %, la vraie proportion peut être en dessous comme au-dessus de $50\%$. Le sondage ne permet pas d'annoncer l'élection.

Ce que le correcteur attend : la fréquence explicitement calculée, la vérification de $n \ge 30$, l'intervalle avec ses deux bornes, et surtout une interprétation qui répond à la question posée (ici, « $0{,}5$ est dans l'IC, donc on ne tranche pas »).

Problème type — choisir la taille de l'échantillon

Énoncé. On veut garantir $P(|f_n - p| \ge 0{,}05) \le 0{,}05$. Quelle taille $n$ suffit, d'après l'inégalité de concentration ?

On part de la majoration $P(|f_n - p| \ge 0{,}05) \le \dfrac{1}{4n \times (0{,}05)^2}$.

Il suffit d'imposer que ce majorant soit sous $0{,}05$ : $\dfrac{1}{4n \times (0{,}05)^2} \le 0{,}05$.

On calcule $4 \times (0{,}05)^2 = 4 \times 0{,}0025 = 0{,}01$. L'inégalité devient $\dfrac{1}{0{,}01\,n} \le 0{,}05$.

On isole $n$ : $0{,}01\,n \ge \dfrac{1}{0{,}05} = 20$, donc $n \ge \dfrac{20}{0{,}01} = 2000$.

Conclusion. Un échantillon de $n = 2000$ personnes suffit pour garantir cette précision. C'est un seuil prudent : dans les faits, une taille plus petite donnerait déjà ce résultat, car on a majoré la variance par $\dfrac{1}{4n}$.

Les pièges classiques du correcteur

• IC à 95 % $\neq$ certitude. Que $p$ soit hors de l'intervalle arrive dans environ 5 % des sondages : ce n'est pas une contradiction, c'est prévu par la définition.
• Oublier la condition $n \ge 30$. Sans elle, la formule de l'IC n'est pas justifiée : vérifie-la et écris-le.
• Le $n$ n'est pas au carré. C'est bien $\dfrac{1}{4n\varepsilon^2}$, surtout pas $\dfrac{1}{4n^2\varepsilon^2}$.
• Fluctuation contre confiance. Intervalle de fluctuation : $p$ connu. Intervalle de confiance : $p$ inconnu, estimé par $f$. Ne mélange pas les deux.
• Interpréter, pas seulement calculer. Un IC sans phrase de conclusion perd des points ; relie toujours le résultat à la question.

Le lien avec la loi des grands nombres

L'inégalité de concentration dit que $P(|f_n - p| \ge \varepsilon) \le \dfrac{1}{4n\varepsilon^2}$. Fais grandir $n$ vers l'infini, avec $\varepsilon$ fixé : le majorant tend vers $0$.

Autrement dit, la probabilité que $f_n$ s'écarte de $p$ devient aussi petite qu'on veut. C'est une version chiffrée de la loi des grands nombres : la fréquence observée se rapproche de la probabilité théorique quand l'échantillon grossit.

La demi-largeur de l'IC, $\dfrac{1}{\sqrt{n}}$, traduit la même idée côté estimation : plus $n$ est grand, plus la fourchette rétrécit, donc plus l'estimation de $p$ est précise (voir la courbe).

D'où vient vraiment le $\dfrac{1}{\sqrt{n}}$ ?

La formule de Terminale, $\delta = \dfrac{1}{\sqrt{n}}$, est une version simplifiée et prudente. L'intervalle de confiance à 95 % « exact », utilisé après le bac, s'écrit plutôt :

$\left[\, f - 1{,}96\,\sqrt{\dfrac{f(1-f)}{n}} \;;\; f + 1{,}96\,\sqrt{\dfrac{f(1-f)}{n}} \,\right]$

Pourquoi la version simple est-elle plus large, donc plus prudente ? On réutilise la majoration déjà vue $f(1-f) \le \dfrac{1}{4}$, soit $\sqrt{f(1-f)} \le \dfrac{1}{2}$. Alors :

$1{,}96\,\sqrt{\dfrac{f(1-f)}{n}} \le 1{,}96 \times \dfrac{1}{2} \times \dfrac{1}{\sqrt{n}} = \dfrac{0{,}98}{\sqrt{n}} \le \dfrac{1}{\sqrt{n}}$

La demi-largeur exacte est donc toujours inférieure à $\dfrac{1}{\sqrt{n}}$ : la fourchette du programme contient l'autre, elle ne peut pas être trop optimiste. Le coefficient $1{,}96$, lui, viendra de la loi normale, que tu croiseras après le lycée.

Ce qui t'attend l'an prochain

Ce chapitre est ta première porte vers la statistique inférentielle : deviner une caractéristique de toute une population à partir d'un simple échantillon.

• Théorème central limite : il explique pourquoi la fréquence $f_n$ suit approximativement une loi normale, et fait apparaître le fameux $1{,}96$.
• Autres niveaux de confiance : 90 %, 99 %... en changeant le coefficient, on choisit son compromis entre précision et sécurité.
• Tests d'hypothèses : au lieu d'estimer $p$, on décidera si une affirmation sur $p$ est crédible au vu des données.

Et tout repose sur les briques d'aujourd'hui : loi de Bernoulli, espérance, variance, et cette idée que le hasard, en grand nombre, devient prévisible.