L’estimation statistique repose sur des concepts fondamentaux de probabilités et de statistiques. Avant d’introduire les différentes méthodes d’estimation, il est essentiel de maîtriser les notions de variables aléatoires, lois de probabilité, moments et théorèmes fondamentaux qui justifient l’inférence statistique.
Ce chapitre a pour objectifs :
Les connaissances acquises dans ce chapitre serviront de base pour les techniques d’estimation abordées dans les chapitres suivants.
Une variable aléatoire est une fonction qui associe une valeur numérique à chaque issue d’une expérience aléatoire. Elle est généralement définie sur un espace probabilisé \((\Omega, \mathcal{F}, P)\), où : - \(\Omega\) est l’ensemble des résultats possibles de l’expérience, - \(\mathcal{F}\) est une tribu d’événements sur \(\Omega\), - \(P\) est une mesure de probabilité associée.
On distingue principalement deux types de variables aléatoires : - Variables aléatoires discrètes : elles prennent un nombre fini ou dénombrable de valeurs possibles. - Variables aléatoires continues : elles peuvent prendre toutes les valeurs d’un intervalle réel.
La loi de probabilité d’une variable aléatoire décrit la répartition de ses valeurs possibles et leurs probabilités associées.
Une variable aléatoire discrète \(X\) est caractérisée par sa fonction de probabilité (ou fonction de masse de probabilité, FMP), définie par : \[ P(X = x_i) = p_i, \quad \text{avec} \quad \sum_{i} p_i = 1. \]
Example 1 (Lois discrètes :)
Une variable aléatoire continue \(X\) est caractérisée par sa fonction de densité de probabilité (FDP) \(f_X(x)\), qui satisfait : \[ P(a \leq X \leq b) = \int_{a}^{b} f_X(x) \, dx. \]
Example 2 (Lois continues)
La fonction de répartition d’une variable aléatoire \(X\) est définie par : \[ F_X(x) = P(X \leq x). \] Elle permet de calculer les probabilités cumulées et caractérise complètement la distribution de \(X\).
Les moments d’une variable aléatoire sont des valeurs numériques qui permettent de caractériser sa distribution. Ils fournissent des informations essentielles sur la tendance centrale, la dispersion et la forme de la distribution.
L’espérance d’une variable aléatoire \(X\), notée \(E(X)\), représente la moyenne théorique des valeurs prises par \(X\). Elle est définie comme :
L’espérance est un indicateur de tendance centrale qui donne une idée de la valeur moyenne autour de laquelle les observations sont réparties.
La variance, notée \(V(X)\) ou \(\sigma^2\), mesure la dispersion des valeurs de \(X\) autour de sa moyenne. Elle est définie par :
\[ V(X) = E[(X - E[X])^2] = E[X^2] - (E[X])^2. \]
L’écart-type, noté \(\sigma\), est la racine carrée de la variance :
\[ \sigma_X = \sqrt{V(X)}. \]
Il exprime la dispersion en conservant l’unité de mesure de la variable \(X\). Une grande valeur de \(\sigma\) indique que les valeurs de \(X\) sont fortement dispersées autour de la moyenne.
Les moments d’ordre supérieur permettent de caractériser la forme de la distribution.
Moment d’ordre \(k\) (par rapport à l’origine) : \[ E[X^k] = \sum_{i} x_i^k P(X = x_i) \quad \text{(discret)} \] \[ E[X^k] = \int_{-\infty}^{+\infty} x^k f_X(x)dx \quad \text{(continu)} \]
Moment centré d’ordre \(k\) : \[ \mu_k' = E[(X - E[X])^k]. \]
Les moments d’ordre supérieur, en particulier les moments d’ordre 3 et 4, sont utilisés pour décrire l’asymétrie et l’aplatissement d’une distribution.
Le coefficient d’asymétrie, ou skewness, noté \(\gamma_1\), mesure la symétrie de la distribution par rapport à sa moyenne :
\[ \gamma_1 = \frac{E[(X - E[X])^3]}{\sigma^3}. \]
Le coefficient d’aplatissement, ou kurtosis, noté \(\gamma_2\), mesure la concentration des valeurs autour de la moyenne :
\[ \gamma_2 = \frac{E[(X - E[X])^4]}{\sigma^4} - 3. \]
La fonction génératrice des moments (FGM), si elle existe, est définie par :
\[ \Psi_X(t) = E[e^{tX}]. \]
Elle permet de retrouver tous les moments d’une variable aléatoire par dérivation :
\[ E[X^k] = \left. \frac{d^k}{dt^k} \Psi_X(t) \right|_{t=0}. \]
| Quantité | Définition |
|---|---|
| Espérance \(E(X)\) | Valeur moyenne attendue |
| Variance \(V(X)\) | Dispersion des valeurs autour de la moyenne |
| Écart-type \(\sigma\) | Racine carrée de la variance |
| Asymétrie \(\gamma_1\) | Mesure de la symétrie de la distribution |
| Aplatissement \(\gamma_2\) | Mesure de la concentration des valeurs |
L’estimation statistique repose sur des résultats fondamentaux en probabilités, notamment la loi des grands nombres (LGN) et le théorème central limite (TCL). Ces théorèmes garantissent que les estimations obtenues à partir d’un échantillon convergent vers la valeur réelle du paramètre recherché.
La loi des grands nombres formalise l’idée intuitive selon laquelle la moyenne empirique d’un grand nombre d’observations indépendantes se rapproche de l’espérance mathématique.
Soit \(X_1, X_2, \dots, X_n\) une suite de variables aléatoires indépendantes et identiquement distribuées (i.i.d.) ayant une espérance finie \(E(X) = \mu\). On définit la moyenne empirique :
\[ \overline{X}_n = \frac{1}{n} \sum_{i=1}^{n} X_i. \]
La loi faible des grands nombres (LGN faible) affirme que :
\[ \overline{X}_n \xrightarrow{P} \mu, \quad \text{(convergence en probabilité)}. \]
Cela signifie que, lorsque \(n \to \infty\), la probabilité que \(\overline{X}_n\) s’éloigne de \(\mu\) devient arbitrairement petite.
La loi forte des grands nombres (LGN forte) va plus loin en affirmant que :
\[ \overline{X}_n \xrightarrow{a.s.} \mu, \quad \text{(convergence presque sûre)}. \]
Cela signifie que la moyenne empirique \(\overline{X}_n\) converge presque sûrement vers \(\mu\), c’est-à-dire que la probabilité que cette convergence ne se produise pas est nulle.
Le théorème central limite (TCL) est l’un des résultats les plus importants en statistique. Il explique pourquoi de nombreuses distributions empiriques suivent une loi normale, même si les données individuelles ne sont pas distribuées normalement.
Soit \(X_1, X_2, \dots, X_n\) une suite de variables aléatoires i.i.d. de moyenne \(\mu\) et de variance finie \(\sigma^2\). Alors, lorsque \(n\) est grand, la variable centrée et réduite :
\[ Z_n = \frac{\overline{X}_n - \mu}{\sigma / \sqrt{n}} \]
suit approximativement une loi normale standard \(\mathcal{N}(0,1)\) :
\[ Z_n \xrightarrow{d} \mathcal{N}(0,1), \quad \text{(convergence en loi)}. \]
Cela signifie que, même si les \(X_i\) ne sont pas normalement distribuées, la moyenne empirique \(\overline{X}_n\) suit une distribution approximativement normale dès que \(n\) est suffisamment grand.
| Propriété | Loi des Grands Nombres | Théorème Central Limite |
|---|---|---|
| Type de convergence | En probabilité (faible) ou presque sûre (forte) | En loi |
| Condition principale | \(E(X) = \mu\) existe | \(V(X) = \sigma^2\) existe et est finie |
| Résultat | La moyenne empirique converge vers \(\mu\) | La distribution des moyennes empiriques devient normale |
| Utilisation | Estimation de paramètres | Inférence statistique, tests d’hypothèses |
Prenons un jeu de données simulé représentant les gains moyens d’un casino. On effectue \(n\) tirages indépendants d’une loi uniforme entre \(0\) et \(10\), puis on observe comment la moyenne empirique évolue avec \(n\) :
set.seed(123)
n_values <- seq(10, 1000, by=10)
means <- sapply(n_values, function(n) mean(runif(n, min=0, max=10)))
plot(n_values, means, type="l", col="blue", lwd=2,
xlab="Taille de l'échantillon n",
ylab="Moyenne empirique",
main="Illustration de la Loi des Grands Nombres")
abline(h=5, col="red", lwd=2, lty=2) # Espérance théorique
On simule la somme de \(n\) variables de loi exponentielle et on compare la distribution normalisée à une loi normale :
set.seed(456)
n <- 1000
sums <- replicate(n, sum(rexp(30, rate=1))) # Somme de 30 variables exponentielles
hist(sums, breaks=30, probability=TRUE, col="lightblue", main="Illustration du TCL",
xlab="Somme normalisée")
curve(dnorm(x, mean(sums), sd(sums)), col="red", lwd=2, add=TRUE)
L’inégalité de Markov fournit une borne supérieure pour la probabilité qu’une variable aléatoire prenne des valeurs supérieures à un certain seuil. Elle est particulièrement utile pour démontrer la loi des grands nombres et pour obtenir des résultats de concentration.
Soit \(X\) une variable aléatoire positive, et soit \(a > 0\). Alors :
\[ P(X \geq a) \leq \frac{E[X]}{a}. \]
Autrement dit, la probabilité que \(X\) dépasse un seuil \(a\) est au plus égale à l’espérance de \(X\) divisée par \(a\).
Proof. Par définition de l’espérance :
\[ E[X] = \int_0^{+\infty} P(X \geq x) \, dx. \]
On peut décomposer cette intégrale en deux parties : pour \(x < a\) et pour \(x \geq a\). En remarquant que \(P(X \geq x) \geq P(X \geq a)\) pour tout \(x \geq a\), on obtient :
\[ E[X] \geq \int_{a}^{+\infty} a \cdot P(X \geq a) \, dx. \]
Ce qui donne directement :
\[ E[X] \geq a \cdot P(X \geq a). \]
D’où l’inégalité :
\[ P(X \geq a) \leq \frac{E[X]}{a}. \]
Contrôle de la probabilité des valeurs extrêmes
L’inégalité de Markov permet d’obtenir une borne supérieure sur la probabilité que \(X\) soit très grand. Par exemple, si \(E[X] = 10\), alors :
\[ P(X \geq 50) \leq \frac{10}{50} = 0.2. \]
Cela signifie que la probabilité que \(X\) soit supérieur à 50 est au plus de 20%.
Démonstration de la loi faible des grands nombres
L’inégalité de Markov est utilisée pour prouver que la moyenne empirique \(\overline{X}_n\) converge en probabilité vers l’espérance \(E[X]\).
Cas particuliers : inégalité de Tchebychev
Une version plus forte de l’inégalité de Markov, l’inégalité de Tchebychev, s’obtient en appliquant l’inégalité de Markov à la variable aléatoire \((X - E[X])^2\) :
\[ P(|X - E[X]| \geq k\sigma) \leq \frac{1}{k^2}. \]
Cette inégalité montre que la probabilité qu’une variable aléatoire s’écarte de plus de \(k\) écarts-types de sa moyenne est bornée par \(1/k^2\), ce qui est essentiel pour comprendre la convergence des moyennes empiriques.
L’inégalité de Markov et l’inégalité de Tchebychev sont des outils fondamentaux pour démontrer que :
\[ \overline{X}_n \xrightarrow{P} \mu \quad \text{(LGN faible)}. \]
Elles permettent de montrer que la probabilité d’un écart significatif entre la moyenne empirique et la moyenne théorique diminue lorsque \(n\) augmente.
La Loi des Grands Nombres (LGN) et le Théorème Central Limite (TCL) sont deux résultats fondamentaux en statistique :
La LGN garantit que la moyenne empirique converge vers la moyenne théorique. Le TCL montre que les moyennes d’échantillons suivent une loi normale pour un grand nombre d’observations, facilitant ainsi l’inférence statistique. Ces résultats justifient l’utilisation des techniques d’estimation et des tests statistiques que nous étudierons dans les prochains chapitres.
Cette section propose une série d’exercices permettant de consolider les concepts abordés dans ce chapitre. Les exercices couvrent les notions de variables aléatoires, distributions, moments, et les théorèmes fondamentaux de la statistique.
Exercise 1 (Identification de variables aléatoires) Parmi les exemples suivants, déterminer si la variable est discrète ou continue et justifier votre réponse :
Exercise 2 (Fonction de probabilité et fonction de répartition) Soit \(X\) une variable aléatoire discrète prenant les valeurs \(\{0,1,2,3\}\) avec la fonction de probabilité suivante : \[ P(X=0) = 0.2, \quad P(X=1) = 0.4, \quad P(X=2) = 0.3, \quad P(X=3) = 0.1. \]
Exercise 3 (Loi normale et loi exponentielle)
Exercise 4 (Calcul d’espérance et de variance) Soit \(X\) une variable aléatoire discrète de loi : \[ P(X = k) = \frac{c}{k^2}, \quad k = 1,2,3,4. \] 1. Déterminer la constante \(c\). 2. Calculer l’espérance \(E(X)\) et la variance \(V(X)\).
Exercise 5 (Asymétrie et kurtosis)
Exercise 6 (Vérification de l’inégalité de Markov) Soit \(X\) une variable aléatoire positive telle que \(E(X) = 5\). En utilisant l’inégalité de Markov, donner une borne supérieure pour :
Exercise 7 (Utilisation de l’inégalité de Tchebychev) Soit \(X\) une variable aléatoire de moyenne \(\mu = 10\) et d’écart-type \(\sigma = 2\). Appliquer l’inégalité de Tchebychev pour donner une borne supérieure pour :
Exercise 8 (Simulation de la loi des grands nombres) Écrire un programme en Python ou R qui génère un échantillon de taille \(n\) de variables uniformes sur \([0,1]\), puis calcule la moyenne empirique \(\overline{X}_n\) pour différentes valeurs de \(n\). Comparer cette moyenne avec l’espérance théorique.
Exercise 9 (Illustration du théorème central limite)
Exercise 10 (Généralisation de l’inégalité de Markov) Montrer que pour toute fonction \(\varphi\) strictement croissante et positive : \[ P(X \geq a) \leq \frac{E[\varphi(X)]}{\varphi(a)}. \] Appliquer ce résultat avec \(\varphi(X) = X^2\) pour obtenir une inégalité plus précise que celle de Markov.
Exercise 11 (Démonstration de la loi faible des grands nombres) Soit \(X_1, X_2, ..., X_n\) une suite de variables i.i.d. de moyenne \(\mu\) et de variance \(\sigma^2\). Montrer en utilisant l’inégalité de Tchebychev que pour tout \(\epsilon > 0\) : \[ P(|\overline{X}_n - \mu| \geq \epsilon) \leq \frac{\sigma^2}{n\epsilon^2}. \] Conclure que \(\overline{X}_n\) converge en probabilité vers \(\mu\) lorsque \(n \to \infty\).