Estimation Ponctuelle: Définition et premières propriétés

Objectifs du Chapitre

L’objectif de ce chapitre est d’introduire la notion d’estimateur, un outil fondamental en inférence statistique, et d’explorer ses principales propriétés. Ce chapitre permettra d’acquérir les bases nécessaires pour évaluer la qualité des estimateurs et leur comportement asymptotique.

À la fin de ce chapitre, vous serez capable de :

✔ Comprendre la notion d’estimateur et son rôle en estimation ponctuelle.
✔ Identifier les propriétés fondamentales d’un estimateur : biais, consistance et efficacité.
✔ Différencier les types de convergence et leur impact sur les estimateurs.
✔ Utiliser la borne de Cramér-Rao pour évaluer l’efficacité d’un estimateur.
✔ Appliquer ces concepts dans un contexte pratique, notamment en actuariat et en assurance.

Ce chapitre sert de base théorique pour les méthodes d’estimation avancées, comme l’estimation par maximum de vraisemblance et l’estimation bayésienne, qui seront étudiées dans les chapitres suivants.

Définition d’un estimateur

Definition 1 (Définition formelle) Soit \(X_1, X_2, \dots, X_n\) un échantillon de variables aléatoires i.i.d. tiré d’une population ayant une distribution caractérisée par un paramètre \(\theta\). Un estimateur \(\widehat{\theta}_n\) de \(\theta\) est une fonction (mesurable) de l’échantillon:

\[ \widehat{\theta} = g(X_1, X_2, \dots, X_n). \]

Note

  • Un estimateur \(\widehat{\theta}=g(X_1, X_2, \dots, X_n)\) est une variable aléatoire, dont la distribution dépend de la loi des \(X_i\). Son objectif est de fournir la meilleure approximation possible du paramètre \(\theta\).

  • Une estimation toujours noté \(\widehat{\theta}=g(x_1, x_2, \dots, x_n)\in\Theta\) est une réalisation d’un estimateur \(\widehat{\theta}=g(X_1, X_2, \dots, X_n)\).

Example 1  

  1. Estimateur de la moyenne : L’estimateur naturel de la moyenne \(\mu\) est la moyenne empirique : \[ \hat{\mu} = \overline{X}_n = \frac{1}{n} \sum_{i=1}^{n} X_i. \]

  2. Estimateur de la variance : On peut estimer la variance \(\sigma^2\) par : \[ \hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^{n} (X_i - \overline{X}_n)^2. \]

    Toutefois, cet estimateur est biaisé. Un estimateur sans biais de \(\sigma^2\) est : \[ s^2 = \frac{1}{n-1} \sum_{i=1}^{n} (X_i - \overline{X}_n)^2. \]

  3. Estimateur des moments : Pour une variable exponentielle \(X \sim Exp(\lambda)\), on peut estimer \(\lambda\) en utilisant la relation \(E[X] = 1/\lambda\) : \[ \hat{\lambda} = \frac{1}{\overline{X}_n}. \]

Propriétés fondamentales des estimateurs

Un bon estimateur doit posséder certaines propriétés fondamentales qui garantissent sa fiabilité. Parmi ces propriétés, nous étudierons le biais, la consistance et l’efficacité.

Biais d’un estimateur

Definition 2 (Biais) Le biais d’un estimateur mesure l’écart moyen entre l’estimateur et la vraie valeur du paramètre \(\theta\):

\[ B(\widehat{\theta}_n) = E[\widehat{\theta}_n] - \theta. \]

  • \(\widehat{\theta}_n\) est dit sans biais si \(B(\widehat{\theta}_n) = 0\);
  • \(\widehat{\theta}_n\) est dit biaisé : si \(B(\widehat{\theta}_n) \neq 0\).

Example 2  

  1. Moyenne empirique
    L’estimateur de la moyenne : \[ \hat{\mu} = \frac{1}{n} \sum_{i=1}^{n} X_i \] est sans biais, car : \[ E[\hat{\mu}] = \frac{1}{n} \sum_{i=1}^{n} E[X_i] = \mu. \]

  2. Variance empirique
    L’estimateur de la variance définie par : \[ S^2 = \dfrac{1}{n} \sum_{i=1}^{n} (X_i - \overline{X}_n)^2 \] est biaisé car : \[ E[S^2] = \dfrac{n-1}{n} \sigma^2. \]

    Un estimateur sans biais de \(\sigma^2\) est : \[ \widehat{\sigma}_{SB}^2 = \dfrac{1}{n-1} \sum_{i=1}^{n} (X_i - \overline{X}_n)^2. \]

Consistance d’un estimateur

Definition 3 (Estimateur consistant) Un estimateur est consistant s’il converge en probabilité vers la vraie valeur du paramètre lorsque \(n \to \infty\).
Formellement, \(\hat{\theta}\) est un estimateur consistant de \(\theta\) si :

\[ \forall \epsilon > 0, \quad P(|\widehat{\theta}_n - \theta| > \epsilon) \to 0 \quad \text{lorsque} \quad n \to \infty. \]

Lien avec la loi des grands nombres

La consistance est souvent démontrée à l’aide de la loi des grands nombres (LGN). Par exemple, la moyenne empirique \(\overline{X}_n\) est un estimateur consistant de \(\mu=E[X_i]\) car :

\[ \overline{X}_n \xrightarrow{P} \mu \quad \text{(LGN faible)}. \]

Example 3  

  1. Estimateur de la moyenne
    La moyenne empirique \(\overline{X}_n\) est consistante pour estimer \(\mu\).

  2. Estimateur de la variance
    Les estimateurs biaisé \(S^2\) et sans biais \(\widehat{\sigma}_{SB}^2\) sont également consistants pour \(\sigma^2\).

Efficacité d’un estimateur

Definition 4 Un estimateur \(\widehat{\theta}_n\) est dit efficace s’il est sans biais et de variance minimale parmi tous les estimateurs sans biais du paramètre \(\theta\).

Pour les modèles réguliers, le Théorème de Cramér-Rao donne une borne inférieure de la variance de tout estimateur sans biais :

\[ V(\hat{\theta}) \geq \dfrac{1}{n I(\theta)}, \]

où \(I(\theta)\) est l’information de Fisher :

\[ I(\theta) = -E \left[ \frac{\partial^2}{\partial \theta^2} \log f(X; \theta) \right]. \]

Si un estimateur atteint cette borne, il est dit efficace.

Example 4  

  1. Estimateur de la moyenne dans une loi normale
    Pour \(X_1, \dots, X_n \sim \mathcal{N}(\mu, \sigma^2)\) à \(\sigma^2\) connue, l’estimateur \(\hat{\mu} = \overline{X}_n\) atteint la borne de Cramér-Rao et est donc efficace.

  2. Estimateur du paramètre \(\lambda\) d’une loi exponentielle
    Pour une loi exponentielle \(Exp(\lambda)\), l’estimateur du maximum de vraisemblance (EMV) : \[ \hat{\lambda} = \frac{1}{\overline{X}_n} \] est efficace.

Résumé des propriétés des estimateurs

Propriété Définition Interprétation
Biais \(B(\hat{\theta}) = E[\hat{\theta}] - \theta\) Différence moyenne entre \(\hat{\theta}\) et \(\theta\)
Consistance \(\hat{\theta} \xrightarrow{P} \theta\) \(\hat{\theta}\) devient plus précis quand \(n\) augmente
Efficacité Variance minimale parmi les estimateurs sans biais Un estimateur efficace maximise l’information

Notion de convergence et estimation asymptotique

L’estimation statistique repose sur la capacité des estimateurs à se rapprocher de la vraie valeur du paramètre lorsque la taille de l’échantillon augmente. Cette section introduit les principales notions de convergence et explique leur rôle dans l’estimation asymptotique.

Notions de convergence

On distingue plusieurs types de convergence pour une suite d’estimateurs \(\hat{\theta}_n\) :

Convergence en probabilité

Un estimateur \(\hat{\theta}_n\) converge en probabilité vers \(\theta\) si, pour tout \(\epsilon > 0\) :

\[ P(|\hat{\theta}_n - \theta|> \epsilon) \to 0 \quad \text{lorsque} \quad n \to \infty. \]

On note cette convergence :

\[ \hat{\theta}_n \xrightarrow{P} \theta. \]

Note

Interprétation : Pour des valeurs de \(n\) suffisamment grandes, \(\hat{\theta}_n\) est très proche de \(\theta\) avec une grande probabilité.

Lien avec la loi des grands nombres (LGN) :
La moyenne empirique \(\overline{X}_n\) est un estimateur consistant de \(E[X]\) car :

\[ \overline{X}_n \xrightarrow{P} \mu. \]

Convergence en loi (ou en distribution)

Un estimateur \(\hat{\theta}_n\) converge en loi vers une variable limite \(Z\) si, pour toute fonction continue bornée \(\varphi\) :

\[ E[\varphi(\hat{\theta}_n)] \to E[\varphi(Z)] \quad \text{lorsque} \quad n \to \infty. \]

On note :

\[ \hat{\theta}_n \xrightarrow{d} Z. \]

Cas particulier : On dira que \(\hat{\theta}_n\) est asymptotiquement normale à vitesse \(\sqrt{n}\):

\[ \sqrt{n} (\hat{\theta}_n - \theta) \xrightarrow{d} \mathcal{N}(0, \sigma^2). \]

Ce type de convergence est utilisé dans le théorème central limite (TCL) et permet de justifier les tests statistiques et intervalles de confiance asymptotiques.

Convergence presque sûre

Un estimateur \(\hat{\theta}_n\) converge presque sûrement vers \(\theta\) si :

\[ P\left(\lim_{n \to \infty} \hat{\theta}_n = \theta \right) = 1. \]

On note :

\[ \hat{\theta}_n \xrightarrow{p.s.} \theta. \]

Cette convergence est plus forte que la convergence en probabilité.

Estimation asymptotique et normalité asymptotique

Definition 5 (Définition d’un estimateur asymptotiquement normal) Un estimateur \(\hat{\theta}_n\) est dit asymptotiquement normal si :

\[ \sqrt{n} (\hat{\theta}_n - \theta) \xrightarrow{d} \mathcal{N}(0, \sigma^2). \]

Cela signifie que, pour \(n\) suffisamment grand, la distribution de \(\hat{\theta}_n\) est approximativement normale, ce qui permet de :

  • Construire des intervalles de confiance asymptotiques.
  • Effectuer des tests d’hypothèses basés sur la loi normale.

Example 5 (Estimateur du maximum de vraisemblance (EMV)) L’estimateur du maximum de vraisemblance (EMV) \(\hat{\theta}_n\) est souvent asymptotiquement normal.
Sous certaines conditions, il satisfait :

\[ \sqrt{n} (\hat{\theta}_n - \theta) \xrightarrow{d} \mathcal{N}(0, I(\theta)^{-1}), \]

où \(I(\theta)\) est l’information de Fisher.

Résumé des notions de convergence

Type de convergence Notation Définition
Convergence en probabilité \(\hat{\theta}_n \xrightarrow{P} \theta\) \(\hat{\theta}_n\) devient proche de \(\theta\) en probabilité
Convergence en loi \(\hat{\theta}_n \xrightarrow{d} Z\) La distribution de \(\hat{\theta}_n\) tend vers celle de \(Z\)
Convergence presque sûre \(\hat{\theta}_n \xrightarrow{a.s.} \theta\) \(\hat{\theta}_n \to \theta\) avec probabilité 1

Exercices

Cette section propose une série d’exercices pour consolider les concepts abordés dans ce chapitre, notamment sur la définition des estimateurs, leurs propriétés fondamentales et leur comportement asymptotique.

Exercices sur la définition des estimateurs

Exercise 1 (Vérification d’un estimateur) On considère un échantillon de variables i.i.d. \(X_1, X_2, ..., X_n\) de loi exponentielle \(Exp(\lambda)\).
On propose l’estimateur de \(\lambda\) suivant :

\[ \hat{\lambda} = \frac{n}{\sum_{i=1}^{n} X_i}. \]

  1. Montrer que \(\hat{\lambda}\) est un estimateur sans biais de \(\lambda\).
  2. Vérifier que \(\hat{\lambda}\) est un estimateur consistant.

Exercise 2 (Estimateur des moments pour une loi de Pareto (actuariat)) En actuariat, les sinistres sont souvent modélisés par une loi de Pareto de densité :

\[ f(x; \alpha, x_m) = \frac{\alpha x_m^\alpha}{x^{\alpha+1}}, \quad x \geq x_m, \quad \alpha > 0. \]

On souhaite estimer \(\alpha\) par la méthode des moments, sachant que l’espérance est donnée par :

\[ E[X] = \frac{\alpha x_m}{\alpha - 1}, \quad \text{pour } \alpha > 1. \]

  1. Trouver un estimateur de \(\alpha\) basé sur la méthode des moments.
  2. Vérifier si cet estimateur est biaisé.
  3. Étudier la consistance de cet estimateur lorsque \(n \to \infty\).

Exercices sur les propriétés fondamentales des estimateurs

Exercise 3 (Estimateur biaisé mais consistant) On considère un échantillon i.i.d. \(X_1, X_2, ..., X_n\) suivant une loi normale \(\mathcal{N}(\mu, \sigma^2)\).
On définit l’estimateur biaisé de la variance :

\[ \hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^{n} (X_i - \overline{X}_n)^2. \]

  1. Montrer que \(\hat{\sigma}^2\) est biaisé.
  2. Montrer que \(\hat{\sigma}^2\) est consistant.

Exercise 4 (Application en assurance vie - Estimateur du paramètre de la loi exponentielle) En assurance vie, la durée de vie résiduelle d’un assuré est souvent modélisée par une loi exponentielle de paramètre \(\lambda\) :

\[ f(x) = \lambda e^{-\lambda x}, \quad x > 0. \]

On dispose d’un échantillon de durées de vie \(X_1, ..., X_n\).

  1. Déterminer l’estimateur du maximum de vraisemblance (EMV) de \(\lambda\).
  2. Montrer que cet estimateur est sans biais.
  3. Montrer qu’il est asymptotiquement normal.

Exercices sur la convergence et estimation asymptotique

Exercise 5 (Simulation de la convergence en probabilité)  

  1. Simuler un échantillon de taille \(n = 1000\) de variables i.i.d. de loi uniforme \(\mathcal{U}(0,1)\).
  2. Calculer la moyenne empirique \(\overline{X}_n\) pour des tailles d’échantillon croissantes (\(n = 10, 50, 100, 500, 1000\)).
  3. Vérifier empiriquement que \(\overline{X}_n\) converge vers \(E[X] = 0.5\).

Exercise 6 ###Normalité asymptotique d’un estimateur

Soit \(X_1, X_2, ..., X_n \sim \mathcal{N}(\mu, \sigma^2)\).
On considère l’estimateur de la moyenne :

\[ \hat{\mu} = \frac{1}{n} \sum_{i=1}^{n} X_i. \]

  1. Déterminer l’espérance et la variance de \(\hat{\mu}\).

  2. En utilisant le théorème central limite (TCL), montrer que :

    \[ \sqrt{n} (\hat{\mu} - \mu) \xrightarrow{d} \mathcal{N}(0, \sigma^2). \]

Problèmes avancés

Exercise 7 (Effet du biais sur la variance - Estimateur de la prime pure en assurance) En tarification d’assurance, on cherche à estimer la prime pure, définie comme l’espérance du montant des sinistres.

Soit \(X_1, ..., X_n\) un échantillon de montants de sinistres, supposés i.i.d. suivant une loi gamma \(\Gamma(\alpha, \beta)\) :

\[ f(x) = \frac{\beta^\alpha}{\Gamma(\alpha)} x^{\alpha-1} e^{-\beta x}, \quad x > 0. \]

  1. Trouver un estimateur sans biais de \(\theta = E[X] = \frac{\alpha}{\beta}\).
  2. Comparer la variance de l’estimateur basé sur la moyenne empirique et de l’estimateur utilisant la méthode des moments.
  3. En supposant que \(n\) est grand, déterminer lequel est plus efficace.

Exercise 8 (Vérification empirique de la borne de Cramér-Rao) On considère un échantillon i.i.d. \(X_1, ..., X_n\) de loi normale \(\mathcal{N}(\mu, \sigma^2)\).
L’estimateur du maximum de vraisemblance de \(\mu\) est \(\hat{\mu} = \overline{X}_n\).

  1. Montrer que \(\hat{\mu}\) est un estimateur sans biais de \(\mu\).

  2. Calculer sa variance et vérifier qu’elle atteint la borne de Cramér-Rao :

    \[ V(\hat{\mu}) \geq \frac{\sigma^2}{n}. \]

  3. Simuler un échantillon de taille \(n = 100\) et comparer expérimentalement la variance observée à la borne théorique.