Cours Estimation Et Echantillonnage [PDF]

Zitiervorschau

Table des matières 1

2

Rappels et préliminaires 1.1 Espérance et variance . . . . . . . . . . . . . . . . . . . . . . . . 1.2 Retour à la loi normale . . . . . . . . . . . . . . . . . . . . . . . 1.3 Lois dérivées de la loi normale . . . . . . . . . . . . . . . . . . . 1.3.1 Loi de Khi-deux χ2 (p) . . . . . . . . . . . . . . . . . . . 1.3.2 Loi de Student t(n) . . . . . . . . . . . . . . . . . . . . . 1.3.3 Loi de Fisher-Snedecor F(n, p) . . . . . . . . . . . . . . 1.4 Théorème central limite et applications : approximations de la loi nomiale, loi de poisson par loi normale . . . . . . . . . . . . . . . 1.4.1 Approximation de la loi binomiale par la loi normale . . . 1.4.2 Approximation de la loi de Poisson par la loi normale . . . 1.4.3 Approximation de la loi binomiale par la loi de Poisson . . 1.5 Autres Théorèmes asymptotiques . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . bi. . . . . . . . . .

Échantillonnage 2.1 Quelques types d’échantillonnages . . . . . 2.1.1 Échantillonnage stratifié . . . . . . 2.1.2 Échantillonnage par grappes . . . . 2.1.3 Échantillonnage systématique . . . 2.1.4 Échantillonnage de commodité . . . 2.1.5 Échantillonnage par quotas . . . . . 2.1.6 Échantillonnage aléatoire simple . . 2.2 Distribution d’échantillonnage . . . . . . . 2.2.1 La moyenne d’échantillonnage . . . 2.2.2 Lois de probabilité de la moyenne . 2.2.3 La variance d’échantillonnage . . . 2.2.4 Lois de probabilité de la Variance . 2.3 La proportion d’échantillonnage . . . . . . 2.3.1 Cas ESAR . . . . . . . . . . . . . 2.3.2 Cas ESSR . . . . . . . . . . . . . . 2.3.3 Lois de probabilité d’une proportion

. . . . . . . . . . . . . . . .

1

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

3 3 4 6 6 7 7 7 8 8 8 9 10 11 11 11 12 12 12 12 14 14 15 15 16 16 16 17 17

TABLE DES MATIÈRES 3

4

Estimation 3.1 Estimation ponctuelle . . . . . . . . . . . . . . . . . . . . . . . . 3.1.1 Quelques estimateurs . . . . . . . . . . . . . . . . . . . . 3.1.2 Qualité des estimateurs . . . . . . . . . . . . . . . . . . . 3.1.3 Estimation par la méthode des moments . . . . . . . . . . 3.1.4 Estimation par la méthode de maximum de vraisemblance 3.2 Estimation par intervalle de confiance . . . . . . . . . . . . . . . 3.2.1 Intervalle de confiance pour la moyenne . . . . . . . . . . 3.2.2 Intervalle de confiance pour la proportion . . . . . . . . . 3.2.3 Intervalle de confiance pour la variance . . . . . . . . . . 3.2.4 Précision d’une estimation par intervalle de confiance . . .

. . . . . . . . . .

19 19 20 21 22 24 26 27 28 28 29

Tests statistiques 4.1 Tests pour une moyenne . . . . . . . . . . . . . . . . . . . . . . . . 4.2 Tests pour une variance . . . . . . . . . . . . . . . . . . . . . . . . . 4.3 Tests pour une proportion . . . . . . . . . . . . . . . . . . . . . . . .

30 32 32 32

2

. . . . . . . . . .

Chapitre 1

Rappels et préliminaires 1.1

Espérance et variance

Soient a, b deux réels et X, Y deux variables aléatoires. On dit que l’espérance est linéaire et on écrit : E(aX + bY ) = aE(X) + bE(Y ) . La variance d’une variable aléatoire s’exprime en fonction de son espérance comme suit : V ar(X) = E[(X − E(X))2 ] = E(X 2 ) − [E(X)]2 . La variance ainsi définie n’est pas linéaire et nous avons les relations suivantes : – V ar(aX) = a2 V ar(X) , – V ar(aX ± bY ) = a2 V ar(X) + b2 V ar(Y ) ± 2 a b cov(X, Y ) . Rappelons que : cov(X, Y ) = E[(X − E(X))(Y − E(Y )] = E(XY ) − E(X)E(Y ) . – Si X et Y sont deux variables aléatoires indépendantes, alors : V ar(X + Y ) = V ar(X − Y ) = V ar(X) + V ar(Y ) , et E(XY ) = E(X)E(Y ) . Définition 1 Soit X une variable aléatoire. – Si E(X) = 0, on dit que X est une variable aléatoire centrée. – Si l’écart-type σX = 1, on dit que X est une variable aléatoire réduite. – Si E(X) = 0 et σX = 1, on dit que X est une variable aléatoire centrée réduite. Le théorème ci-après donne la manière de manipuler la somme de deux variables aléatoires indépendantes suivant la même loi (cas binomial, de poisson et le cas normal). 3

CHAPITRE 1. RAPPELS ET PRÉLIMINAIRES Théorème 2 (Théorème d’addition) Soient X et Y deux variables aléatoires indépendantes et a, b deux réels. On a : – Si X ∼ B(n1 , p) et Y ∼ B(n2 , p) , alors X + Y ∼ B(n1 + n2 , p) . – Si X ∼ P(λ1 ) et Y ∼ P(λ2 ) , alors X + Y ∼ P(λ1 + λ2 ) . – Si X ∼ N (µ1 , σ12 ) et Y ∼ N (µ2 , σ22 ) , alors aX + bY ∼ N (aµ1 + bµ2 ; a2 σ12 + b2 σ22 ) .

1.2

Retour à la loi normale

Le but de cette partie est de pouvoir trouver les valeurs de probabilités pour une variable aléatoire normale de moyenne m et d’écart-type σ : N (m, σ) . Nous proposons par la suite des exercices concernant la loi normale centrée réduite et la loi normale de paramètres quelconques. Exercices : Soit X une variable normale centrée réduite. 1. Pour quelle valeur x de X, 20% des valeurs observées de X sont-elles extérieures à l’intervalle (-x,x) ? 2. Soit Y ∼ N (3, 3) . calculer les probabilités suivantes : – P(2 0 . Alors la v.a X est proche de la loi de Poisson de paramètre λ . On écrit : X ∼ B(n, p) et ( np → λ) ⇒ Cnk pk (1 − p)n−k ≈

e−λ λk , k∈N. k!

On dit que la variable binomiale est asymptotiquement une variable de Poisson. En pratique, il faut vérifier les conditions (p30), dans ce cas : B(n, p) ≈ P(np) . 8

1.5. AUTRES THÉORÈMES ASYMPTOTIQUES

1.5

Autres Théorèmes asymptotiques

Théorème 6 (Inégalité de Markov) Soit X une variable aléatoire réelle supposé presque-sûrement positive ou nulle (càd : P(X ≥ 0) = 1). Alors : ∀α > 0, P(X ≥ α) ≤

E(X) . α

Théorème 7 (Théorème de Bienaymé-Tchebychev) 2 Soit X une variable aléatoire telle que sa variance (σX ) existe et soit λ > 0. P (|X − E(X)| ≥ λ) ≤

2 σX . λ2

Remarque 8 – L’idée de démonstration de ce théorème est de considérer la variable aléatoire Y = |X − E(X)|2 et lui appliquer l’inégalité de Markov. – On applique l’inégalité de Bienaymé-Tchebichev avec λ = k σX . On a : σ2 1 P (|X − E(X)| ≥ k σX ) ≤ 2X2 = 2 . k σ k ⇒ P (|X − E(X)| ≥ k σX ) = 1 − P (|X − E(X)| < k σX ) . 1 ⇒ 1 − P (|X − E(X)| < σX ) ≤ 2 . k 1 ⇒ P (|X − E(X)| < k σX ) ≥ 1 − 2 . k Théorème 9 (Loi des grands nombres (LGN)) Soit (X1 , X2 , · · · , Xn )(n≥1) une suite de variables aléatoires iid d’espérance µ. Alors n 1X Xn = Xi converge en probabilité vers µ lorsque n → +∞ . C’est à dire : n i=1 ∀ > 0

P(|X − µ|) > ) = 0 .

9

Chapitre 2

Échantillonnage Afin d’étudier et donner les caractéristiques d’un caractère (variable statistique) dans une population, nous pouvons procéder selon deux démarches différentes : – Le recensement (approche descriptive) : consiste à parcourir toute la population pour avoir une idée sur le caractère étudié. Lorsque la taille de la population est grande, le recensement devient pratiquement impossible ou demande un coût élevé et un temps considérable. Par conséquent, une autre alternative s’impose. – Le sondage (approche inférentielle) : Lorsque le recensement n’est pas possible ou sa pratique rencontre des contraintes, on peut avoir recours à un sondage. Il s’agit de faire l’étude statistique sur un sous-ensemble de la population appelé Échantillon et essayer, ensuite, de généraliser les résultats obtenus sur la population parente dont l’échantillon est issu. Pour pouvoir généraliser les résultats obtenus à partir d’un échantillon, il faut que l’échantillon pris soit représentatif de la population, ensuite, il faut que les techniques utilisées soient capables de représenter les paramètres inconnus de la population. Bien évidemment, la démarche suivie pour choisir nos échantillons a une influence sur les résultats obtenus. En effet, avant d’estimer les paramètres inconnus de la population via un sous-ensemble de la population, il faut d’abord répondre à la question essentielle : de quelle manière choisir les éléments qui constituent ces sous-ensembles ?

Définition 10 – Échantillonnage : c’est l’opération qui consiste à sélectionner de façon organisée les éléments de l’échantillon. – Base de sondage : présentation ordonnée de tous les éléments considérés par l’enquête constituant la population. – Erreur d’échantillonnage : écart entre les résultats obtenus auprès d’un échantillon et ceux obtenus en procédant par un recensement comparable de la population. Plus la taille de l’échantillon est grande plus l’erreur d’échantillonnage diminue. – Fraction ou taux de sondage : proportion des éléments de la population qui font partie de l’échantillon. C’est le rapport entre la taille de l’échantillon n, et la 10

2.1. QUELQUES TYPES D’ÉCHANTILLONNAGES taille de la population N. f=

2.1

n × 100 . N

Quelques types d’échantillonnages

Un échantillon aléatoire est un sous ensemble de la population de base qui est interrogé après sélection lors d’une enquête.

2.1.1

Échantillonnage stratifié

L’échantillonnage stratifié est un échantillonnage aléatoire dans lequel la population est partitionnée en sous-populations appelées strates. Ensuite un échantillon simple (probabilité d’être choisi est la même pour tous les individus de la population) est constitué à partir de chaque strate. Supposons que la taille de la population est N. Cette population est subdivisée en p strates, avec Ni est la taille de la strate i. On a : N = N1 + N2 + · · · + Np . Exemple : On souhaite étudier un caractère chez la population des étudiants des universités marocaines, on considère que chaque strate est composée des étudiants d’une même université. Il y a autant de strates que d’universités. Ensuite, nous procédons par échantillonnage simple sur chaque université. Remarque 11 Ce type d’échantillonnage est effectué lors de l’existence de sous-ensembles homogènes au sein de la population. C’est à dire avec des variances internes petites et variances externes grandes. Cette méthode assure la bonne représentation de tous les strates dans l’échantillon.

2.1.2

Échantillonnage par grappes

C’est un échantillonnage aléatoire dans lequel la population est d’abord divisée en grappes, ensuite, on sélectionne au hasard un certain nombre de grappes pour représenter la population totale, puis on englobe dans l’échantillon toutes les unités incluses à l’intérieur des grappes sélectionnées. Exemple : On souhaite étudier l’activité favorite pour les étudiants de la deuxième année d’économie et gestion au Maroc. Il serait trop coûteux et trop long d’interroger chaque étudiant de 2ème année. On sélectionne plutôt au hasard 7 facultés de tout le pays. Ces facultés fournissent des grappes d’échantillons. On sonde ensuite chaque étudiant de 2ème année d’économie et gestion de chacune des 7 grappes. Les étudiants inclus dans ces 11

CHAPITRE 2. ÉCHANTILLONNAGE grappes représentent, en effet, tous les étudiants de la 2ème année d’économie et gestion au Maroc. Ce type d’échantillonnage est choisi lors de l’existence de sous-ensembles hétérogènes au sein de la population. C’est à dire des variances internes grandes et des variances externes petites.

2.1.3

Échantillonnage systématique

Les individus de la population Ω sont numérotés de 1 à N. Pour sélectionner n individus, nous divisons la population en n groupes : {1, · · · , k}, {1 + k, · · · , 2k}, · · · , {1 + (n − 1)k, · · · , N } où k=N/n. Nous choisissons au hasard l’individu i parmi les individus numérotés de 1 à k. Nous construisons notre échantillon des individus {i, i + k, i + 2k, · · · , i + (n − 1)k} . Le choix de l’individu i détermine entièrement la constitution de l’échantillon. Cette méthode est bien adaptée au prélèvement des pièces défectueuses dans une fabrication pour un contrôle de qualité. L’inconvénient majeur de cette méthode est la non considération de phénomènes cycliques pouvant être présents dans une population donnée.

2.1.4

Échantillonnage de commodité

C’est un échantillonnage non aléatoire dans lequel les éléments de l’échantillon sont sélectionnés en fonction de leurs commodité (disponibilité, facilité).

2.1.5

Échantillonnage par quotas

Échantillonnage non aléatoire dans lequel les éléments de l’échantillon sont sélectionnés en fonction des croyances de la personne qui construit l’échantillon. C’est un échantillonnage subjectif. Il s’agit d’une sorte de stratification avec probabilités inégales pour qu’un élément de la population soit pris dans l’échantillon. Exemple : On veut construire un échantillon de 100 individus. La structure de la population selon un échantillonnage par quotas, basé sur le sexe des individus, peut être comme suit : On va choisir 40% des femmes et 60% des hommes. Un échantillonnage par quotas est statistiquement irrationnel et en tant que tel, il est à éviter.

2.1.6

Échantillonnage aléatoire simple

Lors d’un échantillonnage aléatoire simple, on considère que, dans une population d’effectif N, tous les échantillons possibles de taille n (n10 et que la population mère est normale de paramètres µ et σ. – Si n ≥ 30 (grands échantillons), quelle que soit la distribution de la population mère, que ce soit pour les échantillons issus d’un ESAR ou d’un ESSR. – pour les petits échantillons (n 0 . Alors X est à valeurs dans R+ . Sa densité est donnée par :  si x ≥ 0  λ exp(−λx), f (x) =  0, si x < 0. 1 1 Rappelons que E(X) = et V ar(X) = 2 . λ λ Si l’on veut estimer le paramètre de la loi par la méthode des moments, nous pouvons affirmer que : ˆ= n λ n X Xi i=1 2

5. Loi Normale N (µ, σ ) : Un estimateur de µ est donné par X. Pour la variance, nous rappelons que σ 2 = E(X 2 ) − E(X)2 . Donc, en utilisant la méthode des moments, on peut dire que la variance de la loi est estimée par : !2 n n X X 1 1 2 σˆ2 = X − Xi . n i=1 i n i=1 23

CHAPITRE 3. ESTIMATION

3.1.4

Estimation par la méthode de maximum de vraisemblance

Considérons X une variable aléatoire sur une population P de loi connue, mais dont les paramètres sont inconnus. Le paramètre inconnu de la loi sera noté θ. Afin d’estimer ce paramètre, considérons un échantillon iid X1 , · · · , Xn de loi Pθ dans le cas discret, et fθ dans le cas continu. La loi de cet échantillon dépend clairement du paramètre inconnu θ et ce dernier est fonction des observations (x1 , · · · , xn ). La fonction de vraisemblance mesure la probabilité que des observations x1 , · · · , xn de l’échantillon X1 , · · · , Xn proviennent d’une loi donnée (probabilité de réalisation de l’échantillon sachant que sa loi dépend de θ). Étant donné l’indépendance des Xi , la probabilité de réalisation de l’échantillon peut être exprimée comme suit : n Y – Cas discret : L(x1 , · · · , xn ; θ) = Pθ [Xi = xi ] . i=1 n Y

– Cas continu : L(x1 , · · · , xn ; θ) =

fθ (xi ) .

i=1

Trouver un estimateur θˆ de θ par la méthode de maximum de vraisemblance consiste à trouver un estimateur qui assure le maximum de "vraisemblance" entre la loi de l’échantillon et la loi de la variable aléatoire de la population parente X. Autrement dit, choisir comme estimateur du paramètre θ la valeur la plus vraisemblable : celle qui a la plus grande probabilité de provoquer la réalisation de l’échantillon. C’est à dire qu’il s’agit de trouver θˆ qui vérifie : ˆ ≥ L(x1 , · · · , xn ; θ) Pour tout θ ∈ Θ . L(x1 , · · · , xn ; θ) Avec, Θ c’est l’ensemble des valeurs possibles pour θ. Remarque 27 – L’estimateur de maximum de vraisemblance (EMV) n’est pas forcément unique. Il peut ne pas exister ou être difficilement calculable. De plus, il n’y a pas de raisons de s’attendre à ce que l’EMV soit sans biais. – Si θˆ maximise ln Lθ (x1 , · · · , xn ), alors il maximise également Lθ (x1 , · · · , xn ). Ceci revient au fait que la fonction logarithme népérien est croissante. Souvent, maximiser ln L est plus simple que de maximiser L. Par conséquent, on va chercher à maximiser ln L (log de vraisemblance) dans les cas pratiques au lieu de L. Les étapes de calcul : Pour calculer l’estimation de maximum de vraisemblance(EMV) θˆ de l’inconnu θ, on procède comme suit : 1. Calculer L(x1 , · · · , xn ; θ) . 2. Calculer log L(x1 , · · · , xn ; θ) . 3. Résoudre en θ l’équation : ∂ log L(x1 , · · · , xn ; θ) =0. ∂θ 4. La solution θˆ de l’équation précédente peut être un EMV. Reste à vérifier si : 24

3.1. ESTIMATION PONCTUELLE ∂ 2 log L(x1 , · · · , xn ; θ) ≤0. ∂θ2 Quelques exemples d’utilisation : 1. Loi de Poisson P(λ) : On souhaite estimer le paramètre λ d’une loi de poisson à partir d’un échantillon de taille n. λx On a : Pλ (X = x) = e−λ . Donc, la fonction de vraisemblance va s’écrire : x! n n Y Y λxi λ xi L(x1 , · · · , xn ; λ) = e−λ = e−nλ . xi ! x! i=1 i=1 i Par conséquent, ln L(x1 , · · · , xn ; λ) = −nλ + ln λ

n n X X xi − ln xi ! . i=1

i=1

n X

xi ∂ ln L(x1 , · · · , xn ; θ) i=1 ⇒ = −n + . ∂θ λ n X ˆ= 1 Cette première dérivée s’annule en la valeur : λ xi . n i=1 La dérivée seconde s’écrit : n X xi ∂ 2 ln L(x1 , · · · , xn ; θ) i=1 =− 2 . ∂θ2 λ La dérivée seconde est négative. Donc, l’estimateur par le maximum de vraisemˆ = x. blance de la valeur λ est donné par la moyenne empirique λ 2. Loi normale N (µ, σ 2 ) : Afin d’estimer les paramètres de la loi µ et σ à partir d’un échantillon de taille n par la méthode de maximum de vraisemblance, il faut rappeler la densité de la loi normale :   1 (x − µ)2 f (x; µ, σ) = √ exp − . 2σ 2 σ 2π La vraisemblance pour une réalisation d’un échantillon de n variables indépendantes est donc :  n X 2 (x − µ) i    n/2 n Y  i=1  1 − . f (x1 , · · · , xn ; µ, σ) = f (xi ; µ, σ) = exp   2 2 2πσ 2σ   i=1 

Or, n n n X X X (xi − µ)2 = (xi − x + x − µ)2 = (xi − x)2 + n(x − µ)2 . i=1

i=1

i=1

25

CHAPITRE 3. ESTIMATION Avec, x est la moyenne de l’échantillon. Par conséquent, la vraisemblance peut être réécrite :  n  X 2 2 (xi − x) + n(x − µ)    n/2  i=1  1  . f (x1 , · · · , xn ; µ, σ) = exp −  2 2 2πσ 2σ   ∂ −2n(x − µ) ln L = 0 − . ∂µ 2σ 2 On obtient l’estimateur par le maximum de vraisemblance : µ ˆ=x. 2

Pour le paramètre σ . On calcule la dérivée de ln L par rapport à σ. On trouve : n X





(xi − x)2 + n(x − µ)2    ∂ ∂  n 1 i=1  ln( = ln L = )−  2 2 ∂σ ∂σ  2 2πσ 2σ   n X (xi − x)2 + n(x − µ)2

−

n + σ

i=1

.

σ3

On trouve que : σˆ2 =

n X (xi − µ ˆ )2 i=1

n

,

et ceci peut être écrit : n

1X σˆ2 = (xi − µ ˆ)2 . n i=1 Après vérification que les dérivées secondes de ln L par rapport à µ et par rapport à σ sont négatives.On peut conclure que les estimateurs trouvés ci-dessus maximisent la vraisemblance. La méthode fournit, dans le cas normal, un estimateur non biaisé de la moyenne et un estimateur biaisé pour la variance.

3.2

Estimation par intervalle de confiance

Considérons une population P dont un paramètre θ est inconnu (θ peut être la moyenne, une proportion ou la variance...). On prend un échantillon aléatoire simple X1 , · · · , Xn et on essaie d’estimer ce paramètre inconnu par un estimateur θˆ construit à partir des réalisations de l’échantillon. A partir de l’échantillon, on souhaite construire ce qu’on appelle intervalle de confiance (IC) pour θ. Cet intervalle est construit tel que le paramètre θ s’y trouve avec une grande probabilité. 26

3.2. ESTIMATION PAR INTERVALLE DE CONFIANCE Avant de construire cet intervalle, il faut se fixer une marge d’erreur ou un risque de se tromper qui est égal à une certaine quantité α. Ce risque α correspond réellement aux erreurs d’échantillonnages jugées acceptables. Une fois le risque fixé, on appelle le nombre 1 − α le niveau de confiance de notre IC. Définition 28 On appelle intervalle de confiance pour θ de niveau de confiance 1 − α un intervalle Iα tel que : P(θ ∈ Iα ) = 1 − α Remarque 29 – Un intervalle de confiance est un intervalle centré autour de θ qui s’écrit sous la forme : [θ- erreur d’échantillonnage ; θ+ erreur d’échantillonnage]. – L’interprétation de l’intervalle de confiance est une des deux affirmations suivantes : 1. On accepte qu’il y’ ait α.100 chances sur 100 de se tromper en disant que θ appartient à l’intervalle. 2. On accepte qu’il y’ ait (1 − α).100 chances sur 100 de ne pas se tromper en disant que θ appartient à l’intervalle.

3.2.1

Intervalle de confiance pour la moyenne

Soit X une variable aléatoire sur la population de moyenne µ et de variance σ 2 . µ est le paramètre d’intérêt et σ 2 est un paramètre de nuisance. Pour un échantillon ESAR X1 , · · · , Xn de X, on a : µ ˆ = X est un estimateur de µ. 1. Cas de petits échantillons (n