Sujet - 10 Khi Carre [PDF]

Zitiervorschau

Bio 2041

Les tests khi-carré Pierre Legendre & Daniel Borcard, Université de Montréal Référence: Scherrer (2007), sections 15.1.1, 16.2.1, 17.3.1

I - Introduction Objet de l’étude • Un tableau de fréquences (tableau de contingence) comportant de 2 à k lignes et de 2 à g colonnes. Notation: Scherrer tableau 15.1.

Plusieurs applications • Comparer plusieurs groupes indépendants décrits par une variable qualitative: équivalent qualitatif de l’ANOVA. • Mesurer la liaison entre deux variables qualitatives: équivalent qualitatif de la corrélation. • Estimer la conformité entre une distribution observée et une distribution théorique.

Points à surveiller • Calcul des degrés de liberté dans chaque cas. • Conditions d’application. Que faire en dehors de ces limites?

Les tests khi-carré

2

II - Comparer plusieurs groupes indépendants/var. qualitative Référence: Scherrer (2007), section 15.1.1

1 – La statistique-test khi-carré de Pearson Considérons d’abord un cas simple, celui de trois groupes indépendants. Pour chaque objet (élément) observé, on note s’il possède, ou non, une certaine caractéristique C (possède: +C; ne possède pas: –C). fréq. abs. Groupe 1 Groupe 2 Groupe 3 +C

a11

a12

a13

–C

a21

a22

a23

Somme

n1

n2

n3

Relations élémentaires: ni = a1i + a2i; a1i = ni – a2i; a2i = ni – a1i Les a1i et les a2i sont les fréquences absolues observées Aij. Transformons les fréquences en proportions: pi = a1i/ni; a1i = nipi

qi = a2i/ni = 1 – pi; a2i = niqi

fréq. rel. Groupe 1 Groupe 2 Groupe 3 +C

p1

p2

p3

–C

q1

q2

q3

Somme

1

1

1

Question: Considérant les proportions {pi, qi}, est-il possible que les trois groupes (i = 1 … 3) proviennent de la même population statistique? — Même question qu’en ANOVA.

Les tests khi-carré

3

Principe du test statistique • H0: les groupes proviennent de la même population statistique. • Calculer les espérances, i.e., les valeurs attendues E(Aij) sous H0. • Mesurer les écarts entre fréquences observées (Aij) et espérancesE(Aij). • Tester, à l’aide d’une statistique-test khi-carré, si ces écarts sont assez petits pour être imputables aux variations (“erreurs”) d’échantillonnage. Élaboration de la statistique-test khi-carré de Pearson: Pour une variable C à deux classes (+C, –C), le raisonnement est basé sur la loi binomiale. Pour une variable qualitative à k classes, le même raisonnement est fondé cette fois sur la loi multinomiale. Dans les deux cas, on obtient la statistique-test khi-carré (X2) de Pearson: X

2

k

=

g

∑ ∑ i=1 j=1

2

[ A ij – E ( A ij ) ] ---------------------------------------- = E ( A ij )

k

g

∑ ∑ i=1 j=1

2

( O ij – E ij ) ----------------------------E ij

Eq. 15.2

où k est le nombre de lignes et g est le nombre de colonnes du tableau de contingence initial. La notation Oij et Eij est utilisée dans de nombreux autres ouvrages. Scherrer (p. 587) montre que cette statistique X2 est une somme de variables normales centrées réduites (z) au carré. Il y a k × g termes dans cette somme. Attention: ces termes ne sont pas tous indépendants les uns des autres. [Il existe une autre formule pour la statistique-test khi-carré. Elle porte le nom de statistique G dans Sokal & Rohlf, 1981 ainsi que dans Scherrer, section 15.1.3; statistique G 2 dans les logiciels BMDP et StatView 4; et statistique khi-carré de Wilks dans Legendre & Legendre, 1984 et 1998.]

Les tests khi-carré

4

2 – Comparaison de g groupes indépendants 1. Données: Considérons g groupes (colonnes). Pour chaque objet (élément), on a noté la valeur d’une variable qualitative comportant k états (catégories de classement). Le tableau de contingence suivant contient les fréquences absolues observées aij : Groupes

États de classement

1

2

(j)

g

Σ

1

a11

a12

…

a1g

m1

2

a21

a22

…

a2g

m2

3

a31

a32

…

a3g

m3

(i)

:

:

aij

:

(mi)

k

ak1

ak2

…

akg

mk

Σ

n1

n2

(nj)

ng

n

Évidemment, n = Σ aij = Σ nj = Σ mi . 2. Hypothèses: • H0: ρ = 0, où ρ désigne le paramètre X2 de la population. Autrement dit, les g groupes constituent un groupe homogène. Ils peuvent provenir de la même population statistique. • H1: ρ > 0. Les g groupes ne constituent pas un ensemble homogène.

3. Statistique-test: X

2

k

=

g

∑ ∑ i=1 j=1

2

[ a ij – E ( A ij ) ] --------------------------------------E ( A ij )

(éq. 15.2)

Les tests khi-carré

5

4. Calcul de l’espérance E(Aij) de chaque case: La valeur attendue dans chaque case, sous l’hypothèse nulle, se calcule par nj × mi/n. Voici pourquoi. • Si H0 est vraie, les g groupes proviennent de la même population statistique. Les valeurs aij de chaque colonne sont alors des fluctuations aléatoires autour de valeurs communes à toutes les colonnes, décrivant l’importance des k états du critère de classement. • La meilleure estimation disponible de l’importance des k états du critère de classement est donnée par les sommes des différentes lignes, mi , ou encore par leurs proportions pi = mi/n. • Si les différentes colonnes avaient toutes la même fréquence dans l’étude (i.e., si tous les nj étaient égaux), il suffirait de multiplier les mi par 1/g pour obtenir l’espérance de chaque case. • Puisque les colonnes n’ont pas toutes la même importance nj , on doit plutôt multiplier mi par le rapport nj/n qui mesure l’importance de la colonne j, pour obtenir l’espérance E(Aij) de chaque case. • Les E(Aij) sont les meilleures estimations disponibles des valeurs que l’on devrait rencontrer dans chaque case si H0 est vraie. ∑ E ( A ij ) = n . 5. Comportement de la statistique-test: • S’il n’y a aucune différence entre les valeurs observées aij et les espérances E(Aij), la statistique-test X2 est égale à zéro. • Si H0 et vraie, les valeurs prises par la statistique X2 obéissent à une loi de χ2. En effet, la statistique X2 est une somme de termes obéissant chacun à une loi de z au carré (Scherrer p. 587, éq. 15.1). Voir le point 7 (page suivante) pour le calcul des degrés de liberté de cette loi de χ2.

Les tests khi-carré

6

• Si H1 est vraie, la valeur de X2 sera d’autant plus grande que les aij seront plus différents des espérances E(Aij). Plus cette différence augmente, plus le numérateur de la statistique-test augmente, que la différence soit positive ou négative; le dénominateur, lui, demeure inchangé. On fera donc un test unilatéral. 6. Règle de décision: Si X2 ≥ χ 2α ( ν ) , on rejette H0 avec un risque d’erreur de type I égal à α (Scherrer: tableau 15.2 p. 591). 7. Calcul des degrés de liberté: • Le nombre de degrés de liberté associés à une statistique est le nombre de ses composantes indépendantes, i.e. le nombre des composantes de base utilisées dans le calcul de la statistique moins le nombre de relations (paramètres) qui lient celles-ci. • Les composantes de base qui entrent dans le calcul de la statistique-test X2 sont les rapports [aij – E(Aij)]2/E(Aij). Il y en a (k × g). • Quels sont les paramètres qu’il a fallu estimer à partir des données avant de pouvoir calculer les espérances E(Aij)?

Exemple:

Les tests khi-carré

7

Groupes

États de classement

1

2

3

4

Σ

1

3

4

5

6

18

2

7

8

9

10

34

3

11

12

13

14

50

Σ

21

24

27

30

102

Pour calculer les espérances E(Aij) = mi × nj /n, il faut connaître les sommes de lignes mi, les sommes de colonnes nj et la somme globale n. Supposons que nous avons commencé par calculer les sommes des colonnes (valeurs soulignées). Cela fait 4 paramètres. À partir de ces valeurs, nous pouvons calculer la somme totale du tableau, n, sans recourir de nouveau aux données. Calculons ensuite la somme de la première et de la seconde ligne (valeurs soulignées). Puisque nous connaissons n, nous pouvons calculer la troisième somme: 102 – 18 – 34 = 50. Il n’a donc fallu calculer que deux paramètres à partir des données pour obtenir les sommes de lignes. Total des paramètres qu’il a fallu estimer à partir des données avant de pouvoir calculer les espérances E(Aij): 4 + 2 = 6. Dans tous les cas de tableaux de contingence à deux dimensions, il faudra avoir estimé un nombre de paramètres égal à (k + g – 1) avant de pouvoir calculer les espérances E(Aij). • Le nombre de degrés de liberté associé à la statistique X2 est donc d.l. = (k × g) – (k + g – 1) = (k – 1) (g – 1)

Les tests khi-carré

8

3 – Exemple • Reprenons une partie des données de l’exemple 15.2 de Scherrer. Dans le tableau ci-dessous, les valeurs observées aij sont comparées aux espérances E(Aij) de chaque case. De plus, chaque case contient une 2

statistique de contribution au X2:

[ a ij – E ( A ij ) ] Stat = --------------------------------------E ( A ij )

La somme de ces valeurs “Stat” donne la statistique X2 globale. Bassins hydrographiques Pollution

Rhin-Meuse

Adour-Garonne

Présence de

(a11 = 8) >

(a12 = 6) >

RhôneMédit.-Corse (a13 = 11)
(a13 = 7) < 41 Attaque (E(A11) = 18,673) (E(A12) = 12,990) (E(A13) = 9,337) 41 Stat = 4,029 Stat = 9,332 Stat = 0,585 Fuite

(a21 = 28) > (a22 = 3) < (a23 = 12) > 43 (E(A21) = 19,584 (E(A22) = 13,624) (E(A23) = 9,792) 43 Stat = 3,617 Stat = 8,284 Stat = 0,498

(a31 = 8) > (a32 = 5) < (a33 = 4) > 17 Menace (E(A31) = 7,743) (E(A32) = 5,386) (E(A33) = 3,871) 17 Stat = 0,009 Stat = 0,028 Stat = 0,004 Σ

46

32

23

101

• La statistique X2 = 26,384 est supérieure à la valeur critique 2 χ 0,05 = 9,49. On rejette donc H0 au seuil α = 0,05. La probabilité ( ν = 4) d’obtenir de tels écarts sous H0 est en fait inférieure à 0,0001. • Les cases qui contribuent le plus fortement à la statistique X2 globale permettent de faire l’interprétation suivante du tableau: - a12 >> E(A12): le plus souvent, une attaque provoque la fuite de l’adversaire. Il est plutôt improbable qu’une attaque provoque une attaque: a11 < E(A11). - a21 > E(A21): la fuite provoque souvent l’attaque de l’adversaire. Il est très improbable qu’une fuite provoque une fuite: a22 1, on peut utiliser ce test si (a) aucune case du tableau de contingence n’a une espérance E(Aij) < 1; (b) moins de 20% des cases du tableau ont une espérance E(Aij) < 5. Selon Roscoe & Byars (1971) et Zar (1999: 505), il suffit que n/(k×g) ≥ 6 pour un test au niveau α = 5%, ou n/(kx g) ≥ 10 au niveau α = 1%, ce qui est moins restrictif que la règle (b) de Cochran. Si une des règles ci-dessus est violée, il faut regrouper des lignes ou des colonnes du tableau de façon à augmenter les espérances, pour autant qu’il y ait un fondement logique pour effectuer ces regroupements. • Lorsque n est faible: (1) corriger la statistique G (ou X2 de Wilks) pour obtenir une meilleure approximation de la distribution de χ2 . C’est la correction de Williams (1976) décrite par Scherrer (2007: 597) et Sokal & Rohlf (1981: 737, 745). (2) Ou encore, réaliser le test par permutation.

Les tests khi-carré

14

5 – Tableaux 2 × 2 La formule générale du X2 de Pearson conduit à une formule simplifiée de calcul pour le cas des tableaux 2 × 2. Représentons par a, b, c et d les fréquences absolues des quatre cases d’un tel tableau: Variable 2 Variable 1

Σ

1

1 a

2 b

a+b

2

c

d

c+d

Σ

a+c

b+d

n = a+b+c+d

La formule n 2  n  ad – bc – ---  2 2 X = ----------------------------------------------------------------------------- , ν = (2–1) (2–1) = 1 ( a + b) ( c + d ) ( a + c) ( b + d ) peut être employée • si n > 40 • ou si n ≥ 24 (n/4 ≥ 6) pour un test au niveau α = 5%, ou n ≥ 40 (n/4 ≥ 10) pour un test au niveau α = 1% (Roscoe & Byars 1971). La soustraction de la valeur n/2 est la “correction de continuité de Yates”. Si n/4 est inférieur à la règle de Roscoe & Byars (1971): • réaliser le test khi-carré par permutation; • ou encore, réaliser le test par la méthode exacte de Fisher (1934) pour tableaux 2 × 2 (Scherrer, section 15.1.2; Sokal & Rohlf, 1981, p. 740). C’est le premier test par permutation à avoir été décrit dans la littérature statistique.

Les tests khi-carré

15

IV - Conformité entre distributions observée et théorique Référence: Scherrer (2007), sections 16.1 et 16.2.1

Objectif: Déterminer dans quelle mesure les données observées sont conformes à une théorie ou à une loi prédisant la forme de la distribution de fréquence. Exemple: Les résultats de croisements génétiques sont-ils mendéliens? Exemple: Les données observées obéissent-elles à une loi binomiale? à une loi de Poisson? à une loi normale? • Différence avec les tests X2 des sections précédentes: il n’y a ici qu’une seule variable observée. On compare sa distribution à une distribution théorique connue à travers l’hypothèse biologique. 1. Fréquences théoriques: Les fréquences théoriques, auxquelles on compare les fréquences observées, sont calculées comme suit: Distribution de prob. théorique × effectif n = fréquences théoriques E(Ai) Exemple – Considérons un effectif de n = 200 drosophiles. Pour tester un rapport de ségrégation 1-2-1 de deux allèles, l’un dominant et l’autre récessif, la distribution attendue des phénotypes est 3/4 pour le phénotype dominant et 1/4 pour le phénotype récessif. On calcule les fréquences théoriques comme suit: Distr. attendue des phénotypes Effectif total n

Fréquences Fréquences théoriques observées (ex.)

3/4

200 mouches

E(A1) = 150

a1 = 162

1/4

200 mouches

E(A1) = 50

a2 = 38 ∑ = n = 200

Les tests khi-carré

16

2. Statistique pour le test de conformité: X

2

k

=

∑ i=1

2

[ ai – E ( Ai) ] -----------------------------------E ( Ai)

3. Calcul des degrés de liberté: • Le principe est toujours le même: le nombre de degrés de liberté est le nombre de composantes indépendantes, i.e. le nombre (k) des composantes de base utilisées dans le calcul de la statistique moins le nombre (c) de relations (paramètres) qui lient celles-ci: ν = k– c. • Les composantes de base qui entrent dans le calcul de la statistique-test X2 sont les rapports [aij – E(Aij)]2/E(Aij ). Leur nombre est égal au nombre (k) de lignes du tableau. • Le nombre de paramètres (c) qu’il a fallu estimer pour ajuster la distribution théorique aux données varie selon la loi de distribution. Les cas les plus courants sont les suivants: - Pour la loi binomiale B (n, p): dans le cas le plus général, il faut estimer deux paramètres à partir des données pour pouvoir ajuster la distribution théorique à la distribution observée: (1) l’effectif n et (2) la probabilité p d’un des deux événements. Donc c = 2 et, par conséquent, ν = k– 2. - Loi binomiale: si la probabilité p est fournie par l’hypothèse biologique, il n’est pas nécessaire de l’estimer à partir des données et ν = k – 1. Exemple: rapport des sexes 1:1; ex. génétique page précédente. - Pour la loi de Poisson P (µ): c = 2 car il faut estimer (1) l’effectif n et (2) la moyenne µ à partir des données, sauf si celle-ci est fournie par l’hypothèse biologique. Donc, ν = k– 2 dans le cas le plus général.

Les tests khi-carré

17

- Pour la loi normale N (µ, σ): c = 3 dans le cas le plus général, car il faut estimer (1) l’effectif n, (2) la moyenne µ et (3) l’écart type σ à partir des données. Donc, ν = k – 3. - Loi normale: si la moyenne µ et/ou l’écart type σ sont fournis par l’hypothèse biologique, cela diminue d’autant la valeur de c. ⇒ Loi de Poisson et loi normale: Il existe de meilleurs tests de conformité que le test khi-carré. Il s’agit du test de Kolmogorov-Smirnov et du test de Shapiro-Wilk (Legendre & Legendre, 1984, section 4.9; 1998, section 4.7; Sokal & Rohlf, 1981 ou 1995). Le test de ShapiroWilk est disponible dans le langage R (fonction shapiro.test ). 4. Conditions d’application: Les mêmes que pour le test X2 entre deux variables qualitatives. 5. Exemples: Voir Scherrer, p. 634-635.

Références additionnelles Cochran, W. G. 1954. Some methods for strengthening the common χ2 test. Biometrics 10: 417-451. Dingle, H. 1972. Aggressive behavior in stomatopods and the use of information theory in the analysis of animal communication. Pp. 126-156 in: H. E. Winn & B. L. Olla, editors. Behavior of marine animals – Current perspectives in research. Vol. 1: Invertebrates. Plenum Press, New York. Fisher, R. A. 1934. Statistical methods for research workers, 5th ed. Oliver & Boyd, Edinburgh.