Tilastomatematiikka [version 21 Mar 2012 ed.] [PDF]

Zitiervorschau

TILASTOMATEMATIIKKA Keijo Ruohonen

2011

Sisältö 1 1 1 2 6 6 9 10 12

I PERUSOTOSJAKAUMAT JA DATAN KUVAUKSET

14 14 16 19 20 21 24 24 26 27

II YHDEN JA KAHDEN OTOKSEN ESTIMOINTI

29 29 29 31 32 34 35 37 39

III HYPOTEESIEN TESTAUS

40 40 41 43

IV χ2 -TESTIT

1.1 Satunnaisotanta 1.2 Tärkeitä otossuureita 1.3 Datan esitykset ja graafiset metodit 1.4 Otosjakaumat 1.4.1 Otoskeskiarvon jakauma 1.4.2 Otosvarianssin jakauma 1.4.3 t-jakauma 1.4.4 F-jakauma

2.1 Piste-estimointi ja väliestimointi 2.2 Yksi otos: Odotusarvon väliestimointi 2.3 Ennustevälit 2.4 Toleranssivälit 2.5 Kaksi otosta: Odotusarvojen erotuksen estimointi 2.6 Parittaiset havainnot 2.7 Suhdeluvun estimointi 2.8 Yksi otos: Varianssin estimointi 2.9 Kaksi otosta: Varianssien suhteen estimointi

3.1 Tilastolliset hypoteesit 3.2 Hypoteesien testaus 3.3 Kaksipuoliset ja toispuoliset testit 3.4 Testisuureet 3.5 P-arvot 3.6 Odotusarvojen testaus 3.7 Varianssien testaus 3.8 Odotusarvojen vertailu graafisesti

4.1 Jakauman sopivuustesti 4.2 Riippumattomuustesti. Kontingenssitaulut 4.3 Homogeenisuustesti

46 V SUURIMMAN USKOTTAVUUDEN ESTIMOINTI 46 5.1 Suurimman uskottavuuden estimointi 47 5.2 Esimerkkejä

i

ii 50 50 51 54 57 59 61 63 64

VI MONEN MUUTTUJAN LINEAARINEN REGRESSIO

68 68 70 72 74 76

VII PARAMETRITTOMAT MENETELMÄT

79 79 80 81 82 83 84

VIII STOKASTINEN SIMULOINTI

6.1 Regressiomalli 6.2 Parametrien estimointi. Matriisiesitys 6.3 Parametriestimaattorien ominaisuuksia 6.4 Regression tilastollinen käsittely 6.5 Sovitetun mallin tutkiminen 6.6 Kategoriset regressorit 6.7 Residuaalin tutkiminen 6.8 Logistinen regressio

7.1 Merkkitesti 7.2 Merkityn järjestyksen testi 7.3 Mann–Whitney-testi 7.4 Kruskal–Wallis-testi 7.5 Järjestyskorrelaatiokerroin

8.1 Satunnaislukujen generointi 8.1.2 Diskreettien jakaumien generointi 8.1.3 Jatkuvien jakaumien generointi käänteiskertymämenetelmällä 8.1.4 Jatkuvien jakaumien generointi hyväksy–hylkää-menetelmällä 8.2 Uudelleenotanta 8.3 Monte Carlo -integrointi

86 Liite: TOLERANSSIVÄLITAULUKKO

Esipuhe Tämä moniste on alunperin tarkoitettu TTY:n peruskurssin ”MAT-33310 Tilastomatematiikka” luentotiivistelmäksi. Sopivin osin se on nyt käytössä peruskurssin ”MAT-33311 Tilastomatematiikka 1” luentotiivistelmänä. Moniste on kirjoitettu jotakuinkin vastaamaan kirjan WALPO LE , R.E. & M YERS , R.H. & M YERS , S.L. & Y E , K.: Probability & Statistics for Engineers & Scientists. Pearson Prentice Hall (2007) Lukujen 8, 9, 10, 12 ja 16 sisältöä. Kirja (jatkossa lyhyesti WMMY) on maailmanlaajuisesti yksi suosituimpia tilastomatematiikan alkeiskirjoja. Lisäksi on käsitelty stokastista simulointia. WMMYn vastinpykälät on merkitty oikeaan marginaaliin. Tämä moniste on kuitenkin huomattavasti tiiviimpi kuin WMMY, eikä näin varsinaisesti korvaa sitä tai esimerkiksi sovellu yhtä hyvin itseopiskeluun. Monin paikoin asian käsittely myöskin poikkeaa kirjan WMMY vastaavasta, esitystä on osin täydennetty ja korjattu ja eräät nykykäsityksen mukaan liian epätarkat menetelmät on korvattu toisilla. Monisteessa esitettävät esimerkit ovat pääosin kirjasta WMMY. Näiden esimerkkien numerot WMMYssä on merkitty oikeaan marginaaliin. Ne on kuitenkin kaikki ajettu uudelleen käyttäen MATLAB-ohjelmaa tai tilasto-ohjelmaa JMP tai nettilaskimia. Esimerkkejä ei myöskään ole käsitelty yhtä perusteellisesti kuin kirjassa ja monet niistä on lisäksi käsitelty eri tavoin. Kurssin ”MAT-33311 Tilastomatematiikka 1” ehdoton esitieto on kurssi ”MAT-20501 Todennäköisyyslaskenta”, tai vastaavasti kirjan WMMY Luvut 1–8. Nämä kurssit käsittävät vain

iii tilastomatematiikan alkeet. Tarjolla onkin myös moneen suuntaan huomattavasti pidemmälle meneviä syventäviä kursseja. Mainittakoon esimerkiksi alan matemaattista puolta perusteellisemmin käsittelevä ”MAT-51800 Matemaattinen tilastotiede”, Bayes-tyyppistä tilastomatematiikkaa käsittelevä ”MAT-51706 Bayesian methods”, monimuuttujamenetelmiä (joihin kuuluu mm. regressio) käsittelevä kurssi ”MAT-41280 Tilastolliset monimuuttujamenetelmät” sekä nimenomaan teknisillä aloilla käytettäviä menetelmiä käsittelevä kurssi ”MAT-34000 Tilastomatematiikka 2”.

Keijo Ruohonen

Luku 1 PERUSOTOSJAKAUMAT JA DATAN KUVAUKSET T¨am¨a luku on paljolti kertausta kurssilta Todenn¨ak¨oisyyslaskenta. Uutena asiana tulevat otoksen graafiset eli deskriptiiviset esitykset.

1.1

Satunnaisotanta

[8.1]

Populaatio on kaikkien mahdollisesti otokseen tulevien arvojen kokoelma. Arvo, numeerinen tai luokitteluarvo, voi esiinty¨a populaatiossa monta kertaa. Otos on tiettyjen populaatiosta valittujen arvojen kokoelma. N¨aiden lukum¨a¨ar¨a on otoskoko, jota merkit¨a¨an usein n:ll¨a. Jos ko. arvot valitaan satunnaisesti, kyseess¨a on satunnaisotos. Otos voidaan ajatella ensinn¨akin jonona satunnaismuuttujia: X1 , X2 , . . . , Xn (”ensimm¨ainen otosalkio”, ”toinen otosalkio”, . . . ). N¨aill¨a satunnaismuuttujilla on sama jakauma (”satunnaisuus”) ja ne ovat riippumattomat. Konkreettinen otannan tuloksena saatu realisoitunut otos puolestaan on jono arvoja (numeerisia tai luokitteluarvoja): x1 , x2 , . . . , xn . Huomaa merkint¨a: satunnaismuuttujia merkit¨aa¨n isoin kirjaimin, arvoja pienin. T¨ass¨a tarkoitettu otanta on tarkemmin ottaen ns. otanta palauttaen, ts. jos populaatio on ¨a¨arellinen (tai numeroituvasti ¨a¨aret¨on), ajatellaan otettu alkio palautetuksi ennen seuraavan otokseen tulevan alkion ottamista.

1.2

T¨ arkeit¨ a otossuureita

n

n

1X tai x = xi , n i=1

edellinen on satunnaismuuttuja, j¨alkimm¨ainen realisoitunut otoskeskiarvo. 1

”random sample”

IID: ”independent, identically distributed”.

Otantaa palauttamatta ei t¨ass¨a sen kummemmin k¨asitell¨a, ks. esimerkiksi moniste RUOHONEN, K.: Tilastollinen kokeiden suunnittelu ja otanta.

[8.2]

Otossuure eli statistika on jokin otoksesta laskettu yksitt¨ainen arvo: f (X1 , . . . , Xn ) (satunnaismuuttuja) tai f (x1 , . . . , xn ) (realisoitunut arvo). Tuttu otossuure on otoskeskiarvo 1X X= Xi n i=1

”sample”

”statistic” ”sample mean”

LUKU 1. PERUSOTOSJAKAUMAT JA DATAN KUVAUKSET

2

Toinen tuttu otossuure on otosvarianssi n

”sample variance” n

1 X (Xi − X)2 S = n − 1 i=1

1 X (xi − x)2 , tai s = n − 1 i=1

2

2

j¨alleen edellinen on satunnaismuuttuja ja j¨alkimm¨ainen realisoitunut numeerinen arvo. Otosvarianssi voidaan my¨os kirjoittaa muotoon n

1 X 2 n 2 S = Xi − X n − 1 i=1 n−1

Avataan vain neli¨ o (Xi − X)2 .

(vastaavasti s2 ). Ottamalla neli¨ojuuret saadaan otoshajonnat S ja s. Muita t¨arkeit¨a otossuureita ovat otosmaksimi ja -minimi.

”sample standard deviation”, ”sample maximum”, ”sample minimum”

2

Xmax = max(X1 , . . . , Xn ) tai xmax = max(x1 , . . . , xn ), Xmin = min(X1 , . . . , Xn ) tai xmin = min(x1 , . . . , xn ) sek¨a n¨aiden erotus, otosvaihteluv¨ali. R = Xmax − Xmin

1.3

”sample range”

tai r = xmax − xmin .

Datan esitykset ja graafiset metodit

[8.3]

Tutun pylv¨asdiagrammin eli histogrammin lis¨aksi on useita muitakin hyvin tavallisia tapoja havainnollistaa dataa. Esimerkki. T¨ass¨a esimerkiss¨a otos muodostuu n = 40 satunnaisesti valitun savukkeen mitatusta nikotiinipitoisuudesta: 1.09 1.92 2.31 1.79 2.28 1.74 1.47 1.97 0.85 1.24 1.58 2.03 1.70 2.17 2.55 2.11 1.86 1.90 1.68 1.51 1.64 0.72 1.69 1.85 1.82 1.79 2.46 1.88 2.08 1.67 1.37 1.93 1.40 1.64 2.09 1.75 1.63 2.37 1.75 1.69

[8.3] Desimaalierottimena k¨aytet¨a¨an pistett¨a, ettei se sekaannu jonoerottimena k¨aytett¨av¨a¨an pilkkuun.

JMP-ohjelma tulostaa seuraavan (v¨ ah¨an siistityn) graafisen esityksen: Nicotinedata: Distribution

Pa

Distributions Content Quantiles

.5

1

1.5

2

2.5

100.0% maximum 99.5% 97.5% 90.0% 75.0% quartile 50.0% median 25.0% quartile 10.0% 2.5% 0.5% 0.0% minimum

Moments 2.5500 2.5500 2.5478 2.3070 2.0150 1.7700 1.6325 1.2530 0.7232 0.7200 0.7200

Mean Std Dev Std Err Mean upper 95% Mean lower 95% Mean N

Vasemmalla ylh¨aa¨ll¨a oleva ns. laatikko–viikset-kuvio antaa tiivistetyn

1.77425 0.3904559 0.0617365 1.8991239 1.6493761 40

”box and whiskers”

LUKU 1. PERUSOTOSJAKAUMAT JA DATAN KUVAUKSET

3

kuvan datan jakaumasta. Laatikko-osa on alakvartiilin q(0.25) ja yl¨akvartiilin q(0.75) v¨alinen osa otosarvoista (ks. alla). Laatikon sis¨all¨a on my¨os pystyviivalla merkitty otosmediaani (ks. alla). Viikset taas osoittavat otosmaksimin ja -minimin. Viiksiin voidaan merkit¨a muitakin kvantiileja (ks. alla). (Laatikon sis¨all¨a on my¨os luottamusv¨alin antava ns. keskiarvoruutu, johon palataan my¨ohemmin Pyk¨al¨ass¨a 3.8.) Usein otoksesta poistetaan yksi tai useampia ns. vieraita eli ulkolaisia, otosarvoja, jotka poikkeavat niin paljon tavallisesta, ett¨a niiden katsotaan syntyneen virheen seurauksena. Vieraiksi havaintoja voidaan luokitella erilaisin kriteerein. Vieraat on kuvaan merkitty pisteill¨a (t¨ass¨a on kaksi vierasta). Pylv¨asdiagrammin sijasta jotkut haluavat k¨aytt¨av¨a¨a ns. runko–lehtidiagrammia. Jos k¨aytet¨a¨an d desimaalin esityst¨a, valitaan d − 1 ensimm¨aist¨a desimaalia ns. rungoksi ja viimeiset desimaalit ovat ns. lehti¨a. Data esitet¨a¨an tyypillisesti muodossa 1.2 0227779,

”outlier”

”stem and leaf diagram”

joka t¨ass¨a tapauksessa tarkoittaa sit¨a, ett¨a runko-osa on 1.2, otoksessa on yksi arvo 1.20, kaksi arvoa 1.22, kolme arvoa 1.27 ja yksi arvo 1.29 (eik¨a siis esimerkiksi yht¨a¨an arvoa 1.21). Lehtiosaa voidaan tilasyist¨a jakaa monellekin riville. Esimerkki. (Jatkoa) JMP tulostaa seuraavan runko–lehti-diagrammin (j¨alleen v¨ah¨an siistittyn¨a oletustulostukseen verrattuna):

[8.3]

Nicotinedata: Distribution

Page 1

Distributions Content Quantiles

.5

1

1.5

2

2.5

100.0% maximum 99.5% 97.5% 90.0% 75.0% quartile 50.0% median 25.0% quartile 10.0% 2.5% 0.5% 0.0% minimum

Stem and Leaf 2.5500 2.5500 2.5478 2.3070 2.0150 1.7700 1.6325 1.2530 0.7232 0.7200 0.7200

Stem 2 2 2 2 1 1 1 1 1 0 0

Leaf 6 45 233 00111 88888999999 6666777777 4455 2 1 9 7

Count 1 2 3 5 11 10 4 1 1 1 1

0|7 represents 0.7

T¨ass¨a arvot on ensin py¨oristetty kaksidesimaalisiksi. Otoskvantiili q(f ) on kirjan WMMY m¨a¨arittelyn mukaan sellainen lukuarvo, ett¨a otosarvoista 100f % on ≤ q(f ). Erityisesti sovitaan, ett¨a q(0) = xmin ja q(1) = xmax . Minimin ja maksimin lis¨aksi muita tavallisia otoskvantiileja ovat otosmediaani q(0.5) sek¨a alakvartiili q(0.25) ja yl¨akvartiili q(0.75). Edelleen usein esiintyv¨at kvintiilit q(0.2) , q(0.4) , q(0.6) , q(0.8)

”sample quantile”

LUKU 1. PERUSOTOSJAKAUMAT JA DATAN KUVAUKSET

4

sek¨a desiilit q(0.1) , q(0.2) , q(0.3) , q(0.4) , q(0.5) , q(0.6) , q(0.7) , q(0.8) , q(0.9) ja sentiilit q(0.01) , q(0.02) , q(0.03) , . . . , q(0.99). Erotus q(0.75) − q(0.25) on ns. kvartiiliv¨ali. Ehk¨ap¨a parempi m¨a¨arittely otoskvantiilille q(f ) on seuraava: q(f ) on sellainen luku, ett¨a enint¨a¨an 100f % otosarvoista on < q(f ) ja enint¨a¨an (1 − f )100 % otosarvoista on > q(f ). N¨ainkin m¨aa¨riteltyn¨a otoskvantiilit eiv¨at aina ole yksik¨asitteisi¨a. On useita tapoja m¨a¨aritell¨a otoskvantiilit niin, ett¨a niist¨a tulee yksik¨asitteisi¨a (ks. harjoitukset). Ohjelmistot tulostavat yleens¨a jonkin kokoelman otoskvantiileja jonkin t¨allaisen m¨a¨arittelytavan mukaisesti. Ks. edellinen esimerkki. Yo. otoskvantiilit ovat realisoituneita arvoja. Tietysti voidaan m¨a¨aritell¨a my¨os vastaavat satunnaismuuttujat Q(f ), esimerkiksi otosmediaani Q(0.5). N¨aiden jakaumat ovat hyvin mutkikkaita. Ns. kvantiilikuva saadaan j¨arjest¨am¨all¨a ensin otosarvot x1 , x2 , . . . , xn kasvavaan j¨arjestykseen:

”interquartile range”

”quantile plot”

x(1) , x(2) , . . . , x(n) (miss¨a siis x(i) on i:nneksi pienin otosarvo). Sen j¨alkeen pyrit¨a¨an saamaan otosarvoa x(i) mahdollisimman hyvin vastaava luku f . T¨allaiseksi valitaan usein i − 3/8 . fi = n + 1/4 Lopuksi piirret¨a¨an pisteet (fi , x(i) ) (i = 1, . . . , n) pistekuviona tai porrasviivana. Tulos on kvantiilikuva. Jos piirret¨a¨ankin pisteet (x(i) , fi ) porrasviivana saadaan ns. otoskertym¨a eli empiirinen kertym¨a.

”empirical cumulative distribution function” [8.3]

Esimerkki. (Jatkoa) JMP piirt¨a¨a nimenomaan otoskertym¨an (kuva oikealla): Nicotinedata: Distribution

Page 1 of 1

Distributions

.95 .90 .75 .50 .25 .10 .05 .01

2 1 0 -1 -2 -3

Quantiles 100.0% maximum 99.5% 97.5% 90.0% 75.0% quartile 50.0% median 25.0% quartile 10.0% 2.5% 0.5% 0.0% minimum

CDF Plot 2.5500 2.5500 2.5478 2.3070 2.0150 1.7700 1.6325 1.2530 0.7232 0.7200 0.7200

1.0 0.9 0.8 0.7

Cum Prob

3 .99

Normal Quantile Plot

Content

0.6 0.5 0.4 0.3 0.2 0.1 .5

1

1.5

Content .5

1

1.5

2

2.5

2

2.5

LUKU 1. PERUSOTOSJAKAUMAT JA DATAN KUVAUKSET

5

Populaatioarvoilla on oma jakaumansa, joka voi olla tarkasti hyvin vaikea selville saatava. Usein on kuitenkin hyvi¨a syit¨a olettaa, ett¨a ko. jakauma olisi jotakuinkin normaalijakauma, ts. ett¨a jakauman kertym¨afunktio olisi melko tarkasti jonkin normaalijakauman N(µ, σ 2 ) kertym¨afunktio. Jos asiasta on kuitenkin ep¨ailyksi¨a, voi ensimm¨aisen¨a temppuna yritt¨a¨a katsoa tilannetta graafisesti. T¨am¨a voidaan tehd¨a vertailemalla otoskvantiileja normaalijakauman vastaaviin. Jos jakauman kertym¨
afunktio on F , niin sen kvantiili q(f ) on sellainen luku, ett¨a F q(f ) = f . Jos merkit¨a¨an normaalijakauman N(µ, σ 2 ) kvantiileja qµ,σ (f ):ll¨a, niin qµ,σ (f ) = µ + σΦ−1 (f ), miss¨a Φ on standardinormaalijakauman N(0, 1) kertym¨afunktio.
Piirt¨am¨all¨a pisteet x(i) , q0,1 (fi ) (i = 1, . . . , n) pistekuviona tai porrasviivana saadaan ns. normaalikvantiilikuva. Mik¨ali populaatiojakauma todella on N(µ, σ 2 ), niin kuvion pit¨aisi olla jotakuinkin suora, sill¨a ideaalisesti silloin q0,1 (fi ) = Φ−1 (fi ) =

Usein my¨os viimeisen¨a!

Huomaa, ett¨a jakauman kvantiili ja otoskvantiili ovat eri asioita, vaikka niit¨a t¨ass¨a merkit¨a¨ankin samalla tavalla. Varsin hyv¨an approksimaation antaa muuten Φ−1 (f ) ∼ = 4.91f 0.14 − 4.91(1 − f )0.14 . ”normal quantile plot”

qµ,σ (fi ) − µ ∼ x(i) − µ . = σ σ

Kuvaajan p¨aiss¨a saa olla joidenkin havaintojen osalta v¨ah¨an isompiakin heittoja, mutta ainakin keskivaiheilla sen pit¨aisi olla melko suora. Ellei n¨ain ole, voidaan ainakin alustavasti p¨a¨atell¨a, ettei populaatiojakauma ole normaali. Edellisess¨a esimerkiss¨a vasemmalla oleva kuva on normaalikvantiilikuva. Populaatiojakaumaa voitaneen t¨am¨an kuvan perusteella pit¨a¨a normaalina, vaikkakin tietty¨a poikkeamaa on havaittavissa. Esimerkki. T¨ass¨a esimerkiss¨a on mitattu n = 28 kertaa tiettyjen organismien lukum¨a¨ari¨a. JMP tulostaa alla olevan normaalikvantiilikuvan, josta n¨ahd¨a¨an, ettei populaatiojakaumaa voida mitenk¨a¨an pit¨a¨a normaalina. T¨am¨a n¨akyy tietysti selv¨asti my¨os pylv¨asdiagrammissa. Organisms: Distribution

[8.5] Akselit ovat toisinp¨ain!

Page 1 of 1

Distributions Number_of_organisms 30000

.01 .05.10 .25 .50 .75 .90.95 .99

25000 20000 15000 10000 5000 0 -3

-2

-1

0

Normal Quantile Plot

1

2

3

LUKU 1. PERUSOTOSJAKAUMAT JA DATAN KUVAUKSET

6

Muitakin tapoja tutkia normaalisuutta graafisesti on, esimerkiksi ns. normaalitodenn¨ak¨oisyyskuva.

1.4

Otosjakaumat

Otossuureen (satunnaismuuttujan) jakauma on ns. otosjakauma. Joidenkin otossuureiden jakaumat ovat hyvin hankalia, vaikka populaatiojakauma olisikin ”mukava” (esimerkiksi normaali). T¨allaisia ovat erityisesti otoskvantiilit satunnaismuuttujiksi ajateltuina.

1.4.1

Otoskeskiarvon otosjakauma

”normal probability plot”

[8.4] ”sample distribution”

[8.5]

Jos populaatiojakauman odotusarvo on µ ja varianssi σ 2 , niin otoskeskiarvon odotusarvo on E(X) = µ ja varianssi σ2 n √ (n on otoskoko). Otoskeskiarvon hajonta eli sen ns. keskivirhe on σ/ n ”standard error” ja se pienenee otoskoon kasvaessa. Jos populaatiojakauma on normaalijakauma N(µ, σ 2 ), niin otoskeskiarvon jakauma on my¨os normaalijakauma, nimitt¨ain N(µ, σ 2 /n). X:n jakauma on kuitenkin ainakin likimain normaali my¨os muuten, jos vain n on kyllin iso (ja populaatiojakaumalla on olemassa odotusarvo ja ¨a¨aKaikilla jakaumilla ei ole odotusarvoa. Joillakin taas rellinen varianssi). T¨am¨an takaa klassinen approksimaatiotulos: on vain odotusarvo, mutta var(X) =

ei ¨a¨arellist¨a varianssia.

Keskeinen raja-arvolause (otoskeskiarvoille). Jos populaatiojakau”Central Limit Theorem” man odotusarvo on µ ja (¨a¨arellinen) varianssi σ 2 , niin standardoidun Lauseesta on my¨os versioisatunnaismuuttujan ta, joissa otosalkioille ei oleteta samaa jakaumaa, X −µ vain riippumattomuus. √ Z= T¨all¨oin, jos otosalkioiden σ/ n kertym¨afunktio on likimain standardinormaalijakauman kertym¨afunktio Φ, sit¨a tarkemmin mit¨a suurempi n on.

X1 , . . . , Xn odotusarvot ovat µ1 , . . . , µn ja hajonnat σ1 , . . . , σn , niin valitaan µ = n1 (µ1 + · · · + µn ) ,

Yleens¨a katsotaan, ett¨a otoskoko n = 30 jo riitt¨a¨a tekem¨a¨an X:n jakau2 1 2 2 man hyvin tarkasti normaaliksi. Jos populaatiojakauma on jo l¨ahtiess¨a σ = n (σ1 + · · · + σn ). Silloin lause pit¨a¨a paik”hyv¨a¨a muotoa” (yksihuippuinen, likimain symmetrinen jne.), niin piekansa, kunhan asetetaan nempikin arvo riitt¨a¨a (esimerkiksi n = 5). viel¨a jokin (heikohko) lis¨aEsimerkki. L¨ahtien vahvasti ep¨asymmetrisest¨a jakaumasta saadaan eri otoskoille alla olevan kuvan mukaisia summan X1 + · · · + Xn tiheysfunktioita (laskettu Maple-ohjelmistolla). Jos taas l¨ahdet¨a¨an symmetrisest¨a, mutta vahvasti kaksihuippuisesta jakaumasta, saadaan vastaavasti toisen kuvasarjan mukaiset summan X1 + · · · + Xn tiheysfunktiot. Otoskoko n = 7 riitt¨a¨a siis jo tekem¨a¨an ensimm¨aisen kuvasarjan X:n jakaumasta melko tarkasti normaalin, mutta vasta otoskoko n = 20 riitt¨a¨a toiselle kuvasarjalle.

oletus. Kuuluisa t¨allainen on ns. Lindebergin ehto. Jarl Lindeberg (1876– 1932) muuten oli suomalainen matemaatikko!

LUKU 1. PERUSOTOSJAKAUMAT JA DATAN KUVAUKSET

1.8 1.6 1.4 1.2 1.0 .8 .6 .4 .2 0.0.

.2

.4

x .8 1.0

.6

1.0 .8 .6 .4 .2 0.0.

.5

1.0

.8 .6 .4 .2 x 0.0. .5 1.0 1.5 2.0 2.5 3.0

.7 .6 .5 .4 .3 .2 .1 0.0.

1.

2.

n=7

x 5.

.5 .3 .2 .1 0.0.

2.

4.

.6

x 8. 10.

6.

2. kuvasarja:

n=2

x .8 1.0

1.6 1.4 1.2 1.0 .8 .6 .4 .2 0.0.

.5

1.0

1.5

x 2.0

4.

x 5.

15.

x 20.

n=5

n=3 .8 .6 .4 .2 x 0.0. .5 1.0 1.5 2.0 2.5 3.0

.5 .4 .3 .2 .1 0.0.

1.

2.

3.

n = 20

n = 10 .35 .30 .25 .20 .15 .10 .5e–1 0.0.

4.

3.

.4

n=1 3.0 2.5 2.0 1.5 1.0 .5 .4

x 2.0

n = 10

.6 .5 .4 .3 .2 .1 0.0. 1. 2. 3. 4. 5. 6. 7.x

.2

1.5

n=5

n=3

0.

1. kuvasarja:

n=2

n=1

.20 .15 .10 .5e–1 2.

4.

7

6.

x 8. 10.

0.0.

5.

10.

LUKU 1. PERUSOTOSJAKAUMAT JA DATAN KUVAUKSET

8

Esimerkki. Koneenosan halkaisijan pit¨aisi olla µ = 5.0 mm (odotusarvo). Aikaisemman tiedon perusteella halkaisijan populaatiohajonta on σ = 0.1 mm. Asiaa tutkitaan n = 100 osan otoksella, jonka otoskeskiarvo on x = 5.027 mm. Lasketaan todenn¨ak¨oisyys  X − 5.0  √ ≥ 2.7 = 0.0069 P(|X − µ| ≥ 0.027 mm) = 2P 0.1/ 100

[8.7]

(saadaan standardinormaalijakaumasta Keskeisen raja-arvolauseen nojalla). T¨am¨a on aika pieni, mik¨a her¨att¨a¨a ep¨ailyksi¨a: Sangen luultavasti todellinen µ on isompi. MATLAB-ohjelmistolla laskut menev¨at seuraavasti: >> mu=5.0; sigma=0.1; n=100; x_viiva=5.027; >> 2*(1-normcdf(x_viiva,mu,sigma/sqrt(n))) ans = 0.0069

Kahden riippumattoman otoksen otoskeskiarvojen X 1 ja X 2 erotukselle saadaan vastaavasti odotusarvo ja varianssi Jos satunnaismuuttujat X E(X 1 − X 2 ) = µ1 − µ2

σ2 σ2 ja var(X 1 − X 2 ) = 1 + 2 , n1 n2

ja Y ovat riippumattomat, niin var(X ± Y ) = var(X) + var(Y ).

miss¨a µ1 , µ2 sek¨a σ12 , σ22 ovat vastaavat populaatiojakaumien odotusarvot ja varianssit ja n1 , n2 ovat otoskoot. Jos otoskoot ovat kyllin isot, standardoidulla satunnaismuuttujalla Z=

X 1 − X 2 − (µ1 − µ2 ) p σ12 /n1 + σ22 /n2

on Keskeisen raja-arvolauseen mukaisesti (kertym¨amieless¨a) likimain normaalijakauma N(µ1 − µ2 , σ12 /n1 + σ22 /n2 ). (Ja tarkastikin, jos populaatiojakaumat ovat normaaleja.) Esimerkki. Kahden maalin A ja B kuivumisaikoja verrattiin n = 18 n¨aytteen avulla. Molempien maalien kuivumisaikojen populaatiohajonnan tiedet¨ a¨an olevan σA = σB = 1.0 h. Otoskeskiarvojen erotukseksi saatiin xA − xB = 1.0 h. Voisiko t¨allainen tulos tulla, vaikka populaatioodotusarvot ovat samat (eli µA = µB )? Lasketaan

Kahden riippumattoman normaalijakautuneen satunnaismuuttujan summa ja erotus ovat my¨ os normaalijakautuneita. [8.8]

 X −X −0  A B P(X A − X B ≥ 1.0 h) = P p ≥ 3.0 = 0.0013. 1.02 /18 + 1.02 /18 Todenn¨ak¨oisyys on niin pieni, ett¨a tulos ei varmaankaan ole tullut sattumalta, vaan todella µA > µB . Jos olisikin saatu xA − xB = 15 min, saataisiin vastaavasti P(X A − X B ≥ 0.25 h) = 0.2266. T¨am¨a tulos taas on hyvinkin voinut tulla sattumalta. MATLAB-ohjelmistolla t¨allaiset laskut menev¨at seuraavasti:

LUKU 1. PERUSOTOSJAKAUMAT JA DATAN KUVAUKSET >> mu=0; sigma_A=1.0; sigma_B=1.0; n_A=18; n_B=18; erotus=1.0;

9

% Maaleilla samat odotusarvot

% Maalin A otoskeskiarvo - maalin B otoskeskiarvo

> 1-normcdf(erotus,mu,sqrt(sigma_A/n_A+sigma_B/n_B)) ans = 0.0013 >> erotus=0.25; >> 1-normcdf(erotus,mu,sqrt(sigma_A/n_A+sigma_B/n_B)) ans = 0.2266

1.4.2

[8.6]

Otosvarianssin jakauma

Otosvarianssin jakauma on hankala, ellei voida olettaa, ett¨a populaatioja- Asiaan liittyv¨at todistukjo varsin hankalia kauma on normaali. Tehd¨a¨ankin t¨am¨a oletus, jolloin ko. jakauma saadaan jasetneovat sivuutetaan t¨ass¨a. Ne l¨oytyv¨at mm. monisteesta ns. χ2 -jakauman avulla. RUOHONEN, K. & POHJAJos satunnaismuuttujat U1 , . . . , Uv ovat standardinormaalisti jakau- VIRTA, A.: Laaja tilastomatematiikka. tuneet ja riippumattomat, niin satunnaismuuttujalla V = U12 + · · · + Uv2 on χ2 -jakauma. T¨ass¨a v on jakauman parametri, ns. vapausasteiden lukum¨a¨ar¨a. Jakauman tiheysfunktio on  −x  v 1 x v−2 2 e 2 , kun x > 0 v g(x) = 2 2 Γ( 2 )  0, kun x ≤ 0, R∞ miss¨a Γ on gammafunktio Γ(y) = 0 ty−1 e−t dt. Hankalahkosta muodostaan huolimatta χ2 -jakauman todenn¨ak¨oisyydet ovat numeerisesti hyvin laskettavissa. Alla muutamia χ2 -jakaumien tiheysfunktioita (vapausasteiden lukum¨a¨ar¨a¨a on merkitty t¨ass¨a n:ll¨a, laskettu MATLAB-ohjelmistolla): χ2(n)-jakaumien tiheysfunktioita

0.45

0.4

0.35

0.3

0.25

0.2

0.15

0.1

n = 10 n = 15

0.05

0

1

2

3

4

5

6

Gammafunktio on kertoman n! jatkuva yleistys. Helposti n¨akee nimitt¨ain, ett¨a Γ(1) = 1 ja (osittaisintegroinnilla) ett¨a Γ(y + 1) = yΓ(y). Siisp¨a Γ(n) = (n − 1)!, kun n on positiivinen kokonaisluku. Hankalampi on todeta, ett¨a √ Γ( 12 ) = π.

0.5

0

”(k)hii-toiseen-jakauma”

7

8

9

n=5 n = 20 n=1 10

x

Helposti n¨akee, ett¨a E(V ) = v ja voidaan n¨aytt¨a¨a, ett¨a var(V ) = 2v.

LUKU 1. PERUSOTOSJAKAUMAT JA DATAN KUVAUKSET

10

Keskeisen raja-arvolauseen seurauksena suurille v:n arvoille (noin v ≥ 30) χ2 -jakauma on n¨ain likimain normaalijakauma N(v, 2v). Ilmeisesti, jos X1 , . . . , Xn on otos N(µ, σ 2 )-jakautuneesta populaatiosta, niin satunnaismuuttujat (Xi − µ)/σ ovat standardinormaaleja ja riippumattomia ja summalla

T¨ast¨a johtuu, ett¨a χ2 -jakauma yleens¨a taulukoidaan vain enint¨a¨an vapausasteille 30–40.

n X (Xi − µ)2 i=1

σ2

on χ2 -jakauma n vapausasteella. Mutta ko. summahan ei ole otosvarianssi! Toisaalta samantapaisella otosvarianssista saatavalla satunnaismuuttujalla T¨am¨a on hankala n¨aytt¨a¨a! n 2 2 X (n − 1)S (Xi − X) = 2 σ σ2 i=1 on my¨os χ2 -jakauma, mutta n − 1 vapausasteella. T¨arke¨a¨a on huomata, ett¨a mit¨a¨an Keskeisen raja-arvolauseen tapaista approksimaatiota ei ole t¨ass¨a k¨aytett¨aviss¨a, vaan populaatiojakauman on oltava normaali. Esimerkki. Kestoi¨at on merkitty yl¨os n = 5 akulle. Arvellaan, ett¨a ko. akkumallille kestoi¨an (populaatio)hajonta olisi σ = 1.0 v. Otokseen saatiin kestoi¨at 1.9 v, 2.4 v, 3.0 v, 3.5 v ja 4.2 v. Laskien saadaan otosvarianssiksi s2 = 0.815 v 2 . Edelleen saadaan   (n − 1)S 2 ≥ 3.260 = 0.5153 P(S 2 ≥ 0.815 v 2 ) = P σ2 (k¨aytt¨aen χ2 -jakaumaa n − 1 = 4 vapausasteella). Saatu arvo s2 on siis hyvin ”tavallinen” (likell¨a mediaania). Mit¨aa¨n syyt¨a ep¨aill¨a oletettua populaatiohajontaa 1.0 v ei t¨ass¨a ole. Laskut MATLABilla:

[8.10]

>> mu=3; sigma=1; n=5; otos=[1.9 2.4 3.0 3.5 4.2]; >> s=std(otos) s = 0.9028 >> 1-chi2cdf((n-1)*s^2/sigma^2,n-1) ans = 0.5153

1.4.3

t-jakauma

Edell¨a k¨asitelt¨aess¨a otoskeskiarvoa piti tiet¨a¨a populaatiohajonta σ. Jos sit¨a ei tiedet¨a, voidaan edelleen edet¨a, mutta normaalijakauman tilalle tulee ns. t-jakauma (eli Studentin jakauma). Lis¨aksi Keskeinen rajaarvolause ei ole t¨ass¨ak¨a¨an k¨ayt¨oss¨a, vaan populaatiojakauman pit¨a¨a silloin olla normaali. Jos satunnaismuuttujat U ja V ovat riippumattomat, U :lla on standardinormaalijakauma ja V :ll¨a on χ2 -jakauma v vapausasteella, niin satunnaismuuttujalla U T =p V /v

[8.7] J¨alleen asiaan liittyv¨at todistukset ovat hankalat ja l¨oytyv¨at mm. monisteesta RUOHONEN, K. & POHJAVIRTA, A.: Laaja tilastomatematiikka.

LUKU 1. PERUSOTOSJAKAUMAT JA DATAN KUVAUKSET

11

on t-jakauma v vapausasteella. Jakauman tiheysfunktio on − v+1  2 ) Γ( v+1 1 g(x) = √ 2 v 1 + x2 . v πv Γ( 2 )

Jakauman otti k¨aytt¨ o¨ on kemisti William Gosset (1876–1937), nimimerkki ”Student”.

Alla on muutamia esimerkkej¨a t-jakaumien tiheysfunktioista (vapausastein n, laskut MATLABilla): t(n)-jakaumien tiheysfunktioita 0.4

0.35

n=1

0.3

n=5

0.25

n = 10

0.2

n = 30

0.15

0.1

0.05

0

-4

-3

-2

-1

0 t

1

2

3

4

t-jakauma on yksihuippuinen ja symmetrinen arvon 0 suhteen, ja muistuttaa n¨ain v¨ah¨an standardinormaalijakaumaa. Suurille v:n arvoille se onkin varsin tarkasti standardinormaalijakauma, mutta t¨am¨a ei seuraa Keskeisest¨a raja-arvolauseesta. Jos populaatiojakauma on normaali, niin otoskeskiarvo X ja otosvarianssi S 2 ovat riippumattomat satunnaismuuttujat. T¨ast¨a seuraa, ett¨a my¨os n¨aist¨a laskien saatavat satunnaismuuttujat U=

X −µ √ σ/ n

ja V =

(n − 1)S 2 σ2

Vaan mist¨a? T¨am¨a riippumattomuus on vaikeasti osoitettava ja jonkin verran yll¨att¨av¨a juttu!

ovat riippumattomat. Edellisell¨a on standardinormaalijakauma ja j¨alkimm¨aisell¨a χ2 -jakauma n − 1 vapausasteella. Siisp¨a satunnaismuuttujalla U X −µ √ = T =p S/ n V /(n − 1) on t-jakauma n − 1 vapausasteella. Esimerkki. Er¨a¨an kemiallisen prosessin tuottoa mitataan grammoissa raaka-ainemillilitraa kohti. Mainitun tuoton pit¨aisi olla µ = 500 g/ml (oletettu populaatio-odotusarvo). Asiaa tutkittiin n = 25 alkion otoksella, jolloin saatiin otoskeskiarvo x = 518 g/ml ja otoshajonta s = 40 g/ml. Lasketaan X − µ 518 − 500  √ ≥ √ P = P(T ≥ 2.25) = 0.0169 S/ n 40/ 25 (k¨aytt¨aen t-jakaumaa n − 1 = 24 vapausasteella). T¨am¨a todenn¨ak¨oisyys on pieni, joten tulos ei luultavastikaan syntynyt sattumalta ja tuotto taitaakin olla parempi kuin luultiin. Laskut MATLABilla:

[8.14]

LUKU 1. PERUSOTOSJAKAUMAT JA DATAN KUVAUKSET

12

>> mu=500; n=25; x_viiva=518; s=40; >> 1-tcdf((x_viiva-mu)/(s/sqrt(n)),n-1) ans = 0.0169

Vaikka t-jakauma onkin johdettu sill¨a oletuksella, ett¨a populaatiojakauma on normaali, se on siin¨a mieless¨a robusti, ett¨a satunnaismuuttuja T yll¨a on likimain t-jakautunut kunhan vain populaatiojakauma on normaalinkaltainen (yksihuippuinen, likimain symmetrinen). T¨am¨a johtuu siit¨a, ett¨a t¨allaisille populaatiojakaumille otoshajonta S on isohkoille otoskoille n jo niin tarkasti = σ, ett¨a Keskeinen raja-arvolause tulee jossain mieless¨a k¨aytt¨o¨on. N¨ain t-jakauma on hyvin k¨aytt¨okelpoinen monissa tilanteissa.

1.4.4

[8.8]

F-jakauma

Kahden eri otoksen hajontojen vertailu onnistuu niiden otosvarianssien avulla k¨aytt¨aen ns. F-jakaumaa eli Fisherin jakaumaa eli Snedecorin jakaumaa. Jos satunnaismuuttujat V1 ja V2 ovat riippumattomat ja niill¨a on χ2 -jakaumat v1 ja v2 vapausasteella, vastaavasti, niin satunnaismuuttujalla V1 /v1 F = V2 /v2 on F-jakauma vapausastein v1 ja v2 . T¨all¨oin satunnaismuuttujalla 1/F on my¨os F-jakauma, nimitt¨ain vapausastein v2 ja v1 . F-jakauman tiheysfunktio on varsin mutkikas:  v1 v1 +v2  − v1 +v 2 2   v1 2 Γ( 2 ) x v12−2 1 + v1 x , kun x > 0 v2 Γ( v21 )Γ( v22 ) v2 g(x) =   0, kun x ≤ 0. Muutamia esimerkkej¨a F-jakaumien tiheysfunktioista (vapausastein n1 ja n2 , laskut MATLABilla): F(n1,n2)-jakaumien tiheysfunktioita 1

0.9

n1 = 5, n2 = 5

0.8

n1 = 5, n2 = 20

0.7

n1 = 20, n2 = 5

0.6

n1 = 20, n2 = 20

0.5

0.4

0.3

0.2

0.1

0

0

0.5

1

1.5

2

2.5 v

3

3.5

4

4.5

Ronald Fisher (1880– 1962), tilastomatematiikan uranuurtajia George Snedecor (1881– 1974)

LUKU 1. PERUSOTOSJAKAUMAT JA DATAN KUVAUKSET

13

Jos S12 ja S22 ovat kahden riippumattoman otoksen otosvarianssit, vastaavat populaatiot ovat normaalijakautuneet hajonnoin σ1 ja σ2 ja otoskoot ovat n1 sek¨a n2 , niin satunnaismuuttujat V1 =

(n1 − 1)S12 σ12

ja V2 =

(n2 − 1)S22 σ22

ovat riippumattomat ja χ2 -jakautuneet vapausastein n1 − 1 sek¨a n2 − 1. Niinp¨a satunnaismuuttujalla F =

V1 /(n1 − 1) S 2 /σ 2 = 12 12 V2 /(n2 − 1) S2 /σ2

on silloin F-jakauma vapausastein n1 − 1 ja n2 − 1. F-jakaumaa voidaan k¨aytt¨a¨a populaatiovarianssien vertailuun otosten avulla, ks. Pyk¨al¨at 2.9 ja 3.7. Se tosin ei ole siihen tarkoitukseen kovinkaan vahva ty¨okalu. Parempiakin on ja ohjelmistot k¨aytt¨av¨atkin yleens¨a niit¨a.

Mm. Bartlettin testi tai Levenen testi.

Esimerkki. Otetaan tapaus, jossa on saatu realisoituneet otosvarianssit s21 = 0.20 sek¨a s22 = 0.14 ja otoskoot ovat n1 = 25 ja n2 = 30. Lis¨aksi arvellaan, ett¨a vastaavat populaatiohajonnat ovat samat eli σ1 = σ2 . Lasketaan  S 2 /σ 2 s21 /σ12  1 1 P 2 2 ≥ 2 2 = P(F ≥ 1.429) = 0.1787 S2 /σ2 s2 /σ2 (k¨aytt¨aen F-jakaumaa vapausastein n1 −1 = 24 ja n2 −1 = 29). H¨ant¨atodenn¨ak¨oisyys on siis melko iso, liikutaan jakauman ”tavallisella” alueella eik¨a mit¨a¨an kummempaa syyt¨a ep¨aill¨a populaatiohajontojen samuutta ole. Laskut MATLABilla: >> n_1=25; n_2=30; s_1_toiseen=0.20; s_2_toiseen=0.14; >> 1-fcdf(s_1_toiseen/s_2_toiseen,n_1-1,n_2-1) ans = 0.1787

Varsinaisesti F-jakauma tulee k¨aytt¨o¨on ns. varianssianalyysiss¨a, josta lis¨a¨a my¨ohemmin.

ANOVA, ”analysis of variance”

Luku 2 YHDEN JA KAHDEN OTOKSEN ESTIMOINTI Estimointi eli populaatiojakaumaan liittyv¨an numeerisen arvon eli para- ”classical statistical inference” metrin arviointi on hypoteesin testauksen ohella ns. klassisen tilastollisen Toinen tilastomenetelmien p¨aa¨ttelyn perusmenetelm¨a. peruslaji on ns. Bayesin menetelm¨at, joita ei t¨ass¨a k¨asitell¨a.

2.1

Piste-estimointi ja v¨ aliestimointi

Piste-estimoinnin tarkoituksena on saada arvioiduksi jokin populaatioon liittyv¨a numeerinen arvo, ns. parametri, θ k¨aytt¨aen otosta. T¨allainen parametri on esimerkiksi populaatio-odotusarvo µ, jota voidaan estimoida otoskeskiarvolla x. Otoksesta laskettu realisoitunut θ:a arvioiva numeeˆ Estimaatti lasketaan rinen arvo on nimelt¨aa¨n estimaatti, merkit¨aa¨n θ. otokseen tulleista arvoista jollain kaavalla tai numeerisella algoritmilla. Toisaalta, jos otosta ajatellaankin satunnaismuuttujajonona X1 , . . . , Xn , on siit¨a estimointikaavalla tai -algoritmilla laskettu arvokin satunˆ naismuuttuja. Sit¨a merkit¨a¨an Θ:lla. T¨at¨a satunnaismuuttujaa kutsutaan estimaattoriksi. Yhdelle ja samalle parametrille voi olla erilaisia estimaattoreita. Esimerkiksi populaatio-odotusarvoa voitaisiin my¨os estimoida otosmediaanilla. Tuloksen eli saatujen estimaattien hyvyys riippuu sitten siit¨a miten symmetrinen populaatiojakauma on odotusarvonsa suhteen. Vastaavasti otoskeskiarvo on my¨os populaatiomediaanin er¨as estimaattori—parempi sellainen on tietysti otosmediaani. Populaatiokeskiarvon µ, -varianssin σ 2 ja -mediaanin m estimoinnissa yo. k¨asitteet ovat seuraavat: Parametri θ µ σ2 m

[9.3] ”point estimation”

Muista merkint¨a: satunnaismuuttujia merkit¨a¨an isoilla kirjaimilla, realisoituneita arvoja pienill¨a.

ˆ Estimaatti θˆ Estimaattori Θ µ ˆ=x X σb2 = s2 S2 m ˆ = q(0.5) Q(0.5)

Piste-estimaattori on satunnaismuuttuja. Jos siin¨a ei ole systemaatˆ on oikea parametrin arvo θ, satista virhett¨a, ts. sen odotusarvo E(Θ) ˆ 6= θ, sanotaan estinotaan estimaattoria harhattomaksi. Jos taas E(Θ) 14

”unbiased”

LUKU 2. YHDEN JA KAHDEN OTOKSEN ESTIMOINTI

15

ˆ harhaiseksi. (T¨am¨a kaikki olettaen tietysti, ett¨a E(Θ) ˆ on maattoria E(Θ) olemassa!) Jos populaatio-odotusarvo on µ, niin estimaattori X (otoskeskiarvo satunnaismuuttujana) on harhaton estimaattori, sill¨a E(X) = µ. My¨os otosvarianssi S 2 on populaatiovarianssin σ 2 harhaton estimaattori. Ensinn¨akin S 2 voidaan kirjoittaa muotoon n

S2 =

n

1 X 1 X n (X − µ)2 . (Xi − X)2 = (Xi − µ)2 − n − 1 i=1 n − 1 i=1 n−1

Siisp¨a

”biased”

Lavennetaan mukaan µ Xi − X = (Xi − µ) − (X − µ) ja avataan neli¨ o.

n



1 X n E(S ) = E (Xi − µ)2 − E (X − µ)2 n − 1 i=1 n−1 2

=

n σ2 n σ2 − = σ2. n−1 n−1 n

ˆ varianssi Mit¨a pienempi harhattoman piste-estimaattorin Θ
ˆ = E (Θ ˆ − θ)2 var(Θ) on, sit¨a todenn¨ak¨oisemp¨a¨a on, ett¨a se osuu l¨ahelle odotusarvoaan. Sanotaankin, ett¨a estimaattori on sit¨a tehokkaampi mit¨a pienempi sen varianssi on. Harhainenkin estimaattori voi olla hyv¨a siin¨a mieless¨a, ett¨a
ˆ − θ)2 on pieni. sen keskineli¨ovirhe E (Θ V¨aliestimoinnin tarkoituksena on otoksesta laskien tuottaa v¨ali, jolla oikea parametrin θ arvo on, ainakin tietyll¨a suurella todenn¨ak¨oisyydell¨a. Kyseess¨a voi olla kaksipuolinen tai toispuolinen v¨ali. Kaksipuolisessa v¨aliss¨a estimoidaan molemmat v¨alin p¨a¨atepisteet θL (vasen eli alempi) ja θU (oikea eli ylempi), yksipuolisessa vain toinen (se toinen on silloin muuten selv¨a, esimerkiksi ±∞ tai 0). Katsotaan ensin kaksipuolisia v¨alej¨a. T¨ass¨akin estimaatit θˆL ja θˆU ovat realisoituneesta otoksesta laskien ˆ L ja Θ ˆ U puolestaan ovat satunnaismuutsaatavia lukuja. Estimaattorit Θ tujia. Perusidea on saattaa tavalla tai toisella tilanne sellaiseksi, ett¨a

”efficient” ”mean square(d) error” ”interval estimation”

ˆL Siis v¨alin p¨a¨atepisteet Θ ˆ U ovat satunnaisja Θ muuttujia, ei parametri θ!

ˆL < θ < Θ ˆ U ) = 1 − α, P(Θ miss¨a α on annettu luku (usein 0.10, 0.05 tai 0.01). Realisoitunutta v¨ali¨a (θˆL , θˆU ) sanotaan silloin 100(1 − α) % luottamusv¨aliksi. Luku 1 − α on v¨alin luottamusaste ja p¨a¨atepisteet ovat alempi ja ylempi luottamusraja. Mit¨a suurempaa luottamusastetta vaaditaan, sit¨a leve¨amm¨aksi luottamusv¨ali tulee ja hyvin l¨ahell¨a 100 % oleva luottamusaste johtaa yleens¨a v¨aleihin, jotka ovat liian leveit¨a ollakseen kovin mielenkiintoisia. Lis¨aksi ˆL < θ < Θ ˆ U ) = 1 − α ei kerro miten v¨ali oikein valitaan. esitetty ehto P(Θ Usein vaaditaankin, ett¨a v¨ali on symmetrinen, ts. ˆ L ) = P(θ ≥ Θ ˆ U) = α . P(θ ≤ Θ 2 (Toinen aika luonnollinen vaatimus voisi olla, ett¨a v¨ali on lyhin mahdollinen, mutta se johtaa monesti hankaliin laskuihin.)

”confidence interval” ”degree of confidence”, ”lower confidence limit”, ”upper confidence limit”

LUKU 2. YHDEN JA KAHDEN OTOKSEN ESTIMOINTI

2.2

16

Yksi otos: Odotusarvon v¨ aliestimointi

[9.4]

Populaatio-odotusarvon µ piste-estimoinnissa luonnollinen harhaton estimaattori on otoskeskiarvo X, jonka varianssi on σ 2 /n. T¨ass¨a σ 2 on populaatiovarianssi, joka oletetaan ensin tunnetuksi. Suurilla otoskoilla n t¨allainen estimointi on varsin tarkkaa. Odotusarvon v¨aliestimointi l¨ahtee siit¨a, ett¨a satunnaismuuttujalla Z=

X −µ √ σ/ n

on v¨ah¨ank¨a¨an suuremmille otoskoille Keskeisen raja-arvolauseen nojalla melko tarkasti standardinormaalijakauma N(0, 1). Valitaan nyt jakauman kvantiili zα/2 siten, ett¨a P(Z ≥ zα/2 ) = 1 − Φ(zα/2 ) = α/2, jolloin (symmetria) my¨os P(Z ≤ −zα/2 ) = Φ(−zα/2 ) = α/2. Silloin

Φ on standardinormaalijakauman kertym¨afunktio.

P(−zα/2 < Z < zα/2 ) = 1 − α. Toisaalta kaksoisep¨ayht¨al¨o −zα/2
X − zα √ n kanssa ja saadaan haluttu 100(1 − α) % luottamusalaraja σ µ ˆL = x − zα √ . n

√ Vastaavasti saadaan 100(1 − α) % luottamusyl¨araja µ ˆU = x + zα σ/ n. Esimerkki. n = 25 koehenkil¨olt¨a mitataan tietty reagointiaika. Aiemmat testit osoittavat, ett¨a reaktioaikojen hajonta on σ = 2.0 s ja sit¨a voidaan pit¨aa¨ tunnettuna. Saatu n¨aytteiden otoskeskiarvo on x = 6.2 s. Nyt z0.05 = 1.645 ja 95 % luottamusyl¨araja reaktioaikojen odotusarvolle on µ ˆU = 6.86 s.

[9.4]

Edell¨a piti tiet¨a¨a populaatiovarianssi σ 2 . Jos sit¨a ei tiedet¨a, voidaan edelleen edet¨a, mutta standardinormaalijakauman tilalle tulee silloin t-jakauma. (Eik¨a Keskeinen raja-arvolause ole k¨ayt¨oss¨a, vaan populaatiojakauman pit¨a¨a olla normaali.) Nyt l¨ahdet¨a¨an satunnaismuuttujasta T =

X −µ √ , S/ n

jolla on t-jakauma n − 1 vapausasteella. Etsit¨a¨an jakauman kvantiili tα/2 , jolle on P(T ≥ tα/2 ) = α/2. Silloin t-jakauman symmetrisyyden vuoksi on my¨os P(T ≤ −tα/2 ) = α/2 ja P(−tα/2 < T < tα/2 ) = 1 − α, aivan kuten standardinormaalijakaumallekin. Edeten aivan kuten edell¨akin saadaan populaatio-odotusarvon µ 100(1 − α) % luottamusrajoiksi s s µ ˆL = x − tα/2 √ ja µ ˆU = x + tα/2 √ . n n √ Estimaatin x estimointivirhe on t¨ass¨a ilmeisesti b = tα/2 s/ n. Vastaavat toispuoliset luottamusrajat ovat s s µ ˆL = x − tα √ ja µ ˆU = x + tα √ , n n

Mutta se ei ole etuk¨ateen tunnettu.

miss¨a kvantiili tα on valittu siten, ett¨a P(T ≥ tα ) = α. Esimerkki. Seitsem¨an rikkihappoa sis¨alt¨av¨an samanlaisen astian rikkihappom¨a¨ar¨at mitattiin. M¨a¨arien keskiarvo on x = 10.0 l ja hajonta s = 0.283 l. Nyt t0.025 = 2.447 ja saadaan 95 % luottamusv¨ali (9.74 l, 10.26 l).

[9.5]

LUKU 2. YHDEN JA KAHDEN OTOKSEN ESTIMOINTI

2.3

19

Ennustev¨ alit

[9.6]

Usein v¨aliestimoinnin j¨alkeen halutaan vastaava v¨ali, ns. ennustev¨ali, seuraavalle mittaukselle x0 . Luonnollisesti ajatellaan vastaavan satunnaismuuttujan X0 olevan riippumattoman k¨aytetyist¨a otoksessa olleista satunnaismuuttujista X1 , . . . , Xn ja niiden kanssa samoin jakautunut. Olettaen populaatiojakauman olevan normaalijakauman N(µ, σ 2 ) tiedet¨aa¨n erotuksella X0 − X olevan my¨os normaalijakauman ja E(X0 − X) = E(X0 ) − E(X) = µ − µ = 0 sek¨a var(X0 − X) = var(X0 ) + var(X) = σ 2 +

1 2 σ2  = 1+ σ . n n

”prediction interval”

Kahden riippumattoman normaalijakautuneen satunnaismuuttujan summa ja erotus ovat my¨ os normaalijakautuneita. Jos satunnaismuuttujat X ja Y ovat riippumattomat, niin var(X ± Y ) = var(X) + var(Y ).

Siisp¨a satunnaismuuttujalla X0 − X Z= p σ 1 + 1/n on standardinormaalijakauma. T¨ass¨a siis taas oletetaan populaatiovarianssi σ 2 tunnetuksi. √ pMenetellen aivan kuten edell¨a, korvaten vain σ/ n lausekkeella σ 1 + 1/n, saadaan x0 :lle 100(1 − α) % ennustev¨ali r r 1 1 x − zα/2 σ 1 + < x0 < x + zα/2 σ 1 + , n n jolla se todenn¨ak¨oisyydell¨a 1 − α on. Vm. todenn¨ak¨oisyys on tulkittava siten, ett¨a se on tapahtuman r r 1 1 X − zα/2 σ 1 + < X0 < X + zα/2 σ 1 + , n n todenn¨ak¨oisyys. Ennustev¨ali ottaa n¨ain mukaan sek¨a odotusarvon estimoinnissa olevan ett¨a satunnaismuuttujassa X0 olevan ”ep¨avarmuuden”. J¨alleen, jos populaatiohajontaa σ ei tunneta, pit¨a¨a vain k¨aytt¨a¨a otoshajontaa s sen sijasta ja standardinormaalijakauman sijasta t-jakaumaa vapausastein n − 1. Satunnaismuuttuja X0 − X on nimitt¨ain my¨os riippumaton otosvarianssista S 2 , joten T =s

Z (n − 1)S 2 σ 2 (n − 1)

=

X −X p0 S 1 + 1/n

on t-jakautunut vapausastein n − 1. Arvolle x0 saatu 100(1 − α) % ennustev¨ali on silloin r r 1 1 x − tα/2 s 1 + < x0 < x + tα/2 s 1 + . n n

J¨alleen hankalasti todistettava fakta.

LUKU 2. YHDEN JA KAHDEN OTOKSEN ESTIMOINTI

20

Esimerkki. n = 30 v¨ah¨arasvaista lihaa sis¨alt¨av¨an pakkauksen lihapi[9.7] toisuus (muu kuin rasva) tarkastettiin. Jakauma oletettiin normaaliksi. Otoskeskiarvo on x = 96.2 % ja -hajonta s = 0.8 %. t-kvantiilia ¨ a sekoita pitoisuus- ja t0.005 = 2.756 (vapausastein 29) k¨aytt¨aen saadaan seuraavan paketin liAl¨ todenn¨ak¨oisyysprosentteja! hapitoisuudelle 99 % ennustev¨ali (93.96 %, 98.44 %). Er¨as ennustev¨alien k¨aytt¨otapa on vieraiden otosarvojen etsiminen. Ks. Pyk¨al¨an 1.3 esimerkki. Havainto katsotaan vieraaksi, jos se ei osu siihen ennustev¨aliin, joka otoksesta saadaan, kun ko. havainto on siit¨a ensin poistettu. Vastaavalla tavalla voitaisiin my¨os laatia toispuolisia ennustev¨alej¨a.

2.4

Toleranssiv¨ alit

[9.7]

Er¨as estimoitava v¨alityyppi on ns. toleranssiv¨ali, joka esiintyy mm. prosessien tilastollisen k¨aytt¨aytymisen m¨a¨arittelyss¨a. Jos populaatiojakauma on tunnettu normaalijakauma N(µ, σ 2 ), sen 100(1 − α) % toleranssiv¨ali on sellainen v¨ali (µ − kσ, µ + kσ), jolla jakaumasta on 100(1 − α) %. V¨ali annetaan antamalla vastaava k:n arvo ja esitet¨a¨an yleens¨a muodossa µ ± kσ. N¨ain ollen esimerkiksi 95 % toleranssiv¨ali on µ ± 1.96σ. T¨am¨a siis edellytt¨a¨a, ett¨a µ ja σ tiedet¨a¨an. Mutta yleens¨a populaation µ ja σ ovat tuntemattomat. Toleranssiv¨ali annetaan silloin ottamalla k¨aytt¨o¨on otoksesta saadut vastaavat otossuureet x ja s ja se on x ± ks. N¨am¨a ovat kuitenkin satunnaismuuttujien X ± kS realisoituneet arvot ja n¨ain saatu toleranssiv¨ali onkin oikea vain tietyll¨a todenn¨ak¨oisyydell¨a 1 − γ, joka riippuu valitusta k:n arvosta (ja otoskoosta n). k valitaankin siten, ett¨a v¨ali X ± kS sis¨alt¨a¨a todenn¨ak¨oisyydell¨a 1 − γ (merkitsevyys) jakaumasta ainakin 100(1 − α) %. Toleranssiv¨alien p¨a¨atepisteiden jakauma on jonkin verran hankala.1 1 Ihan vain niille, joita asia ehk¨ a syv¨ allisemmin kiinnostaa! V¨ah¨an miettien voi todeta, ett¨ a yl¨ apuolisen toleranssiv¨ alin konstruoinnissa pit¨aa¨ etsi¨a sellainen luku k, ett¨ a   X + kS − µ ≥ zα = 1 − γ. P σ Jos merkit¨ a¨ an, kuten edell¨ a,

Z=

X −µ √ σ/ n

ja

V =

(n − 1)S 2 , σ2

niin Z on standardinormaalijakautunut ja V on χ2 -jakautunut vapausastein n − 1 ja ne ovat riippumattomat. Teht¨ av¨a voidaan n¨ain pukea muotoon, jossa ei esiinny populaatioparametreja: Kun on annettu α, γ ja n, etsitt¨av¨a sellainen luku k, ett¨ a √  Z  k V P √ +√ ≥ zα = 1 − γ. n n−1 Riippumattomuudesta johtuen Z:n ja V :n yhteisjakauman tiheysfunktio on φ(z)g(v), miss¨ a g on χ2 -jakauman (n − 1 vapausasteella) ja φ on standardinormaalijakauman tiheysfunktio. Sit¨ a k¨ aytt¨ aen vasemman puolen todenn¨ak¨oisyys saadaan integraalilausekkeena ja k:lle saadaan yht¨ al¨ o. Ei liene ihme, ett¨a t¨am¨a on vaikeaa ja johtaa numeeriseen ratkaisuun! Kaksipuolisen toleranssiv¨alin tapauksessa tilanne on viel¨akin hankalampi.

s Joskus x ± k √ . n

LUKU 2. YHDEN JA KAHDEN OTOKSEN ESTIMOINTI

21

Siihen liittyvi¨a kvantiileja (k:n valinta) l¨oytyy taulukoituina kirjoissa (mm. WMMYss¨a). Nettilaskimiakin n¨aille v¨aleille l¨oytyy. Tarkkoja k:n arvoja on taulukoituna Liitteess¨a.

N¨am¨a saattavat kuitenkin olla approksimatiivisia eiv¨atk¨a kovin tarkkoja.

Esimerkki. n = 9 ty¨ostetty¨a metalliosaa mitataan ja saadaan otossuureet x = 1.0056 cm ja s = 0.0246 cm. Silloin todenn¨ak¨oisyydell¨a 0.99 mitatun suureen populaatioarvoista v¨ahint¨a¨an 95 % on toleranssiv¨alill¨a 1.0056 ± k0.0246 cm, miss¨a k = 4.5810 (ks. Liite), eli siis v¨alill¨a (0.8929 cm, 1.1183 cm). Vastaava 99 % luottamusv¨ali olisi muuten (0.9781 cm, 1.0331 cm) ja se on lyhyempi.

[9.8]

My¨os toispuoliset toleranssiv¨alit ovat mahdollisia.

2.5

Kaksi otosta: Odotusarvojen erotuksen estimointi

[9.8]

Kahden populaation odotusarvot ja varianssit ovat µ1 ja µ2 sek¨a σ12 ja σ22 , vastaavasti. Kummastakin otetaan otos, otoskokoina n1 ja n2 . Keskeisen Otokset ovat luonnollisesti raja-arvolauseen mukaisesti saadut otoskeskiarvot X 1 ja X 2 (satunnais- t¨ass¨akin riippumattomat. muuttujina) ovat likimain normaalijakautuneet. N¨ain ollen my¨os niiden erotus X 1 − X 2 on (likimain) normaalijakautunut, odotusarvona µ1 − µ2 ja varianssina σ12 /n1 + σ22 /n2 . Edelleen satunnaismuuttujalla Z=

(X 1 − X 2 ) − (µ1 − µ2 ) p σ12 /n1 + σ22 /n2

on silloin (likimain) standardinormaalijakauma. K¨aytt¨aen standardinormaalijakauman kvantiilia zα/2 kuten edell¨a ja huomaten, ett¨a kaksoisep¨ayht¨al¨ot −zα/2
θ0 testataan merkitsevyystasolla (riskitasolla) α laskemalla aikaisemmin esitetyill¨a tavoilla realisoituneesta otoksesta alapuolinen 100(1 − α) % luottamusraja θˆL parametrille θ. Nollahypoteesi H0 hyl¨at¨a¨an, mik¨ali vertailuarvo θ0 ei ole saadulla luottamusv¨alill¨a, ts. mik¨ali θ0 ≤ θˆL . Vastaavasti pari H0 : θ = θ0 vs. H1 : θ < θ0 testataan merkitsevyystasolla (riskitasolla) α laskemalla realisoituneesta otoksesta yl¨apuolinen 100(1 − α) % luottamusraja θˆU parametrille θ. Nollahypoteesi H0 hyl¨at¨a¨an, mik¨ali vertailuarvo θ0 ei ole saadulla luottamusv¨alill¨a, ts. mik¨ali θ0 ≥ θˆU . Toispuolisissa testeiss¨a eiv¨at kaikki parametriarvot ole mukana. Edell¨a esimerkiksi hypoteesiparia H0 : θ = θ0 vs. H1 : θ > θ0 testattaessa ajateltiin, ett¨a oikea parametrin θ arvo ei voi olla pienempi kuin θ0 . Ent¨as jos se kuitenkin on? Silloin tietyss¨a mieless¨a tyypin II virhett¨a ei voi tapahtua: H0 tosin on v¨a¨ar¨a, mutta eip¨a H1 :k¨a¨an ole oikea. Toisaalta luottamusalaraja θˆL pienenee ja tyypin I virheen todenn¨ak¨oisyys α pienenee. Vastaavasti k¨ay, jos hypoteesiparia H0 : θ = θ0 vs. H1 : θ < θ0 testattaessa todellinen parametrin θ arvo onkin suurempi kuin θ0 . Esimerkki. n = 100 kuolleen henkil¨on elinikien keskiarvo oli x = 71.8 v. Populaatiohajonnaksi oletetaan aikaisempien tutkimusten perusteella σ = 8.9 v. Voisiko t¨am¨an perusteella p¨aa¨tell¨a, ett¨a v¨aest¨on keskim¨aa¨r¨ainen elinik¨a µ on suurempi kuin 70 v? Elini¨an oletetaan olevan normaalijakautunut. Testattava hypoteesipari on H0 : µ = 70 v

vs. H1 : µ > 70 v.

Riskitasoksi otetaan α = 0.05, jolloin zα = 1.645. Lasketaan µ:lle alapuolinen 95 % luottamusraja σ µ ˆL = x − zα √ = 70.34 v. n Todellinen keskim¨a¨ar¨ainen elinik¨a on n¨ain ollen ainakin 95 % todenn¨ak¨oisyydell¨a suurempi kuin 70.34 v ja H0 pit¨a¨a hyl¨at¨a.

Testaamisen kannalta katsoen siis tilanne vain paranee!

[10.3]

LUKU 3. HYPOTEESIEN TESTAUS

32

Kaksipuolisen testin hypoteesipari on H0 : θ = θ0

vs. H1 : θ 6= θ0 .

T¨am¨an testaamiseksi merkitsevyystasolla α lasketaan ensin parametrille θ kaksipuolinen 100(1−α) luottamusv¨ali (θˆL , θˆU ). Nyt H0 hyl¨at¨a¨an, mik¨ali vertailuarvo θ0 ei ole t¨all¨a v¨alill¨a. Esimerkki. Kalastustarvikkeiden valmistaja on kehitellyt uuden synteettisen siiman, jonka lujuuden se v¨aitt¨a¨a olevan 8.0 kg hajonnan ollessa σ = 0.5 kg. Hajonnan oletetaan olevan tarkka. Asian testaamiseksi otettiin n = 50 siiman satunnaisotos, jolloin keskilujuuden todettiin olevan x = 7.8 kg. Riskitasoksi otettiin α = 0.01. Kyseess¨a on kaksipuolinen hypoteesiparin H0 : µ = 8.0 vs. H1 : µ 6= 8.0 testaus. Nyt 100(1 − α) = 99 % luottamusv¨ali populaatio-odotusarvolle µ on (7.62 kg, 7.98 kg) eik¨a arvo 8.0 kg ole t¨all¨a v¨alill¨a. Siisp¨ a H0 hyl¨at¨a¨an riskitasolla 0.01.

3.4

Testisuureet

Mik¨ali hypoteesi koskee populaatiojakauman parametria θ, hypoteesin testaus on siis suoritettavissa θ:n luottamusv¨alin avulla. Toisaalta testaus ei varsinaisesti tarvitse luottamusv¨ali¨a sellaisenaan, teht¨av¨ah¨an on vain tarkistaa onko nollahypoteesin antama arvo θ = θ0 luottamusv¨alill¨a vai ei ja t¨am¨a voidaan yleens¨a tehd¨a konstruoimatta eksplisiittist¨a luottamusv¨ali¨a ns. testisuureen avulla. Hypoteeseille, jotka eiv¨at koske parametreja, t¨am¨a onkin ainoa tapa testata niit¨a. Edell¨a luottamusv¨alit konstruoitiin k¨aytt¨am¨all¨a satunnaismuuttujaa, jonka (approksimatiivinen) jakauma ei riipu tutkittavasta parametrista: Z (standardinormaalijakauma), T (t-jakauma), V (χ2 -jakauma), X (binomijakauma) ja F (F-jakauma). Luottamusv¨ali saatiin etsim¨all¨a sopiva(t) jakauman kvantiili(t) ja muuntamalla sit¨a (niit¨a) koskeva (kaksois)ep¨ayht¨al¨o parametria koskevaksi. N¨ain ollen, jos luottamusv¨ali¨a k¨aytet¨a¨an hypoteesin testaamiseen, se voidaan tehd¨a my¨os suoraan k¨aytt¨aen ”alkuper¨aist¨a” satunnaismuuttujaa koskevaa ep¨ayht¨al¨o¨a. Testisuure on silloin juuri se lauseke, joka liitt¨a¨a satunnaismuuttujan otossatunnaismuuttujiin, esitettyn¨a realisoituneille arvoille. Se alue, johon osuva testisuureen arvo johtaa nollahypoteesin hylk¨a¨amiseen, on ns. kriittinen alue. Esimerkki. Palataan edell¨a olleeseen keski-iki¨a koskevaan esimerkkiin. Luottamusv¨ali konstruoitiin k¨aytt¨am¨all¨a standardinormaalijakautunutta satunnaismuuttujaa X −µ √ . Z= σ/ n Nollahypoteesin mukainen arvo µ = µ0 on k¨aytetyll¨a luottamusv¨alill¨a tarkalleen silloin, kun σ µ0 > x − zα √ , n

[10.4]

[10.4]

”critical region” [10.3]

LUKU 3. HYPOTEESIEN TESTAUS

33

eli silloin kun Z:n H0 :n mukainen realisoitunut arvo z=

x − µ0 √ σ/ n

on pienempi kuin kvantiili zα . N¨ain ollen H0 hyl¨at¨a¨an, mik¨ali z ≥ zα . T¨ass¨a z on testisuure ja kriittinen alue on v¨ali [zα , ∞). Esimerkiss¨a realisoitunut Z:n arvo on z = 2.022 ja se on suurempi kuin z0.05 = 1.645. Esimerkki. Synteettisi¨a siimoja koskevassa esimerkiss¨a edell¨a puolestaan realisoitunut Z:n arvo on z = −2.83 ja se on pienempi kuin −z0.005 = −2.575. Kriittinen alue muodostuu t¨ass¨a v¨aleist¨a (−∞, −2.575] ja [2.575, ∞). Kaikki edellisen luvun luottamusv¨aleihin perustuvat hypoteesin testaukset voidaan t¨all¨a tavoin palauttaa sopivan testisuureen k¨aytt¨o¨on, kriittinen alue muodostuu yhdest¨a tai kahdesta sopivien kvantiilien rajoittamasta h¨ant¨av¨alist¨a. Tietyiss¨a tapauksissa testisuureiden k¨aytt¨o on ainakin jossain m¨a¨arin helpompaa kuin varsinaisten luottamusv¨alien. N¨ain on vaikkapa suhdelukuja koskevien hypoteesien testaamisessa binomijakauman avulla. Jos esimerkiksi haluttaisiin testata hypoteesipari H0 : p = p0 vs. H1 : p > p0 riskitasolla α, t¨am¨a voitaisiin tehd¨a etsim¨all¨a p:lle alapuolinen luottamusv¨ali ratkaisemalla luottamusalaraja pˆL yht¨al¨ost¨a n   X n i pˆL (1 − pˆL )n−i = α. i i=x

[10.4]

”tail area”

Kuten aikaisemmin todettiin, t¨am¨a voi olla numeerisesti vaativaa. Testisuureeksi voidaan kuitenkin t¨ass¨a valita itse x ja tarkistaa onko h¨ant¨atodenn¨ak¨oisyys n   X n i P(X ≥ x) = p0 (1 − p0 )n−i ≤ α i i=x (jolloin H0 hyl¨at¨a¨an) vai ei. Testaaminen voi olla jonkin verran hanka- Jos n on suuri, binomikervoi olla hyvin suuri ja laa, mutta kumminkin helpompaa kuin luottamusalarajan pˆL laskeminen. proin 0 :n potenssit taas puolestaan hyvin pieni¨a. Kriittinen alue muodostuu arvoista x1 , . . . , n, miss¨a n   n   X X n i n i n−i p0 (1 − p0 ) ≤ α ja p0 (1 − p0 )n−i > α. i i i=x i=x −1 1

1

Esimerkki. Otetaan esimerkkin¨a tapaus, jossa tietyn rokotteen tiedet¨a¨an tehoavan vain 25 % tapauksista kahden vuoden j¨alkeen. Toisen, kalliimman rokotteen arvellaan olevan ko. tilanteessa tehokkaamman. Asian testaamiseksi valittiin n = 100 koehenkil¨o¨a, rokotettiin heid¨at kalliimmalla rokotteella ja seurattiin heit¨a kahden vuoden ajan. Testattava hypoteesipari on H0 : p = p0 = 0.25 vs. H1 : p > 0.25. Riskitason halutaan olevan enint¨a¨an α = 0.01. Kokeillen (vaikka nettilaskimilla) tai laskien MATLABilla havaitaan, ett¨a nyt x1 = 36. Jos siis kalliimpi rokote tehoaa kahden vuoden j¨alkeen viel¨a v¨ahint¨a¨ an 36 tapauksessa, H0 voidaan hyl¨at¨a ja todeta kalliimpi rokote paremmaksi kuin halvempi. MATLABilla laskut ovat seuraavat:

Todellisuudessa l¨a¨aketieteellisiss¨a kokeissa vaaditaan paljon suuremmat otoskoot.

LUKU 3. HYPOTEESIEN TESTAUS

34

>> p_0=0.25; n=100; alfa=0.01; >> binoinv(1-alfa,n,p_0)+1 ans = 36

Vastaavalla tavalla voidaan testata hypoteesipari H0 : p = p0 vs. H1 : p < p0 . Kriittinen alue muodostuu arvoista 0, . . . , x1 , miss¨a x1   xX 1 +1  X n i n i n−i p0 (1 − p0 ) ≤ α ja p0 (1 − p0 )n−i > α. i i i=0 i=0 Kaksipuolisessa testiss¨a puolestaan hypoteesipari on H0 : p = p0 vs. H1 : p 6= p0 ja kriittinen alue muodostuu arvoista 0, . . . , x1 sek¨a x2 , . . . , n, miss¨a xX x1   1 +1  X n i α n i α n−i p0 (1 − p0 )n−i > p0 (1 − p0 ) ≤ ja i 2 2 i i=0 i=0 ja n   X n i α p0 (1 − p0 )n−i ≤ i 2 i=x 2

3.5

n   X n i α ja p0 (1 − p0 )n−i > . 2 i i=x −1 2

P-arvot

Monet tilastoanalyysin tekij¨at ilmoittavat mielell¨a¨an testauksen tuloksen ns. P-arvoa k¨aytt¨aen. Hypoteesin testin P-arvo on pienin riski, jolla H0 voidaan k¨aytettyyn otokseen perustuen hyl¨at¨a. K¨ayt¨ann¨oss¨a toispuolisessa testauksessa P-arvo saadaan, kun lasketaan realisoitunutta testisuuretta vastaava h¨ant¨atodenn¨ak¨oisyys (olettaen H0 oikeaksi).

[10.4]

P: ”probability”

Esimerkki. Jos yo. rokote-esimerkiss¨a realisoituu tartunnan saaneiden henkil¨oiden lukum¨a¨ar¨aksi 62, saadaan P-arvoksi h¨ant¨atodenn¨ak¨oisyys  100  X 100 P = 0.25i (1 − 0.25)100−i = 0.0027. i i=38 MATLABilla laskien t¨am¨a saadaan seuraavasti: >> p_0=0.25; n=100; x=38; >> 1-binocdf(x-1,n,p_0) ans = 0.0027

Kaksipuolisessa testauksessa P-arvo saadaan, kun realisoitunutta testisuuretta vastaavista h¨ant¨atodenn¨ak¨oisyyksist¨a (kaksi kappaletta) valitaan pienempi ja kerrotaan tulos kahdella. Esimerkiksi suhdelukuja kosYleens¨a on aivan selv¨a¨a kumpi on se pienempi luku. kevassa kaksipuolisessa testiss¨a P-arvo on pienempi luvuista

LUKU 3. HYPOTEESIEN TESTAUS x   X n i p0 (1 − p0 )n−i i i=0

ja

35 n   X n i p0 (1 − p0 )n−i i i=x

kahdella kerrottuna. Esimerkki. Synteettisi¨a siimoja koskevassa esimerkiss¨a edell¨a realisoitui testisuureen arvo z = −2.83. T¨at¨a vastaava (selv¨asti) pienempi h¨ant¨atodenn¨ak¨oisyys on 0.0023 (vasen h¨ant¨a). P-arvo on siis P = 0.0046.

[10.4]

P-arvo on satunnaismuuttuja (jos ajatellaan otosta satunnaismuuttujina) ja vaihtelee testi¨a eri otoksilla toistettaessa. Ideaalisesti P-arvoa k¨aytett¨aess¨akin etuk¨ateen valitaan haluttu pienin riskitaso α ja H0 hyl¨at¨a¨an, mik¨ali (realisoitunut) P-arvo on ≤ α. Monesti ei kuitenkaan etuk¨ateen kiinnitet¨a mit¨a¨an riskitasoa α, vaan lasketaan vain realisoitunut P-arvo ja j¨atet¨a¨an johtop¨a¨at¨okset sen varaan. Koska ainakin silloin t¨all¨oin realisoitunut P-arvo on varsin pieni, voi n¨aiss¨a tapauksissa synty¨a vallan v¨a¨ar¨a k¨asitys testin riskitasosta. T¨ast¨a (ja muista) syist¨a eiv¨at kaikki tilastomatemaatikot suosi P-arvojen k¨aytt¨o¨a.

3.6

Odotusarvojen testaus

Edell¨a olikin jo esill¨a populaatio-odotusarvon µ testaaminen, kun tiedet¨a¨an sen varianssi σ 2 . Keskeisen raja-arvolauseen nojalla testisuure voidaan muodostaa (approksimatiiviseen) standardinormaalijakaumaan perustuen ja se on x − µ0 √ . z= σ/ n Eri testaustilanteet ovat nyt seuraavat, kun nollahypoteesi on H0 : µ = µ0 ja haluttu riskitaso on α: H1 µ > µ0 µ < µ0 µ 6= µ0

Kriittinen alue P-arvo z ≥ zα 1 − Φ(z) z ≤ −zα Φ(z)
|z| ≥ zα/2 2 min Φ(z), 1 − Φ(z)

T¨ass¨a Φ on standardinormaalijakauman kertym¨afunktio. Siirryt¨a¨an tilanteeseen, jossa populaatiojakauma on normaali (ainakin approksimatiivisesti) ja populaatiovarianssia σ 2 ei tunneta. Odotusarvon µ testaaminen sujuu silloin t-jakaumaa k¨aytt¨aen, vapausasteita on n − 1 ja realisoituneista otossuureista saadaan testisuure t=

x − µ0 √ . s/ n

Kuten edell¨a, eri testaustilanteet ovat seuraavat nollahypoteesille H0 : µ = µ0 ja riskitasolle α: H1 µ > µ0 µ < µ0 µ 6= µ0

Kriittinen alue P-arvo t ≥ tα 1 − F (t) t ≤ −tα F (t)
|t| ≥ tα/2 2 min F (t), 1 − F (t)

[10.5–8]

LUKU 3. HYPOTEESIEN TESTAUS

36

T¨ass¨a F on t-jakauman kertym¨afunktio n − 1 vapausasteella. N¨ait¨a testej¨a k¨aytet¨aa¨n usein silloinkin, kun populaatiojakauman normaalisuudesta ei ole tarkkaa tietoa, kunhan se vain on yksihuippuinen ja likimain symmetrinen. Tulos ei tietystik¨a¨an silloin ole aina kovin tarkka. Esimerkki. n = 12 taloudessa on mitattu p¨olynimurin vuotuinen s¨ahk¨onkulutus. Keskikulutukseksi saatiin x = 42.0 kWh ja otoshajonnaksi s = 11.9 kWh. Jakauman oletetaan olevan kyllin normaali. Voisiko t¨am¨an perusteella v¨aitt¨a¨a, ett¨a odotettu vuosikulutus on pienempi kuin µ0 = 46 kWh? Testattava hypoteesipari on H0 : µ = µ0 = 46 kWh vs. H1 : µ < 46 kWh ja riski saa olla enint¨a¨an α = 0.05. Realisoitunut testisuureen arvo on nyt t = −1.16 ja toisaalta −t0.05 = −1.796 (11 vapausasteella). N¨ain ollen H0 :a ei hyl¨ at¨a, keskim¨a¨ar¨aist¨a vuosikulutusta ei otoksen perusteella voida pit¨a¨a pienemp¨an¨a kuin 46 kWh. P-arvokin on P = 0.135. Vertailtaessa kahden eri populaation odotusarvoja µ1 ja µ2 , kun niiden varianssit σ12 ja σ22 tunnetaan, p¨a¨adyt¨a¨an j¨alleen Keskeisen rajaarvolauseen nojalla (approksimatiiviseen) standardinormaalijakaumaan ja testisuureeseen x1 − x2 − d 0 , z=p 2 σ1 /n1 + σ22 /n2 miss¨a x1 ja x2 ovat realisoituneet otoskeskiarvot, n1 ja n2 ovat otoskoot ja d0 on nollahypoteesin mukainen populaatio-odotusarvojen erotus. Nollahypoteesille H0 : µ1 − µ2 = d0 ja riskitasolle α testit ovat seuraavat: H1 µ1 − µ2 > d0 µ1 − µ2 < d0 µ1 − µ2 6= d0

Kriittinen alue P-arvo z ≥ zα 1 − Φ(z) z ≤ −zα Φ(z)
|z| ≥ zα/2 2 min Φ(z), 1 − Φ(z)

Mik¨ali populaatio-odotusarvoja µ1 ja µ2 vertailtaessa ei tiedet¨a populaatiovariansseja, mutta tiedet¨aa¨n niiden olevan samat, voidaan edet¨a olettaen populaatioiden olevan normaalijakautuneita (ainakin melko tarkasti) ja testisuureeksi saadaan k¨aytt¨aen t-jakaumaa (vapausastein n1 + n2 − 2) x1 − x2 − d0 t= p , sp 1/n1 + 1/n2 miss¨a s2p =

(n1 − 1)s21 + (n2 − 1)s22 n1 + n2 − 2

(yhteisotosvarianssi) ja s21 , s22 ovat realisoituneet otosvarianssit. Silloin nollahypoteesille H0 : µ1 − µ2 = d0 ja riskitasolle α testit ovat seuraavat: H1 µ1 − µ2 > d0 µ1 − µ2 < d0 µ1 − µ2 6= d0

Kriittinen alue P-arvo t ≥ tα 1 − F (t) t ≤ −tα F (t)
|t| ≥ tα/2 2 min F (t), 1 − F (t)

t-jakauma on nimitt¨ain t¨ass¨a suhteessa aika robusti.

[10.5]

LUKU 3. HYPOTEESIEN TESTAUS

37

T¨ass¨a j¨alleen F on t-jakauman kertym¨afunktio, nyt vapausastein n1 + n2 − 2. Esimerkki. Kahden eri pintamateriaalin kulumista testattiin. Materiaalin 1 keskikulumaksi n1 = 12 testiss¨ a saatiin x1 = 85 (sopivissa yksik¨oiss¨a) otoshajonnan ollessa s1 = 4. Materiaalin 2 keskikulumaksi n2 = 10 testiss¨a saatiin x2 = 81 ja otoshajonnaksi s2 = 5. Jakaumat oletetaan kyllin normaaleiksi samoin varianssein. Voitaisiinko riskitasolla α = 0.05 p¨a¨atell¨a, ett¨a materiaalin 1 kuluma on enemm¨an kuin d0 = 2 yksikk¨o¨a suurempi kuin materiaalin 2? Testattava hypoteesipari on siis H0 : µ1 − µ2 = d0 = 2 vs. H1 : µ1 − µ2 > 2. Realisoituneista otossuureista laskien saadaan yhteishajonnaksi sp = 4.48 ja otossuureeksi t = 1.04. P-arvoksi saadaan n¨aist¨a laskien P = 0.155 (t-jakauma vapausastein 20). T¨am¨a on selv¨asti suurempi kuin suurin sallittu riski α = 0.05, joten n¨aiden otosten perusteella H0 :a ei voi hyl¨at¨a, eik¨a materiaalin 1 keskim¨a¨ar¨aisen kuluman voida v¨aitt¨a¨a olevan enemm¨an kuin 2 yksikk¨oa¨ suuremman kuin materiaalin 2.

[10.6]

Mik¨ali populaatiovarianssien ei voida olettaa olevan samoja, menee testaus samaan tapaan, mutta k¨aytt¨aen Welch–Satterthwaite-approksimaatiota. Testisuure on silloin x1 − x2 − d0 , t= p 2 s1 /n1 + s22 /n2 ja k¨aytet¨a¨an (approksimatiivista) t-jakaumaa vapausastein v=

(a1 + a2 )2 , a21 /(n1 − 1) + a22 /(n2 − 1)

miss¨a a1 = s21 /n1 ja a2 = s22 /n2 . Kuten vastaavalle luottamusv¨alillekin, t¨am¨an testin k¨aytt¨okelpoisuudesta ja -arvosta ollaan monta mielt¨a. Parittain rinnastettavien havaintojen tapauksessa testisuure on t=

Behrens–Fisher-probleema j¨alleen! Ks. Pyk¨al¨a 2.6.

d − d0 √ . s/ n

Testaus on t¨aysin sama kuin edell¨a yhden otoksen tapauksessa t-jakaumaa k¨aytt¨aen (vapausastein n − 1).

3.7

Varianssien testaus

Normaalijakautuneelle populaatiolle voidaan testata sen varianssia σ 2 . Nollahypoteesi on silloin H0 : σ 2 = σ02 , testisuure on v=

(n − 1)s2 σ02

ja χ2 -jakaumaa (n − 1 vapausasteella) k¨aytt¨aen riskitasolle α saadaan testit

[10.13]

LUKU 3. HYPOTEESIEN TESTAUS H1 σ 2 > σ02 σ 2 < σ02 σ 2 6= σ02

Kriittinen alue v ≥ h2,α v ≤ h1,α v ≤ h1,α/2 tai v ≥ h2,α/2

38 P-arvo 1 − F (v) F (v)
2 min F (v), 1 − F (v)

miss¨a F on χ2 -jakauman kertym¨afunktio n − 1 vapausasteella. T¨am¨a testi on varsin herkk¨a poikkeamille populaatiojakauman normaalisuudesta. Jos populaatiojakauma ei ole kovin tarkasti normaali, usein H0 tulee turhaan hyl¨atyksi.

Toisin kuin t-jakauma, χ2 -jakauma ei ole robusti poikkeamille normaalisuudesta.

Esimerkki. Akkujen valmistaja ilmoittaa tietyn akkutyypin kestoi¨an ha[10.13] jonnan olevan σ0 = 0.9 v. Kestoi¨an jakaumaksi oletetaan normaalijakauma. n = 10 akkua seurattiin ja todettiin otoshajonnan olevan s = 1.2 v. Voitaisiinko t¨ast¨a p¨a¨atell¨a, ett¨a hajonta on suurempi kuin tuo ilmoitettu 0.9 v? Riskitasoksi otetaan α = 0.05. Testattava hypoteesipari on siis H0 : σ 2 = σ02 = 0.92 = 0.81 vs. H1 : σ 2 > 0.81. Testisuureelle realisoituu arvo v = 16.0. T¨at¨a vastaava P-arvo saadaan χ2 -jakauman oikeanpuoleisen h¨ann¨an todenn¨ak¨oisyyten¨a (9 vapausasteella) ja se on P = 0.067. P-arvo on kuitenkin l¨ahell¨a α:a, joten tiettyj¨a ep¨ailykH0 :a ei siis hyl¨at¨a. si¨a asiasta j¨a¨a. Kahden normaalijakautuneen populaation varianssien σ12 ja σ22 suhdetta σ12 /σ22 voidaan samaan tapaan testata k¨aytt¨aen F-jakaumaa. Nollahypoteesi on muotoa H0 : σ12 = kσ22 , miss¨a k on annettu (suhde)luku. Usein k = 1, jolloin testataan populaatiovarianssien Testisuure on samuutta. 2 1 s1 . f= k s22 K¨aytt¨aen F-jakaumaa vapausastein n1 − 1 ja n2 − 1 saadaan riskitasolla α testit σ12 σ12 σ12

H1 > kσ22 < kσ22 6= kσ22

Kriittinen alue f ≥ f2,α f ≤ f1,α f ≤ f1,α/2 tai f ≥ f2,α/2

P-arvo 1 − G(f ) G(f )
2 min G(f ), 1 − G(f )

miss¨a G on F-jakauman kertym¨afunktio vapausastein n1 − 1 ja n2 − 1. χ2 -jakauman tavoin F-jakauma ei ole lainkaan robusti poikkeamille normaalisuudesta, joten populaatiojakaumien normaalisuudesta on oltava selvyys. On my¨oskin olemassa robustimpeja varianssien vertailutestej¨a, tilasto-ohjelmistot k¨aytt¨av¨atkin enimm¨akseen n¨ait¨a. Esimerkki. Palataan edell¨a olleen esimerkin pintamateriaalien kulumiseen. Otoshajonnoiksi saatiin tuolloin s1 = 4 ja s2 = 5. Otoskoot olivat n1 = n2 = 10. Voitaisiinko varianssit olettaa samoiksi, kuten tehtiin? Testattava hypoteesipari on n¨ain ollen H0 : σ12 = σ22 vs. H1 : σ12 6= σ22 (ja siis k = 1). Riskitasoksi otetaan vaatimattomat α = 0.10. Nyt f1,0.05 = 0.3146 ja f2,0.05 = 3.1789 (vapausastein 9 ja 9) ja kriittinen alue muodostuu arvoista, jotka eiv¨at ole n¨aiden v¨aliss¨a. Realisoitunut testisuure saa arvon f = 0.64 ja se ei ole kriittisell¨a alueella. N¨aytt¨o¨a varianssien erilaisuudesta ei tullut ja H0 j¨a¨a voimaan. (P-arvoksi saadaan P = 0.517.)

[10.6, 10.14]

LUKU 3. HYPOTEESIEN TESTAUS

3.8

39

Odotusarvojen vertailu graafisesti

[10.10]

Silm¨ays populaatioista saadun otosdatan graafiseen esitykseen kertoo usein tilanteen melko tarkasti, ainakin odotusarvojen osalta. Graafisessa esityksess¨a tavallinen elementti on ns. keskiarvoruutu ♦. Sen keskell¨a on otoskeskiarvo ja ruudun k¨arjet antavat 95 % luottamusv¨alin (olettaen populaatiojakauma ainakin likimain normaaliksi). Er¨aa¨nlaisena nyrkkis¨aa¨nt¨on¨a mainitaan usein, ett¨a jos jommankumman otoksen kvartiiliv¨alilaatikko ei sis¨all¨a toisen otoksen mediaania, niin populaatio-odotusarvot eiv¨at ole samat. Esimerkki. Tarkastellaan 50 USA:n osavaltion rikostilastoja tietylt¨a ajalta ry¨ost¨ojen (”robbery”) ja pahoinpitelyjen (”assault”) osalta, yksikk¨on¨a tapaukset 100000 asukasta kohti. JMP-ohjelmisto antaa seuraavan graafisen tulostuksen: Crime.jmp: Distribution

”means diamond”

Ks. Pyk¨al¨a 1.3.

Kyseess¨a ei varsinaisesti ole otos muutoin kuin ajallisesti.

Page 1 of 1

Distributions robbery

assault

500

500

400

400

300

300

200

200

100

100

0

0

Quantiles 100.0% maximum 99.5% 97.5% 90.0% 75.0% quartile 50.0% median 25.0% quartile 10.0% 2.5% 0.5% 0.0% minimum

Hakamaiset (punaiset) v¨alit ovat otoksen ns. lyhimm¨at puolikkaat eli tiheimm¨at puolikkaat.

Quantiles 472.60 472.60 431.49 256.84 160.03 106.05 63.85 38.75 14.57 13.30 13.30

Moments Mean Std Dev Std Err Mean upper 95% Mean lower 95% Mean N

Esiintyv¨at kaksi vierasta havaintoa ovat New York ja Nevada (Las Vegas).

100.0% maximum 99.5% 97.5% 90.0% 75.0% quartile 50.0% median 25.0% quartile 10.0% 2.5% 0.5% 0.0% minimum

485.30 485.30 475.35 353.84 284.73 197.60 143.43 86.20 49.27 43.80 43.80

Moments 124.092 88.348567 12.494374 149.20038 98.983615 50

Mean Std Dev Std Err Mean upper 95% Mean lower 95% Mean N

211.3 100.25305 14.177922 239.7916 182.8084 50

Ym. kriteerill¨a mitattuna n¨aiden kahden rikostyypin esiintyminen ei ole odotusarvojen osalta samankaltaista. Lis¨aksi ry¨ost¨ojen jakauma ei n¨ayt¨a aivan normaalilta.

Luku 4 χ2-TESTIT Puhuttaessa ”χ2 -testeist¨a” ei yleens¨a tarkoiteta edell¨a ollutta varianssin testi¨a, vaan joukkoa ns. Pearsonin approksimaatioon ja kontingenssitau- Karl (Carl) Pearson (1857– 1936), tilastomatematiikan luihin perustuvia testej¨a. ”is¨a”

4.1

Jakauman sopivuustesti

[10.14]

Populaatiojakauma oletetaan usein tunnetuksi, esimerkiksi normaalijakaumaksi, jonka parametrit tunnetaan. Mutta onko se sit¨a mit¨a oletetaan? T¨am¨akin on er¨as hypoteesi ja sit¨a voidaan testata tilastollisesti. Aloitetaan ¨a¨arellisest¨a diskreetist¨a jakaumasta. Mahdollisia populaatiotapauksia on ¨a¨arellinen m¨a¨ar¨a, sanotaan tapaukset T1 , . . . , Tk . N¨aiden esiintymisen (piste)todenn¨ak¨oisyydet P(T1 ) = p1 , . . . , P(Tk ) = pk siis oletetaan tunnetuiksi ja t¨am¨a on testin nollahypoteesi H0 . Vastahypoteesi H1 on se, ett¨a ainakin yhdelle i:lle P(Ti ) 6= pi . Itse asiassa ainakin kahdelTesti¨a varten otetaan n alkion otos, josta katsotaan realisoituneet ta- le, sill¨a p1 + · · · + pk = 1. pauksien T1 , . . . , Tk (absoluuttiset) esiintymisfrekvenssit f1 , . . . , fk . N¨am¨a voidaan my¨os tulkita satunnaismuuttujiksi F1 , . . . , Fk ja E(Fi ) = npi . Vrt. binomijakauman odotusarvo, niputetaan vain Testi perustuu siihen, ett¨a satunnaismuuttujalla yhteen muut tapaukset kuin Ti .

H=

k X (Fi − npi )2

npi

i=1

on likimain χ2 -jakauma k − 1:ll¨a vapausasteella. Kyseess¨a on ns. Pearsonin approksimaatio. Lis¨aoletuksena mainitaan kuitenkin usein, ett¨a mik¨a¨an luvuista np1 , . . . , npk ei saisi olla alle 5. Testisuure on n¨ain ollen h=

k X (fi − npi )2

npi

i=1

ja sill¨a testattaessa k¨aytet¨aa¨n vain χ2 -jakauman loppuh¨ant¨aa¨. Realisoituneiden frekvenssien f1 , . . . , fk poikkeaminen oletetuista ilmenee nimitt¨ain h:n kasvamisena. Testisuureen laskemiseen l¨oytyy nettilaskimiakin. 40

Vaikeasti todistettava tulos! Jotkut tosin sanovat, ett¨a 1.5:kin riitt¨a¨a.

LUKU 4. χ2 -TESTIT

41

Esimerkki. Otetaan tapaus, jossa tutkitaan noppaa heitt¨am¨all¨a sit¨a n = 120 kertaa. Kunkin silm¨aluvun oletettu todenn¨ak¨oisyys on tietysti 1/6, mutta onko n¨ain? Nollahypoteesi on H0 : p1 = · · · = p6 = 1/6 ja np1 = · · · = np6 = 20. Havaitut silm¨alukujen frekvenssit ovat seuraavat: Silm¨aluku i Frekvenssi fi

1 20

2 22

3 17

4 18

5 19

6 24

N¨aist¨a saadaan laskien h = 1.70. Toisaalta esimerkiksi h0.05 = 11.070 (vapausastein 5) on paljon suurempi eik¨a mit¨aa¨n syyt¨a hyl¨at¨a H0 siis l¨oydy. Jatkuvan populaatiojakauman testaus sujuu samaan tapaan. Silloin arvoalue jaetaan ¨a¨arelliseen m¨a¨ar¨a¨an osa-alueita (tapaukset T1 , . . . , Tk ). N¨aiden oletetun populaatiojakauman mukaiset todenn¨ak¨oisyydet p1 , . . . , pk tunnetaan (H0 :n voimassaollessa) ja testaus menee Pearsonin approksimaatiota k¨aytt¨aen kuten edell¨a.

Toinen jatkuville jakaumille paljon k¨aytetty testi on ns. Kolmogorov–Smirnov-testi, jota t¨ass¨a ei k¨asitell¨a. (Ks. moniste RUOHONEN, K.: Luotettavuus, k¨aytett¨avyys, huollettavuus.)

Esimerkki. Otetaan tapaus, jossa populaatiojakaumaksi arvellaan normaalijakauma, odotusarvona µ = 3.5 ja hajontana σ = 0.7. Testausta varten arvoalue jaettiin nelj¨a¨an osav¨aliin, joiden todenn¨ak¨oisyydet saadaan N(3.5, 0.72 )-jakaumasta. Otoskoko on n = 40. Saatiin seuraavat tulokset: i V¨ali Ti pi npi fi

1 (−∞, 2.95] 0.2160 8.6 7

2 (2.95, 3.45] 0.2555 10.2 15

3 (3.45, 3.95] 0.2683 10.7 10

4 (3.95, ∞) 0.2602 10.4 8

N¨aist¨a laskien saadaan testisuureelle arvo h = 3.156. Koska h0.05 = 7.815 (vapausastein 3), nollahypoteesia ei siis hyl¨at¨a riskitasolla α = 0.05. Edell¨a oletettu populaatiojakauma pit¨a¨a tuntea, jotta saadaan siihen liittyvi¨a todenn¨ak¨oisyyksi¨a lasketuksi. On my¨os testej¨a, jotka testaavat onko jakauma normaali ilman, ett¨a tarvitsee tuntea sen odotusarvoa tai varianssia. T¨allainen on mm. Lillieforsin testi (sek¨a kirjassa WMMY Tunnetaan my¨os Kolmogomainittu Gearyn testi). My¨os voidaan suorittaa eo. esimerkin kaltainen rov–Smirnov–Lilliefors-testin¨a tai KSL-testin¨a. χ2 -testi k¨aytt¨aen otoksesta estimoitua odotusarvoa x ja hajontaa s. VaHubert Lilliefors pausasteiden m¨a¨ar¨a on t¨all¨oin kuitenkin k − 3, ja tarkkuuskin k¨arsii.

4.2

Riippumattomuustesti. Kontingenssitaulut

Pearsonin approksimaatio sopii moniin muihinkin tilanteisiin. Er¨as sellainen on kahden eri populaation tilastollisen riippumattomuuden testaus. Jotta tulos olisi mielenkiintoinen, populaatioiden pit¨a¨a tietenkin olla kuitenkin jotenkin tekemisiss¨a kesken¨a¨an. Otanta kohdistuukin molempiin populaatioihin yhtaikaa.

[10.15]

LUKU 4. χ2 -TESTIT

42

Katsotaan t¨ass¨akin ensin populaatioita, joiden jakaumat ovat ¨a¨arellisi¨a diskreettej¨a jakaumia. Populaation 1 tapaukset ovat T1 , . . . , Tk ja niiden (piste)todenn¨ak¨oisyydet P(T1 ) = p1 , . . . , P(Tk ) = pk . Populaation 2 tapaukset ovat S1 , . . . , Sl ja niiden (piste)todenn¨ak¨oisyydet P(S1 ) = q1 , . . . , P(Sl ) = ql .

N¨am¨a esitet¨a¨an usein vektorimuodossa:     p1 q1 p =  ...  ja q =  ...  . pk ql

Lis¨aksi tarvitaan yhteis(piste)todenn¨ak¨oisyydet P(Ti ∩ Sj ) = pi,j

(i = 1, . . . , k ja j = 1, . . . , l).

Mit¨aa¨n n¨aist¨a todenn¨ak¨oisyyksist¨a ei kuitenkaan oleteta tunnetuiksi, testaus tehd¨a¨an puhtaasti otoksista saatujen lukum¨a¨arien kautta. Otetaan k¨aytt¨o¨on seuraavanlaiset merkinn¨at. Tapauksien T1 , . . . , Tk esiintymisfrekvenssit satunnaismuuttujina ovat F1 , . . . , Fk ja otoksessa realisoituneina lukuina f1 , . . . , fk . Tapauksien S1 , . . . , Sl frekvenssit satunnaismuuttujina ovat G1 , . . . , Gl ja otoksesta realisoituneina lukuina g1 , . . . , gl . Yhteistapauksen Ti ∩Sj esiintymisfrekvenssi on satunnaismuuttujana Fi,j ja otoksessa realisoituneena lukuna fi,j . N¨am¨a esitet¨a¨an ns. kontingenssitauluna seuraavassa muodossa, miss¨a n on otoskoko: T1 T2 .. .

S1 f1,1 f2,1 .. .

S2 f1,2 f2,2 .. .

··· ··· ··· .. .

Sl f1,l f2,l .. .

Σ f1 f2 .. .

Tk Σ

fk,1 g1

fk,2 g2

··· ···

fk,l gl

fk n

T¨am¨a taas esitet¨a¨an usein matriisimuodossa:   p1,1 · · · p1,l ..  . P =  ... . pk,1 · · · pk,l

”contingency table”

Vastaavanlainen taulu voitaisiin tehd¨a my¨os satunnaismuuttujiksi ajatelluille frekvensseille. Populaatiojakaumat ovat riippumattomat tarkalleen silloin, kun T¨am¨a on riippumattomuuP(Ti ∩ Sj ) = P(Ti )P(Sj ) eli pi,j = pi qj

(i = 1, . . . , k ja j = 1, . . . , l).

den m¨a¨aritelm¨a, matriisimuodossa P = pqT .

T¨am¨a riippumattomuus on nyt nollahypoteesi H0 . Vaihtoehtoinen hypoteesi sanoo, ett¨a ainakin yhdelle indeksiparille i, j on pi,j 6= pi qj . N¨ain ollen H0 :n voimassaollessa pit¨aisi frekvenssien toteuttaa odotusarvoisesti vastaavat yht¨al¨ot (vrt. binomijakauma): E(Fi,j ) = npi,j = npi qj =

1 E(Fi )E(Gj ). n

Muodostetaankin nyt testisuure kuten edell¨a sopivuustestauksessa pit¨aen frekvenssi¨a fi,j toteutuneena ja oikean puolen antamaa arvoa fi gj /n oletettuna eli H0 :n mukaisena: h=

k X l X (fi,j − fi gj /n)2 . f g /n i j i=1 j=1

T¨allekin saataisiin matriisimuotoinen lauseke.

LUKU 4. χ2 -TESTIT

43

My¨os t¨am¨an testisuureen laskemiseen l¨ahtien annetusta kontingenssitaulusta on nettilaskimia. Pearsonin approksimaation mukaan vastaavalla satunnaismuuttujalla H=

k X l X (Fi,j − Fi Gj /n)2 . F G /n i j i=1 j=1

on likimain χ2 -jakauma, mutta nyt (k − 1)(l − 1) vapausasteella. Mit¨a huonommin yht¨al¨ot fi,j ∼ = fi gj /n pit¨av¨at paikkansa sit¨a isomman arvon h saa. Kriittinen alue on siis j¨alleen ko. χ2 -jakauman oikeanpuolinen h¨ant¨a. Esimerkki. Katsotaan esimerkkin¨a tilannetta, jossa n = 309 alkion otos muodostuu viallisista tuotteista. Tuotetta valmistuu kolmelta eri linjalta L1 , L2 ja L3 ja vikoja on nelj¨a¨a eri lajia V1 , V2 , V3 ja V4 . Nollahypoteesi on t¨ass¨a se, ett¨a linja ja vikalaji ovat riippumattomat, ts. ett¨a vikojen jakautuminen eri lajeihin ja eri linjoille ovat toisistaan riippumattomat. Saatu kontingenssitaulu on L1 L2 L3 Σ

V1 15(22.51) 26(22.90) 33(28.50) 74

V2 21(20.99) 31(21.44) 17(26.57) 69

V3 45(38.94) 34(39.77) 49(49.29) 128

V4 Σ 13(11.56) 94 5(11.81) 96 20(14.63) 119 38 309

Suluissa olevat luvut ovat luvut fi gj /n. Testisuureen laskettu realisoitunut arvo on h = 19.18. T¨am¨a vastaa χ2 -jakaumasta (6 vapausasteella) saatua P-arvoa P = 0.0039. Riskitasolla α = 0.01 voidaan siis H0 hyl¨at¨a ja p¨a¨atell¨a, ett¨a linjalla on vaikutusta vian lajiin. My¨os t¨ass¨a mainitaan usein, ett¨a kaikkien lukujen fi gj /n pit¨aisi olla arvoltaan v¨ahint¨a¨an 5. Edellisess¨a esimerkiss¨a n¨ain selv¨astikin on. My¨os jatkuvien populaatiojakaumien riippumattomuutta voidaan testata t¨all¨a tavoin. Silloin jaetaan arvoalueet ¨a¨arelliseen m¨a¨ar¨a¨an v¨alej¨a, kuten sopivuustestiss¨akin tehtiin, jolloin testaaminen palautuu edelliseen.

4.3

Homogeenisuustesti

Riippumattomuustestiss¨a otos muodostuu satunnaisesti kummankin populaation suhteen. Vastaava testi saadaan my¨os silloin, kun otokseen tulevien alkioiden lukum¨a¨ar¨at kiinnitet¨a¨an etuk¨ateen toisen populaation osalta. Jos kiinnitet¨aa¨n edell¨a lukum¨aa¨r¨at populaation 2 suhteen, niin sovitaan etuk¨ateen frekvenssit g1 , . . . , gl , jolloin otoskoko on n = g1 + · · · + gl . Nollahypoteesi on kuitenkin aivan samanlainen kuin edell¨a. Sen tulkinta vain muuttuu: T¨ass¨a H0 sanoo, ett¨a populaation 1 alkioiden jakauma on samanlainen eri alkiotyypeille S1 , . . . , Sl , ts. ett¨a populaatiojakauma on homogeeninen alkiotyyppien S1 , . . . , Sl osalta. Huomaa, ett¨a t¨ass¨a S1 , . . . , Sl eiv¨at ole tapauksia eik¨a niill¨a ole todenn¨ak¨oisyyksi¨a. Ne ovat yksinkertaisesti tyyppej¨a, joihin populaation 1 alkiot voidaan jakaa, ja etuk¨ateen siis p¨a¨atet¨a¨an kuinka paljon mit¨akin tyyppi¨a otetaan otokseen.

[10.16]

LUKU 4. χ2 -TESTIT

44

Nyt fi,j ja Fi,j merkitsev¨at tyyppi¨a Sj olevien populaatioalkioiden frekvenssi¨a otoksessa. Jos H0 pit¨aa¨ paikkansa, niin todenn¨ak¨oisyys, ett¨a Ti tapahtuu tyyppi¨a Sj oleville alkioille on sama kuin koko populaatiolle eli pi . Odotusarvoisesti siis E(Fi,j ) = gj pi =

1 E(Fi )gj n

Vrt. j¨alleen binomijakauma.

(i = 1, . . . , k ja j = 1, . . . , l).

Testisuureet H ja h sek¨a niihin liittyv¨a approksimatiivinen χ2 -jakauma vapausasteineen ovat n¨ain ollen aivan samat kuin edell¨a riippumattomuustestiss¨a. Esimerkki. Esimerkkin¨a katsotaan tilannetta, jossa USA:ssa tutkittiin er¨a¨an lakiehdotuksen suosiota. Asiaa kysyttiin n = 500 ihmiselt¨a, joista g1 = 200 valittiin demokraateista, g2 = 150 republikaaneista ja loput g3 = 150 olivat riippumattomia. Otokseen osuneilta kysyttiin ovatko he lakiehdotuksen puolesta, sit¨a vastaan vai eik¨o heill¨a ole asiaan kantaa. Haluttiin selvitt¨aa¨ ovatko eri tavoin lakiehdotukseen suhtautuvat samoin jakautuneet puoluekannan suhteen (t¨am¨a on H0 ). Saatiin kontingenssitaulu Puolesta Vastaan Ei kantaa Σ

Demokraatti 82(85.6) 93(88.8) 25(25.6) 200

Republikaani 70(64.2) 62(66.6) 18(19.2) 150

Riippumaton 62(64.2) 67(66.6) 21(19.2) 150

Σ 214 222 64 500

T¨ast¨a saadaan laskien testisuure h = 1.53. K¨aytt¨aen χ2 -jakaumaa (4 vapausasteella) saadaan edelleen P-arvo P = 0.8213. Nollahypoteesia H0 ei miss¨a¨an nimess¨a voi t¨am¨ an datan perusteella hyl¨at¨a. Jos homogeenisuustestiss¨a k = 2, saadaan erikoistapaus, miss¨a on kyseess¨a l binomijakauman Bin(n1 , p1 ), . . . , Bin(nl , pl ) parametrien p1 , . . . , pl samuustestaus. Silloin g1 = n1 , . . . , gl = nl ja nollahypoteesi on Yhteist¨a parametriarvoa p ei t¨ass¨a kuitenkaan oleteta tunnetuksi.

H0 : p1 = · · · = pl (= p). Vaihtoehtoinen hypoteesi H1 sanoo, ett¨a ainakin kaksi parametreista on erisuuria. Asian tutkimiseksi tehd¨a¨an testit ja havaitaan realisoituneet suotuisien tapausten esiintymien lukum¨a¨ar¨at x1 , . . . , xl . Kontingenssitaulu on t¨ass¨a tapauksessa muotoa Bin(n1 , p1 ) Suotuisia x1 Ei-suotuisia n1 − x1 Σ n1

Bin(n2 , p2 ) x2 n2 − x2 n2

··· ··· ··· ···

Bin(nl , pl ) xl n l − xl nl

Σ x n−x n

miss¨a x = x1 + · · · + xl ja n = n1 + · · · + nl . Testaus sujuu aivan samalla tavalla kuin edell¨a k¨aytt¨aen approksimatiivista χ2 -jakaumaa (nyt siis

LUKU 4. χ2 -TESTIT

45

(2 − 1)(l − 1) = l − 1 vapausasteella). Testisuure on kirjoitettavissa eri muodoissa:
2 l l X (xi − xni /n)2 X ni − xi − (n − x)ni /n h= + xn /n (n − x)ni /n i i=1 i=1 =

=

l X i=1 l X i=1

(xi − xni /n)2



 1 1 + xni /n (n − x)ni /n l

X (xi − ni x/n)2 (xi − xni /n)2 . = x(n − x)ni /n2 n (x/n)(1 − x/n) i i=1

Vm. muoto on k¨asin laskien ehk¨ap¨a mukavin, ja siit¨a muuten n¨akee syyn miksi t¨ass¨a p¨a¨adyt¨a¨an nimenomaan χ2 -jakaumaan: Jos nollahypoteesi H0 Vrt. normaalijakautuneen populaation otosvarianssin on tosi, realisoitunut x/n on likimain p ja satunnaismuuttuja jakauma. X − ni p p i ni p(1 − p) on binomijakauman normaaliapproksimaation kautta likimain standardinormaali. Esimerkki. Otetaan esimerkkin¨a vaaleja edelt¨av¨a tilanne, jossa kolme eri tutkimusta antoi er¨a¨alle puolueelle kannattajien luvut x1 = 442, x2 = 313 ja x3 = 341 otoskokojen ollessa vastaavasti n1 = 2002, n2 = 1532 ja n3 = 1616. Voisivatko n¨am¨a antaa puolueelle saman kannatusprosentin (H0 )? Laskien saadaan realisoituneeksi testisuureeksi h = 1.451 ja vastaavaksi P-arvoksi P = 0.4841 (χ2 -jakauma 2 vapausasteella). T¨am¨an perusteella ei siis ole syyt¨a ep¨aill¨a eri tutkimusten antavan eri kannatuslukemia ko. puolueelle.

Luku 5 SUURIMMAN USKOTTAVUUDEN ESTIMOINTI 5.1

Suurimman uskottavuuden estimointi

[9.14]

Monet edell¨a olleet estimaattorit ovat saatavissa er¨a¨all¨a yleisell¨a menetelm¨all¨a. Jos estimoitavana ovat populaatiojakauman parametrit θ1 , . . . , θm ja jakauman tiheysfunktio on f (x; θ1 , . . . , θm ), niin pyrit¨a¨an saamaan paParametrit on lis¨atty tiheysfunktioon vain jotta ˆ ˆ rametrien estimaattoreille Θ1 , . . . , Θm lausekkeet satunnaismuuttujiksi riippuvuus niist¨a olisi esill¨a. tulkittujen otosalkioiden X1 , . . . , Xn avulla esitettyin¨a, tai ainakin menettely, jolla estimaatit θˆ1 , . . . , θˆm saadaan lasketuksi realisoituneista otosalkioista x1 , . . . , xn . Koska otosalkiot X1 , . . . , Xn otetaan satunnaisotannassa riippumattomasti, niill¨a on kaikilla sama tiheysfunktio ja niiden yhteisjakauman tiheysfunktio on tulo g(x1 , . . . , xn ; θ1 , . . . , θm ) = f (x1 ; θ1 , . . . , θm ) · · · f (xn ; θ1 , . . . , θm ). Suurimman uskottavuuden estimoinnissa eli ML-estimoinnissa estimaatˆ 1, . . . , Θ ˆ m m¨aa¨r¨aytyv¨at siten, ett¨a torit Θ g(X1 , . . . , Xn ; θ1 , . . . , θm ) = f (X1 ; θ1 , . . . , θm ) · · · f (Xn ; θ1 , . . . , θm ) saa suurimman arvonsa, kun ˆ 1 , . . . , θm = Θ ˆ m. θ1 = Θ Vastaavasti estimaatit θˆ1 , . . . , θˆm saadaan, kun maksimoidaan g(x1 , . . . , xn ; θ1 , . . . , θm ) = f (x1 ; θ1 , . . . , θm ) · · · f (xn ; θ1 , . . . , θm ). Ideana on siis estimoida parametrit siten, ett¨a havaittujen arvojen tiheys/todenn¨ak¨oisyys on suurin. Suurimman uskottavuuden estimoinnin yhteydess¨a merkit¨a¨an usein L(θ1 , . . . , θm ; X1 , . . . , Xn ) = f (X1 ; θ1 , . . . , θm ) · · · f (Xn ; θ1 , . . . , θm ) 46

”maximum likelihood estimation”, MLE

LUKU 5. SUURIMMAN USKOTTAVUUDEN ESTIMOINTI

47

ja vastaavasti L(θ1 , . . . , θm ; x1 , . . . , xn ) = f (x1 ; θ1 , . . . , θm ) · · · f (xn ; θ1 , . . . , θm ) ja puhutaan uskottavuusfunktiosta tai uskottavuudesta. Tulomuodosta johtuen usein on helpompi maksimoida uskottavuuden logaritmi

”likelihood (function)”

l(θ1 , . . . , θm ; X1 , . . . , Xn ) = ln L(θ1 , . . . , θm ; X1 , . . . , Xn )
= ln f (X1 ; θ1 , . . . , θm ) · · · f (Xn ; θ1 , . . . , θm ) = ln f (X1 ; θ1 , . . . , θm ) + · · · + ln f (Xn ; θ1 , . . . , θm ), ns. loguskottavuus(funktio), ja vastaavasti

”loglikelihood (function)”

l(θ1 , . . . , θm ; x1 , . . . , xn ) = ln f (x1 ; θ1 , . . . , θm ) + · · · + ln f (xn ; θ1 , . . . , θm ). N¨aill¨a merkinn¨oill¨a estimoinnin tulos on siis lyhyesti merkitt¨aviss¨a muodossa (θˆ1 , . . . , θˆm ) = argmax L(θ1 , . . . , θm ; x1 , . . . , xn ) θ1 ,...,θm

tai (θˆ1 , . . . , θˆm ) = argmax l(θ1 , . . . , θm ; x1 , . . . , xn ). θ1 ,...,θm

5.2

Esimerkkej¨ a

Esimerkki. Estimoitavana on Poissonin jakauman parametri λ. Jakauman tiheysfunktio on λx f (x; λ) = e−λ . x! Uskottavuus (satunnaismuuttujaotokselle) on siis L(λ; X1 , . . . , Xn ) =

[9.14] [9.19]

λXn −λ λX1 +···+Xn −nλ λX1 −λ e ··· e = e X1 ! Xn ! X 1 ! · · · Xn !

ja vastaava loguskottavuus on l(λ; X1 , . . . , Xn ) = − ln(X1 ! · · · Xn !) + (X1 + · · · + Xn ) ln λ − nλ. Maksimin etsimiseksi asetetaan derivaatta λ:n suhteen nollaksi ∂l 1 = (X1 + · · · + Xn ) − n = 0 ∂λ λ

Tapaus X1 = · · · = Xn = 0 on k¨asitelt¨av¨a erikˆ = 0. seen. Silloin Λ

ja ratkaistaan suurimman uskottavuuden estimaattori: ˆ = 1 (X1 + · · · + Xn ) = X. Λ n Toista derivaattaa k¨aytt¨aen voi viel¨a tarkistaa, ett¨a kyseess¨a on maksimi. Vastaavasti luonnollisesti saadaan suurimman uskottavuuden estimaatiksi otoskeskiarvo T¨am¨a on tietysti luontevaa, sill¨a jakauman odotusˆ λ = x. arvohan on λ.

LUKU 5. SUURIMMAN USKOTTAVUUDEN ESTIMOINTI

48

Esimerkki. Populaatiojakauma on normaalijakauma N(µ, σ 2 ), jonka parametreiksi otetaan θ1 = µ ja θ2 = σ 2 . Tiheysfunktio on siis

[9.20]

1 2 1 e− 2σ2 (x−µ) . f (x; µ, σ 2 ) = √ 2π σ

Uskottavuus (t¨all¨a kertaa realisoituneelle otokselle) on 1 1 2 2 1 1 e− 2σ2 (x1 −µ) · · · √ e− 2σ2 (xn −µ) 2π σ 2π σ 1 1 − 2 ((x1 −µ)2 +···+(xn −µ)2 ) 2σ e = (2π)n/2 (σ 2 )n/2

L(µ, σ 2 ; x1 , . . . , xn ) = √

ja vastaava loguskottavuus on
n n 1 l(µ, σ 2 ; x1 , . . . , xn ) = − ln 2π − ln σ 2 − 2 (x1 −µ)2 +· · ·+(xn −µ)2 . 2 2 2σ Maksimoimiseksi asetetaan osittaisderivaatat µ:n ja σ 2 :n suhteen nollik- Muuttuja t¨ass¨a on siis σ2 , ei σ. si: 
∂l 1 1    ∂µ = σ 2 (x1 − µ) + · · · + (xn − µ) = σ 2 (x1 + · · · + xn − nµ) = 0
∂l n 1    2 =− 2 + (x1 − µ)2 + · · · + (xn − µ)2 = 0. 2 2 ∂σ 2σ 2(σ ) Ylemm¨ast¨a yht¨al¨ost¨a saadaan ratkaisemalla µ:n suurimman uskottavuuden tuttu estimaatti µ ˆ=

1 (x1 + · · · + xn ) = x. n

Sijoittamalla t¨am¨a alempaan yht¨al¨o¨on saadaan ratkaisemalla σ 2 :n suurimman uskottavuuden estimaatiksi n

1X (xi − x)2 . σb2 = n i=1 Tutkimalla toisen kertaluvun osittaisderivaatat voidaan lis¨aksi varmistaa, ett¨a kyseess¨a on maksimipiste. Yll¨att¨aen tulos σ 2 :n osalta ei siis nyt olekaan aikaisemmin k¨aytetty otosvarianssi s2 . Koska n

1 X S = (Xi − X)2 n − 1 i=1 2

on harhaton σ 2 :n estimaattori, σ 2 :n suurimman uskottavuuden estimaattori normaalijakaumalle N(µ, σ 2 ) n

1X (Xi − X)2 n i=1 on n¨ain ollen hieman harhainen.

T¨am¨a osoittaa, ett¨a harhattomuus ei suinkaan ole joka tavalla edullinen estimaattorin ominaisuus.

LUKU 5. SUURIMMAN USKOTTAVUUDEN ESTIMOINTI

49

Esimerkki. Otetaan viel¨a esimerkiksi tapaus, jossa populaatiojakauma on tasajakauma v¨alille [a, b], jonka p¨aa¨tepisteit¨a ei tiedet¨a. Jos realisoituneet otosarvot ovat x1 , . . . , xn , niin luontevilta estimaateilta tuntuisivat min(x1 , . . . , xn ) p¨a¨atepisteelle a sek¨a max(x1 , . . . , xn ) p¨a¨atepisteelle b. Mutta ovatko n¨am¨a suurimman uskottavuuden estimaatit? Jakauman tiheysfunktio on nyt    1 , kun a ≤ x ≤ b f (x; a, b) = b − a  0 muuten. Ilmeisestikin uskottavuuden L(a, b; x1 , . . . , xn ) = f (x1 ; a, b) · · · f (xn ; a, b) maksimoimiseksi pit¨a¨a valita sellaiset p¨a¨atepiste-estimaatit a ˆ ja ˆb, ett¨a kaikki otosalkiot ovat v¨alill¨a [ˆ a, ˆb], muutenhan uskottavuus olisi = 0 eik¨a se ole suurin mahdollinen. T¨all¨a ehdolla uskottavuusfunktio on L(a, b; x1 , . . . , xn ) =

1 (b − a)n

ja se saa suurimman arvonsa, kun b − a on pienin mahdollinen. Esti- V¨alill¨a on v¨ali¨a! Jos kyseess¨a olisi tasajakauma avoimaatit ( melle v¨alille (a, b), suurimman uskottavuuden estia ˆ = min(x1 , . . . , xn ) maatteja ei olisi olemassa ˆb = max(x1 , . . . , xn ) lainkaan. ovat siis todella my¨os suurimman uskottavuuden estimaatit.

Luku 6 MONEN MUUTTUJAN LINEAARINEN REGRESSIO 6.1

Regressiomalli

[12.1]

Lineaarisessa (monen muuttujan) regressiossa ajatellaan ilmi¨on olevan mallinnettavissa matemaattisesti muodossa y = β0 + β1 x1 + · · · + βk xk + . Mallin eri osat ovat seuraavat: 1. x1 , . . . , xk ovat mallin sy¨otteet. Niit¨a kutsutaan eri tilanteissa ja eri sovellusaloilla eri nimin, tavallisia ovat mm. nimet riippumattomat muuttujat tai selitt¨av¨at muuttujat tai regressorit tai faktorit tai eksogeeniset muuttujat. 2. y on mallin tuloste. Sit¨akin kutsutaan eri nimin, esimerkiksi riippuva muuttuja tai selitett¨av¨a muuttuja tai vaste tai endogeeninen muuttuja. 3. β0 , β1 , . . . , βk ovat mallin ns. parametrit eli kertoimet. Ne ovat kiinteit¨a lukuja, jotka mallia rakennettaessa estimoidaan saadusta otosaineistosta. Parametri β0 on ns. vakiotermi.

Jatkossa regressori.

Jatkossa vaste.

”intercept”

4.  on satunnaismuuttuja, jonka odotusarvo on = 0 ja jolla on varianssi σ 2 , ns. h¨airi¨otermi tai virhetermi. Vaste y on n¨ain ollen my¨os satunnaismuuttuja ja sen odotusarvo on β0 + β1 x1 + · · · + βk xk ja varianssi σ 2 . Malli toimii niin, ett¨a siihen sy¨otet¨a¨an regressorien arvot ja ulos tulee vasteen arvo, johon vaikuttaa my¨os kulloinkin realisoitunut virhetermin arvo. Mallin lineaarisuus tarkoittaa sit¨a, ett¨a se on lineaarinen nimenomaan parametrien suhteen. Regressorit voivat hyvinkin riippua toisistaan. Ta- Vastaavasti voitaisiin my¨os ajatella ja k¨aytt¨a¨a ep¨alinevallinen malli on esimerkiksi ns. polynomiaalinen malli aarisia regressiomalleja. y = β0 + β1 x + β2 x2 + · · · + βk xk + , 50

LUKU 6. MONEN MUUTTUJAN LINEAARINEN REGRESSIO

51

miss¨a regressorit ovat yhden ja saman muuttujan x potensseja. Huomaa, ett¨a t¨am¨akin on lineaarinen malli, sill¨a se on lineaarinen parametrien suhteen.

6.2

Parametrien estimointi. Matriisiesitys

[12.2–3]

Mallin sovittamiseksi sen parametrit estimoidaan otosdataa k¨aytt¨aen. T¨all¨oin annetaan regressoreille arvoyhdelm¨at (n kpl) x1 x2 x1,1 x1,2 x2,1 x2,2 .. .. . . xn,1 xn,2

··· ··· ···

xk x1,k x2,k .. .

···

xn,k

Indeksointi on t¨ass¨a jo valittu ajatellen datan matriisiesityst¨a.

suoritetaan koe k¨aytt¨aen kutakin niist¨a vuorotellen sy¨otteen¨a ja talletetaan saadut vasteen arvot y1 , y2 , . . . , yn . Viime mainitut voidaan tulkita joko realisoituneiksi arvoiksi tai satunnaismuuttujiksi. K¨aytettyjen regressorien arvoyhdelmien ei tarvitse olla erilaiset, samaa arvoyhdelm¨a¨a T¨am¨a on jopa eduksi, sill¨a2 se parantaa varianssin σ voidaan k¨aytt¨aa¨ monta kertaa. estimaattia. Kuten yo. taulukosta voi aavistaa matriisiesitys on t¨ass¨a yhteydess¨a hyvin k¨atev¨a. Merkit¨a¨ankin nyt       1 x1,1 x1,2 · · · x1,k y1 1 Huomaa erityisesti matrii 1 x2,1 x2,2 · · · x2,k   y2   2        sissa X oleva ykk¨ ossarake! X =  .. , y = ja  =      .. .. .. .. .. .. .      . . . . . . 1 xn,1 xn,2 · · · xn,k yn n ja parametreille viel¨a  β0  β1    β =  ..  .  .  

βk N¨aill¨a merkinn¨oill¨a koko koesarjan tulokset voidaan mallia ajatellen kirjoittaa yksinkertaisesti muodossa Ns. datamalli.

y = Xβ +  T¨ass¨a 1 , . . . , n ovat joko realisoituneita satunnaismuuttujan  arvoja tai sitten riippumattomia satunnaismuuttujia, joilla on kaikilla sama jakauma kuin :lla. Huomaa, ett¨a jos 1 , . . . , n ajatellaan satunnaismuuttujiksi, niin samoin on ajateltava y1 , . . . , yn ja ett¨a silloin yi riippuu vain i :st¨a. Huomaa edelleen, ett¨a jos y1 , . . . , yn ajatellaan satunnaismuuttujiksi eli y ajatellaan satunnaisvektoriksi, niin y:n odotusarvo(vektori) on Xβ. Matriisi X sen sijaan on annettu lukumatriisi, sit¨a kutsutaan usein datamatriisiksi. Useinkaan matriisin X valintaan ei voi juuri vaikuttaa, vaikka sill¨a on merkitt¨av¨a vaikutus parametrien estimoinnin onnistumiseen.

N¨aille eri tulkinnoille ei nyt sekaannuksien v¨altt¨amiseksi k¨aytet¨a eri merkint¨a¨a, toisin kuin edellisiss¨a luvuissa. Satunnaismuuttujatulkinnassakin k¨aytet¨a¨an siis pieni¨a kirjaimia. Tilanne selvi¨a¨a asiayhteydest¨a. On kokonainen tilastomatematiikan alue, joka liittyy nimenomaan X:n mahdollisimman hyv¨a¨an valintaan, ns. kokeiden suunnittelu. Ks. moniste RUOHONEN, K.: Tilastollinen kokeiden suunnittelu ja otanta.

LUKU 6. MONEN MUUTTUJAN LINEAARINEN REGRESSIO

52

Parametrien β0 , β1 , . . . , βk (eli siis vektorin β) estimoinnin idea on sovittaa realisoitunut vastevektori y mahdollisimman hyvin odotusarvoonsa eli Xβ:an. T¨am¨a voidaan tehd¨a monellakin tavalla, joista tavallisin on pienimm¨an neli¨osumman menetelm¨a. Silloin valitaan parametrit β0 , β1 , . . . , βk eli vektori β siten, ett¨a 2

N (β0 , β1 , . . . , βk ) = ky − Xβk =

n X

”least sum of squares”

(yi − β0 − β1 xi,1 − · · · − βk xi,k )2

i=1

saa pienimm¨an arvonsa. N¨ain saadaan parametriestimaatit βˆ0 = b0 , βˆ1 = b1 , . . . , βˆk = bk , ˆ = b, miss¨a vektorimuodossa β 

 b0  b1    b =  ..  . . bk Estimaatit b0 , b1 , . . . , bk saadaan asettamalla N (β0 , β1 , . . . , βk ):n osittaisderivaatat parametrien β0 , β1 , . . . , βk suhteen yht¨asuureksi kuin 0 ja ratkaisten ne saaduista yht¨al¨oist¨a. N¨am¨a yht¨al¨ot ovat ns. normaaliyht¨al¨ot. Mainitut osittaisderivaatat ovat n X ∂N = −2 1 · (yi − β0 − β1 xi,1 − · · · − βk xi,k ), ∂β0 i=1 n

X ∂N = −2 xi,1 (yi − β0 − β1 xi,1 − · · · − βk xi,k ), ∂β1 i=1 .. . n X ∂N = −2 xi,k (yi − β0 − β1 xi,1 − · · · − βk xi,k ). ∂βk i=1 Asetettaessa n¨am¨a yht¨asuuriksi kuin 0 voidaan −2 jakaa pois, jolloin b:lle saadaan matriisimuodossa yht¨al¨o XT (y − Xb) = 0 eli (XT X)b = XT y. Jos XT X on ei-singulaarinen (k¨a¨antyv¨a) matriisi, kuten jatkossa olete- Mik¨ali XT X on singulaarinen tai melkein singulaaritaan, saadaan b ratkaistuksi: nen (ns. multikollineaarisuus), ohjelmistot varoittaT −1 T b = (X X) X y. vat t¨ast¨a. Estimointi vaatii siis runsaasti numeerisia laskuja. Nettilaskimiakin on t¨at¨a varten olemassa tavallisimmille teht¨av¨atyypeille, mutta isot teht¨av¨at on laskettava tilasto-ohjelmistoilla. Esimerkki. Sovitetaan dataan regressiomalli y = β0 + β1 x1 + β2 x2 + β1,1 x21 + β2,2 x22 + β1,2 x1 x2 + . Tulomuotoisia termej¨a, kuten t¨ass¨ a x1 x2 , kutsutaan yhdysvaikutustermeiksi. T¨ass¨a x1 on sterilointiaika (min) ja x2 -l¨amp¨otila (◦ C). Vaste y on steriloinnin j¨alkeinen (orgaanisten) ep¨apuhtauksien m¨a¨ar¨a. Koetulokset ovat seuraavat:

[12.4] Huomaa regressorien riippuminen toisistaan, ja vastaava indeksointi parametreille!

LUKU 6. MONEN MUUTTUJAN LINEAARINEN REGRESSIO

◦

x1 75 C 15 min 14.05 15 min 14.93 20 min 16.56 20 min 15.85 25 min 22.41 25 min 21.66

53

x2 100 ◦ C 125 ◦ C 10.55 7.55 9.48 6.59 13.63 9.23 11.75 8.78 18.55 15.93 17.98 16.44

N¨aist¨a saadaan laskien datamatriisi X (muista, ett¨a siihen pit¨a¨a laskea kaikkia viitt¨a regressoria vastaavat sarakkeet). Tulos on 18 × 6-matriisi, josta malliksi muutama rivi ja vastaavat vasteet:     1 15 75 152 752 15 · 75 14.05  1 15 100 152 1002 15 · 100   10.55      2 2  1 15 125 15 125 15 · 125   7.55      .. .. .. .. X =  .. ..  , y =  ...  . . . . . . .      1 20 75 202 752 20 · 75   16.56  .. .. .. .. .. .. .. . . . . . . . JMP-ohjelmistossa data sy¨otet¨a¨an dataeditorilla tai luetaan tiedostosta. Lis¨atyt sarakkeet ovat helposti laskettavissa editorissa (tai muodostettavissa estimoinnin yhteydess¨a): Data

Rows 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

Aika

Lämpötila

Vaste

Aika* Aika

15 15 15 15 15 15 20 20 20 20 20 20 25 25 25 25 25 25

75 100 125 75 100 125 75 100 125 75 100 125 75 100 125 75 100 125

14.05 10.55 7.55 14.93 9.48 6.59 16.56 13.63 9.23 15.85 11.75 8.78 22.41 18.55 15.93 21.66 17.98 16.44

225 225 225 225 225 225 400 400 400 400 400 400 625 625 625 625 625 625

Lämpötila* Lämpötila 5625 10000 15625 5625 10000 15625 5625 10000 15625 5625 10000 15625 5625 10000 15625 5625 10000 15625

Aika* Lämpötila 1125 1500 1875 1125 1500 1875 1500 2000 2500 1500 2000 2500 1875 2500 3125 1875 2500 3125

XT X on n¨ain ollen 6 × 6-matriisi. Numeeriset laskut j¨a¨av¨at luonnollisesti t¨ass¨akin tietokoneille ja tilasto-ohjelmistoille. Saadut parametriestimaatit ovat b0 = 56.4411 , b1 = −2.7530 , b2 = −0.3619 , b1,1 = 0.0817 , b2,2 = 0.0008 , b1,2 = 0.0031. JMP-ohjelmiston (v¨ah¨an karsittu) tulostus on seuraava:

LUKU 6. MONEN MUUTTUJAN LINEAARINEN REGRESSIO

54

Data: Fit Least Squares

Page 1 of 1

Response Vaste Summary of Fit RSquare RSquare Adj Root Mean Square Error Mean of Response Observations (or Sum Wgts)

T¨ass¨a on mukana paljon muutakin, johon palataan my¨ ohemmin.

0.986408 0.980745 0.647809 13.99556 18

Analysis of Variance Source Model Error C. Total

DF 5 12 17

Sum of Squares 365.47657 5.03587 370.51244

Mean Square 73.0953 0.4197

F Ratio 174.1791 Prob > F F 0.5906 Max RSq 0.9889

Parameter Estimates Term Intercept Aika Lämpötila Aika*Aika Lämpötila*Lämpötila Aika*Lämpötila

Estimate 56.441111 -2.753 -0.361933 0.0817333 0.0008133 0.00314

Std Error 7.994016 0.550955 0.110191 0.012956 0.000518 0.001832

t Ratio 7.06 -5.00 -3.28 6.31 1.57 1.71

Prob>|t| |t| tusta vasteeseen. Vastaavasti yksitt¨ ainen regressori merkitykset¨ Intercept 56.441111 7.994016 xi on 7.06 |t| |t| ja n¨ainIntercept voidaan katsoa mallin sis¨alt¨av¨a7.994016 n riitt¨av¨an 7.06 monta |t| Kategorisia regressoreja z1 , . . . , zl voidaan ottaa mukaan regressiomalIntercept 56.441111 7.994016 7.06 > X=[1.5,2.2,0.9,1.3,2.0,1.6,1.8,1.5,2.0,1.2,1.7]; >> P=signtest(X,1.8) P = 0.3438

Esimerkki. 16 autoa ja ajajaa testasivat kahta eri rengastyyppi¨a R ja B. Testeiss¨ a mitattiin autojen polttoaineen kulutus yksik¨oiss¨a km/l ja tulokset olivat seuraavat: i R B si

1 4.2 4.1 +

2 4.7 4.9 −

3 6.6 6.2 +

4 7.0 6.9 +

5 6.7 6.8 −

6 4.5 4.4 +

7 5.7 5.7 0

8 6.0 5.8 +

9 7.4 6.9 +

10 4.9 4.9 0

11 6.1 6.0 +

12 5.2 4.9 +

13 5.7 5.3 +

Mukana on kulutuksien erotuksista laskettu merkkijono. Kahdessa kokeessa kulutukset olivat samat ja n¨am¨a j¨atettiin pois, jolloin j¨aljelle j¨ai n = 14 koetta ja realisoituneiden miinusmerkkien lukum¨a¨ar¨a on y = 3. Populaatio muodostuu siis t¨ass¨a kulutuksien erotuksista. Nollahypoteesi on H0 : q(0.5) = 0, ts. ett¨a mediaanikulutusero on = 0, ja vaihtoehtoinen

[16.2]

14 6.9 6.5 +

15 6.8 7.1 −

16 4.9 4.8 +

¨ LUKU 7. PARAMETRITTOMAT MENETELMAT

70

hypoteesi H1 : q(0.5) > 0. Toisin sanoen testataan binomitestill¨a hypoteesiparia H0 : f = 0.5 vs. H1 : f < 0.5, miss¨a q(f ) = 0 (ja f0 = 0.5). Testin P-arvoksi saadaan nyt binomijakauman h¨ant¨atodenn¨ak¨oisyys 3   X 14 i=0

i

0.5i (1 − 0.5)14−i = 0.0287.

Riskitasolla α = 0.05 nollahypoteesi pit¨a¨a siis hyl¨at¨a ja p¨a¨atell¨a, ett¨a kulutuksien eron mediaanin mieless¨a rengastyyppi R on parempi. MATLABilla laskut ovat seuraavat: >> D=[4.2 4.7 6.6 7.0 6.7 4.5 5.7 6.0 7.4 4.9 6.1 5.2 5.7 6.9 6.8 4.9; 4.1 4.9 6.2 6.9 6.8 4.4 5.7 5.8 6.9 4.9 6.0 4.9 5.3 6.5 7.1 4.8]; >> P=signtest(D(1,:),D(2,:)) P = 0.0574 >> P/2 ans = 0.0287

7.2

Merkityn j¨ arjestyksen testi

Jos voidaan rajoittua tietyn tyyppisiin jakaumiin ja tiettyihin kvantiileihin, saadaan vahvempia testej¨a. Er¨as t¨allainen on (Wilcoxonin) merkityn j¨arjestyksen testi. Siin¨a oletetaan populaatiojakaumasta, jatkuvuuden lis¨aksi, ett¨a se on symmetrinen. Lis¨aksi voidaan testata vain mediaania. Merkit¨aa¨n jatkossa lyhyyden vuoksi populaatiojakauman mediaania µ ˜:ll¨a. Ym. symmetrisyys tarkoittaa silloin sit¨a, ett¨a populaatiotiheysfunktio f toteuttaa ehdon f (˜ µ +x) = f (˜ µ −x). Nollahypoteesi on H0 : µ ˜=µ ˜0 , miss¨a µ ˜0 on annettu luku. Jos saatu otos on x1 , . . . , xn , menetell¨a¨an seuraavasti: 1. V¨ahennet¨a¨an otosalkioista µ ˜0 , jolloin saadaan luvut di = xi − µ ˜0

(i = 1, . . . , n).

Mik¨ali jokin di = 0, j¨atet¨a¨an otosalkio xi pois otoksesta. 2. J¨arjestet¨a¨an luvut d1 , . . . , dn itseisarvoj¨arjestykseen ja annetaan kullekin luvulle di vastaava j¨arjestysnumero ri . Jos listassa d1 , . . . , dn on itseisarvoltaan samoja lukuja, jolloin niiden j¨arjestysnumerot ovat per¨akk¨aiset, annetaan niille kaikille j¨arjestysnumeroksi alkuper¨aisten per¨akk¨aisten j¨arjestysnumerojen keskiarvo. Jos esimerkiksi tarkalleen nelj¨all¨a luvuista d0 , . . . , dn on tietty sama itseisarvo ja niiden alkuper¨aiset j¨arjestysnumerot ovat 6, 7, 8 ja 9, annetaan niille kaikille j¨arjestysnumeroksi (6 + 7 + 8 + 9)/4 = 7.5. 3. Lasketaan yhteen kaikkien sellaisten lukujen di j¨arjestysnumerot, jotka ovat positiivisia. N¨ain saadaan luku w+ . Vastaavasti lasketaan yhteen kaikkien sellaisten lukujen di j¨arjestysnumerot, jotka ovat negatiivisia, ja saadaan luku w− .

[16.2]

”signed-rank test”

Frank Wilcoxon (1892– 1965), parametrittoman tilastomatematiikan uranuurtaja

¨ LUKU 7. PARAMETRITTOMAT MENETELMAT

71

4. Merkit¨aa¨n w = min(w+ , w− ). Satunnaismuuttuja-ajattelussa saataisiin vastaavasti W+ , W− ja W . Testauksessa eri vaihtoehdot ovat seuraavat: • Jos tosiasiassa µ ˜ µ ˜0 hyv¨aksi. • Edelleen, jos jompikumpi luvuista w+ ja w− on pieni, jolloin w on pieni, se on merkki siit¨a, ett¨a µ ˜ 6= µ ˜0 ja H0 pit¨aisi hyl¨at¨a vaihtoehtoisen hypoteesin H1 : µ ˜ 6= µ ˜0 hyv¨aksi. Tarkat kriittiset arvot eri riskitodenn¨ak¨oisyyksille (H0 :n voimassaollessa) Nettilaskimia l¨oytyy t¨alletestille. Huomattakoon, ovat ty¨ol¨ait¨a laskea ja ne katsotaan viel¨akin usein taulukoista. Suurille kin ett¨a eri ohjelmistot ilmoitn:n arvoille W+ :n (ja W− :n) jakauma l¨ahestyy kyll¨akin t¨all¨oin normaali- tavat j¨arjestyssumman hieman eri tavalla. jakaumaa, ts.  n(n + 1) n(n + 1)(2n + 1)  , . W+ ≈ N 4 24 Symmetriasyist¨a lienee muuten melko ilmeist¨a, ett¨a E(W+ ) = n(n+1)/4, sill¨a kaikkien j¨arjestyslukujen summa on aritmeettisen sarjan summana 1 + 2 + · · · + n = n(n + 1)/2. Varianssi on vaikeampi p¨a¨atell¨a. Esimerkki. Palataan eo. latautumisaikaesimerkin testiin, mutta tehd¨a¨an [16.3] se nyt merkityn j¨arjestyksen testill¨a. Saadut luvut di ja niiden j¨arjestys- Nyt pit¨a¨a siis olettaa, ett¨a jakauma on symmetrinen. numerot ri ovat i xi di ri

1 2 3 4 5 1.5 2.2 0.9 1.3 2.0 −0.3 0.4 −0.9 −0.5 0.2 5.5 7 10 8 3

6 7 1.6 1.5 −0.2 −0.3 3 5.5

8 9 10 2.0 1.2 1.7 0.2 −0.6 −0.1 3 9 1

N¨aist¨a saadaan laskien yhteen realisoituneet luvut w+ = 13 sek¨a w− = 42 ja w = 13. Vastaava P-arvo on P = 0.1562 (MATLAB) eik¨a nollahypoteesia n¨ain hyl¨at¨a t¨ass¨ak¨aa¨n testiss¨ a. JMP:n tulostus on seuraava: Data_16_1: Distribution

MATLAB-k¨asky P=signrank(X,1.8) Page 1 of 1

Distributions Aika Test Mean=value Hypothesized Value 1.8 Actual Estimate 1.60909 df 10 Std Dev 0.38589 t Test Signed-Rank Test Statistic -1.6408 -14.500 Prob > |t| 0.1319 0.156 Prob > t 0.9341 0.922 Prob < t 0.0659 0.078

t-testitulos on t¨ass¨a samantapainen kuin merkityn j¨arjestyksen testill¨a.

¨ LUKU 7. PARAMETRITTOMAT MENETELMAT

72

Esimerkki. Tiettyj¨a testituloksia verrataan. Halutaan saada tiet¨a¨a, onko testitulos parempi, jos koehenkil¨o voi etuk¨ateen harjoitella samantapaisilla teht¨avill¨ a. Asian tutkimiseksi valittiin n = 10 koehenkil¨oparia, joista yhdelle annettiin ennen testi¨a muutama samanlainen teht¨av¨a ja toiselle ei. Saatiin seuraavat tulokset (testipisteet): i 1 Harjoittelua 531 Ei harjoittelua 509

2 621 540

3 663 688

4 579 502

5 451 424

6 660 683

7 591 568

8 719 748

9 543 530

[16.4]

10 575 524

Asetetun nollahypoteesin H0 mukaisesti testitulosten erotuksien mediaani Huomaa, ett¨a t¨ass¨a ei testestipisteiden mediaaon µ ˜0 = 50. Vaihtoehtoinen hypoteesi H1 taas v¨aitt¨a¨a, ett¨a ko. mediaani tata neja! Yleisesti erotuksen on < 50. Kyseess¨a on siis toispuolinen testi. Testi¨a varten lasketaan mediaani ei ole sama kuin mediaanien erotus. taulukko i di di − µ ˜0 ri

1 22 −28 5

2 3 81 −25 31 −75 6 9

4 77 27 3.5

5 6 7 8 9 10 27 −23 23 −29 13 51 −23 −73 −27 −79 −37 1 2 8 3.5 10 7 1

josta n¨ahd¨a¨an, ett¨a w+ = 10.5. Vastaava P-arvo on P = 0.0449 (MATMATLAB-k¨asky P=signrank(D(1,:)-50, LAB). N¨ain ollen H0 voidaan hyl¨at¨a riskitasolla α = 0.05 ja p¨a¨atell¨a, D(2,:))/2 ett¨a harjoittelu etuk¨ateen ei paranna testitulosta (v¨ahint¨a¨an) 50 pisteell¨a erotuksen mediaanimieless¨a. JMP:n tulostus on seuraava: Data: Matched Pairs

Page 1 of 1

Matched Pairs Difference: Harjoittelua-50-Ei_harjoittelua Harjoittelua-50 Ei_harjoittelua Mean Difference Std Error Upper95% Lower95% N Correlation

543.3 571.6 -28.3 12.5999 0.20288 -56.803 10 0.93713

t-Ratio DF Prob > |t| Prob > t Prob < t

-2.24606 9 0.0513 0.9743 0.0257

t-testitulos poikkeaa t¨ass¨a jonkin verran merkityn j¨arjestyksen testist¨a.

Wilcoxon Sign-Rank Test Statistic Prob > |z| Prob > z Prob < z

7.3

Harjoittelua-50-Ei_harjoittelua -17.000 0.090 0.955 0.045

Mann–Whitney-testi

Mann–Whitney-testi vertaa kahden jatkuvan populaatiojakauman mediaaneja. Testi¨a kutsutaan my¨os U-testiksi tai (Wilcoxonin) j¨arjestyssummatestiksi tai vain Wilcoxonin testiksi. Merkit¨a¨an kyseisi¨a populaatiomediaaneja µ ˜1 :ll¨a ja µ ˜2 :lla. Nollahypoteesi on silloin H0 : µ ˜1 = µ ˜2 . Oikeastaan nollahypoteesi on, ett¨a populaatiojakaumat ovat samat—jolloin niill¨a on tietysti sama mediaanikin—sill¨a t¨all¨a oletuksella lasketaan kriittiset rajat jne.

[16.3] Henry Mann (1905–2000) Ransom Whitney (1915– 2001) ”rank-sum test” N¨ain ollen testi ei mitenk¨a¨an lopullisesti ratkaise Behrens–Fisher-probleemaa, vaikka n¨ain usein mainitaankin.

¨ LUKU 7. PARAMETRITTOMAT MENETELMAT

73

Mann–Whitney-testi reagoi herk¨asti nimenomaan populaatiomediaanien eroon, mutta paljon heikommin moniin muihin populaatiojakaumien eroihin. T¨ast¨a syyst¨a se ei my¨osk¨a¨an oikein k¨ay populaatiojakaumien samuustestiksi, vaikka n¨ain usein todetaankin. Monet katsovatkin, ett¨a testi on tulkittava puhtaasti lokaatiotestiksi, jolloin hypoteesien H0 ja H1 mukaiset jakaumat ovat samanmuotoiset, vain eri paikassa. Testin suorittamiseksi otetaan populaatioista otokset x1,1 , . . . , x1,n1

ja x2,1 , . . . , x2,n2 .

Sovitaan, ett¨a otoskoista n1 on pienempi. Menetell¨aa¨n nyt seuraavasti: 1. Yhdistet¨aa¨n otokset yhteisotokseksi

Jos ne ovat erisuuret—t¨am¨a vain laskujen helpottamiseksi.

x1,1 , . . . , x1,n1 , x2,1 , . . . , x2,n2 . 2. J¨arjestet¨a¨an yhteisotosalkiot suuruusj¨arjestykseen ja annetaan niille vastaavat j¨arjestysluvut r1,1 , . . . , r1,n1 , r2,1 , . . . , r2,n2 . Jos yhteisotoksessa on samoja lukuja, jolloin niiden j¨arjestysnumerot ovat per¨akk¨aiset, annetaan niille kaikille j¨arjestysnumeroksi alkuper¨aisten per¨akk¨aisten j¨arjestysnumerojen keskiarvo. Jos esimerkiksi tarkalleen kolmella yhteisotoksen alkioista on tietty sama arvo ja niiden alkuper¨aiset j¨arjestysnumerot ovat 6, 7 ja 8, annetaan niille kaikille silloin j¨arjestysnumeroksi (6 + 7 + 8)/3 = 7. 3. Lasketaan yhteen ensimm¨aisen otoksen n1 j¨arjestyslukua. N¨ain saadaan luku w1 = r1,1 + · · · + r1,n1 . 4. Vastaavasti laskien yhteen toisen otoksen n2 j¨arjestyslukua saadaan luku w2 = r2,1 + · · · + r2,n2 . Huomaa, ett¨a aritmeettisen sarjan summana (n1 + n2 )(n1 + n2 + 1) , w1 + w2 = 2 mist¨a w2 saadaan helposti lasketuksi, kun w1 on saatu. 5. Merkit¨aa¨n viel¨a w = min(w1 , w2 ). Satunnaismuuttujamieless¨a saataisiin vastaavasti satunnaismuuttujat W1 , W2 sek¨a W . Usein n¨aiden tilalla k¨aytet¨aa¨n lukuja u1 = w1 −

n1 (n1 + 1) 2

,

u2 = w2 −

n2 (n2 + 1) 2

ja u = min(u1 , u2 ),

sek¨a vastaavia satunnaismuuttujia U1 , U2 ja U . Testattaessa voivat esiinty¨a seuraavat tilanteet: • Jos tosiasiassa µ ˜1 < µ ˜2 , pyrkii w1 olemaan pieni ja w2 iso. T¨am¨a tilanne johtaa silloin H0 :n hylk¨a¨amiseen vaihtoehtoisen hypoteesin H1 : µ ˜1 < µ ˜2 hyv¨aksi.

T¨ast¨a tulee nimi ”U-testi”.

¨ LUKU 7. PARAMETRITTOMAT MENETELMAT

74

• Vastaavasti, jos tosiasiassa µ ˜1 > µ ˜2 , pyrkii w1 olemaan suuri ja w2 pieni ja H0 hyl¨at¨aa¨n vaihtoehtoisen hypoteesin H1 : µ ˜1 > µ ˜2 hyv¨aksi. • Edelleen, jos jompikumpi luvuista w1 ja w2 on pieni, jolloin w on pieni, se on merkki siit¨a, ett¨a µ ˜1 6= µ ˜2 ja H0 pit¨aisi hyl¨at¨a vaihtoehtoisen hypoteesin H1 : µ ˜1 6= µ ˜2 hyv¨aksi. Vastaavalla tavalla testiss¨a voitaisiin k¨aytt¨aa¨ lukuja u1 , u2 ja u. Tarkat kriittiset arvot eri riskitodenn¨ak¨oisyyksille (H0 :n voimassaollessa) ovat ty¨ol¨ait¨a laskea ja ne katsotaan viel¨akin usein taulukoista. Suurille n1 :n ja n2 :n arvoille W1 :n (ja W2 :n) jakauma l¨ahestyy kyll¨akin t¨all¨oin normaalijakaumaa, ts.  n (n + n + 1) n n (n + n + 1)  1 2 1 2 1 1 2 W1 ≈ N , . 2 12 Nettilaskimia l¨oytyy t¨allekin testille. Esimerkki. Kahden eri savukemerkin A ja B nikotiinipitoisuuksia mitattiin (yksikk¨on¨a mg). Testattava hypoteesipari on H0 : µ ˜A = µ ˜B vs. H1 : µ ˜A 6= µ ˜B . Saatiin seuraavat tulokset, mukana my¨os yhteisotoksen j¨arjestysluvut: i xA,i rA,i xB,i rB,i

1 2.1 4 4.1 12

2 4.0 10.5 0.6 1

3 6.3 18 3.1 7

4 5.4 14.5 2.5 6

5 4.8 13 4.0 10.5

6 3.7 9 6.2 17

7 6.1 16 1.6 2

8 3.3 8 2.2 5

9 – – 1.9 3

[16.5]

10 – – 5.4 14.5

Otoskoot olivat siis nA = 8 ja nB = 10. Laskien saadaan wA = 93 ja wB = 78 sek¨a w = 78. (Vastaavasti saataisiin uA = 57 ja uB = 23 sek¨a u = 23.) T¨ ast¨a saadaan P-arvoksi P = 0.1392 (MATLAB) eik¨a H0 :a ole syyt¨a hyl¨at¨ a. JMP:n tulostus on seuraava: Data: Oneway

MATLAB-k¨asky P=ranksum(X_A,X_B) Page 1 of 1

Oneway Analysis of Nikotiini By Merkki Wilcoxon / Kruskal-Wallis Tests (Rank Sums) Level A B

Count 8 10

Score Sum 93 78

Score Mean 11.6250 7.8000

(Mean-Mean0)/Std0 1.468 -1.468

2-Sample Test, Normal Approximation S 93

Z 1.46758

Prob>|Z| 0.1422

N¨am¨a ovat siis approksimaatioita.

1-way Test, ChiSquare Approximation ChiSquare 2.2863

7.4

DF 1

Prob>ChiSq 0.1305

Kruskal–Wallis-testi

Kruskal–Wallis-testi on Mann–Whitney-testin yleistys tilanteeseen, jossa vertailtavia populaatioita voi olla enemm¨ankin kuin kaksi. Merkit¨aa¨n

[16.4] William Kruskal (1919– 2005), Allen Wallis (1912–1998)

¨ LUKU 7. PARAMETRITTOMAT MENETELMAT

75

populaatioiden (k kpl) jakaumien mediaaneja samaan tapaan kuin edell¨a: µ ˜1 , . . . , µ ˜k . Kuten Mann–Whitney-testi, Kruskal–Wallis-testi vertailee populaatiojakaumia niiden mediaanien kautta, vaikkakin oletus kriittisi¨a arvoja laskiessa on, ett¨a populaatiojakaumat ovat samat. Oleellisesti nollahypoteesi on H0 : µ ˜1 = · · · = µ ˜k . Testin suorittamiseksi otetaan kustakin populaatiosta otos, n¨am¨a otokset yhdistet¨a¨an yhteisotokseksi ja sen alkiot j¨arjestet¨a¨an suuruusj¨arjestykseen aivan kuten Mann–Whitney-testiss¨akin. Erityisesti toistuvat arvot k¨asitell¨a¨an samalla tavalla. Kustakin populaatiosta otetun otoksen alkioiden j¨arjestysluvut lasketaan yhteen, jolloin saadaan j¨arjestyssummat w1 , . . . , wk ja vastaavat satunnaismuuttujat W1 , . . . , Wk . Merkit¨a¨an viel¨a j:nnen populaation otoskokoa nj :ll¨a ja n = n1 + · · · + nk . Testin tarkan kriittisen rajan laskeminen on hyvin ty¨ol¨ast¨a, ainakin v¨ah¨ank¨a¨an suuremmille k:n arvoille. Testi tehd¨a¨ankin yleens¨a sill¨a tiedolla, ett¨a (H0 :n voimassaollessa) satunnaismuuttujalla k

X Wj2 12 − 3(n + 1) H= n(n + 1) j=1 nj on approksimatiivisesti χ2 -jakauma k − 1 vapausasteella. T¨at¨a approksimaatiota voidaan k¨aytt¨a¨a my¨os Mann–Whitney-testille (jossa k = 2). Testin (approksimatiivinen) P-arvo saadaankin realisoitunutta H:n arvoa

N¨ain teki JMP edellisess¨a esimerkiss¨a.

k

h=

X wj2 12 − 3(n + 1) n(n + 1) j=1 nj

vastaavana χ2 -jakauman loppuh¨ant¨atodenn¨ak¨oisyyten¨a (siis k − 1 vapausasteella). J¨alleen nettilaskimiakin t¨alle testille on, ainakin pienemmille k:n arvoille. Esimerkki. Kolmen eri ohjustyypin A, B ja C polttoaineen palamisnopeutta tutkittiin. Tulokset (sopivasti koodattuina) ovat alla, mukana ovat my¨os j¨arjestysluvut. i xA,i rA,i xB,i rB,i xC,i rC,i

1 24.0 19 23.2 18 18.4 7

2 16.7 1 19.8 14.5 19.1 11

3 22.8 17 18.1 6 17.3 2.5

4 19.8 14.5 17.6 4 17.3 2.5

5 18.9 9.5 20.2 16 19.7 13

6 7 – – – – 17.8 – 5 – 18.9 18.8 9.5 8

8 w – – 61 – – 63.5 19.3 12 65.5

T¨ast¨a laskettu testisuure on h = 1.6586 ja vastaava χ2 -jakaumasta (2 vapausasteella) saatu P-arvo on P = 0.4364 eik¨a H0 :a hyl¨at¨a. Ohjustyypit ovat siis polttoaineen palonopeuden puolesta samanlaiset mediaaneilla mitaten. JMP:n tulostus on seuraava:

[16.6]

¨ LUKU 7. PARAMETRITTOMAT MENETELMAT

76

Data: Oneway

Page 1 of 1

Oneway Analysis of Palonopeus By Tyyppi Wilcoxon / Kruskal-Wallis Tests (Rank Sums) Level A B C

Count 5 6 8

Score Sum 61 63.5 65.5

Score Mean 12.2000 10.5833 8.1875

(Mean-Mean0)/Std0 0.973 0.263 -1.158

1-way Test, ChiSquare Approximation ChiSquare 1.6630

DF 2

Prob>ChiSq 0.4354

MATLABilla laskut ovat seuraavat: >> >> >> >> >>

X=[24.0 16.7 22.8 19.8 18.9]; Y=[ 23.2 19.8 18.1 17.6 20.2 17.8]; Z=[18.4 19.1 17.3 17.3 19.7 18.9 18.8 19.3]; ryhma=[ones(1,length(X)) 2*ones(1,length(Y)) 3*ones(1,length(Z))]; P=kruskalwallis([X Y Z],ryhma)

Huomaa pieni ero edelliseen verrattuna! JMP laskeekin ns. korjatun testisuureen. Siit¨a on etua, mik¨ali toistuvia arvoja on paljon.

P =

Samoin tekee MATLAB!

0.4354

7.5

J¨ arjestyskorrelaatiokerroin

[16.5]

Jos kaksi populaatiota liittyy alkio alkiolta toisiinsa, kuvataan n¨aiden suhdetta usein otoksista saatavalla suureella, ns. (Pearsonin) otoskorrelaatiokertoimella r. T¨am¨an laskemista varten otetaan n alkion satunnaisotos kummastakin populaatiosta vastinalkioittain: x1,1 , . . . , x1,n

ja x2,1 , . . . , x2,n .

r:n laskemiseksi lasketaan ensin otoskovarianssi n

q=

1 X (x1,i − x1 )(x2,i − x2 ), n − 1 i=1

joka on populaatiojakaumien kovarianssin (harhaton) estimaatti. T¨ass¨a x1 on ensimm¨aisen otoksen otoskeskiarvo ja x2 toisen. T¨ast¨a saadaan edelleen mainittu otoskorrelaatiokerroin r=

q , s1 s2

miss¨a s21 on ensimm¨aisen otoksen otosvarianssi ja s22 toisen. T¨at¨a k¨ay- Lis¨aoletuksena on tietysti, ett¨a s1 , s2 6= 0. tet¨a¨an populaatiojakaumien (lineaarisen) riippuvuuden tutkimiseen samaan tapaan kuin varsinaista korrelaatiokerrointa corr(X, Y ). My¨os r:n Ks. kurssi Todenn¨ak¨oisyyslaskenta. arvot ovat v¨alill¨a [−1, 1]. Populaatioiden j¨arjestyskorrelaatiokerroin on samantapainen parametriton suure. J¨arjestet¨a¨an sit¨a varten kummankin otoksen alkiot erikseen suuruusj¨arjestykseen ja annetaan niille j¨arjestysluvut kuten edell¨a: r1,1 , . . . , r1,n

ja r2,1 , . . . , r2,n .

Erityisesti mahdolliset toistuvat arvot k¨asitell¨aa¨n kuten edell¨a. Kummallekin otokselle sen j¨arjestyslukujen keskiarvo on

Vrt. aritmeettinen sarja.

¨ LUKU 7. PARAMETRITTOMAT MENETELMAT r=

77

1 n+1 (1 + 2 + · · · + n) = . n 2

Edelleen saadaan kummankin otoksen j¨arjestyslukujen neli¨oiden summa, olettaen, ettei samoja arvoja esiinny: n X

2 r1,i

=

i=1

n X i=1

1 2 r2,i = 12 + 22 + · · · + n2 = n(n + 1)(2n + 1). 6

Spearmanin j¨arjestyskorrelaatiokerroin on silloin yksinkertaisesti j¨arjestysluvuista saatava otoskorrelaatiokerroin, ts. n X (r1,i − r)(r2,i − r)

Lis¨aoletuksena on, ett¨a kummankaan otoksen j¨arjestysluvut eiv¨at ole kaikki samoja. Charles Spearman (1863– 1945)

s n rS = s n i=1 . X X 2 2 (r1,i − r) (r2,i − r) i=1

i=1

T¨am¨a on helpompi laskea, jos (kuten nyt oletetaan) samoja arvoja ei esiinny otoksissa. Samaan tapaan kuin tehtiin otosvariansseille n¨ahd¨a¨an, ett¨a n X

(r1,i − r)(r2,i − r) =

n X

2

r1,i r2,i − n r =

i=1

i=1

n X i=1

1 r1,i r2,i − n(n + 1)2 4

ja n X

2

(r1,i − r) =

i=1

n X i=1

1 1 2 r1,i − n(n + 1)2 = (12 + 22 + · · · + n2 ) − n(n + 1)2 4 4

1 1 1 = n(n + 1)(2n + 1) − n(n + 1)2 = n(n2 − 1), 6 4 12 samoin toiselle otokselle. N¨ait¨a k¨aytt¨aen saadaan pienell¨a laskulla j¨arjestyskorrelaatiokertoimelle yksinkertaisempi kaava n

X 12 n+1 rS = r1,i r2,i − 3 . 2 n(n − 1) i=1 n−1 J¨arjestyslukujen erotuksien di = r1,i − r2,i neli¨oiden Pn summa voidaan toisaalta yhdist¨a¨a kaavassa esiintyv¨a¨an summaan i=1 r1,i r2,i : X i=1

d2i

n n X X 1 2 2 = (r1,i − 2r1,i r2,i + r2,i ) = −2 r1,i r2,i + n(n + 1)(2n + 1). 3 i=1 i=1

N¨ain saadaan viel¨a v¨ah¨an laskien rS lausutuksi ko. erotuksien avulla viel¨akin yksinkertaisemmin: n

X 6 rS = 1 − d2i . 2 n(n − 1) i=1 T¨am¨a ”helppo” kaava p¨atee siis tarkasti ottaen vain, kun otosarvot eiv¨at Outoa kyll¨a, sit¨a n¨ak¨oj¨a¨an kuitenkin k¨aytet¨a¨an yleitoistu. sesti silloinkin, kun ne toistuvat. Tulos ei silloin v¨altt¨am¨att¨a ole oikein tarkka.

¨ LUKU 7. PARAMETRITTOMAT MENETELMAT

78

Toisin kuin Pearsonin korrelaatiokerroin Spearmanin korrelaatiokerroin pystyy mittaamaan jossain m¨aa¨rin my¨os ep¨alineaarista korrelaatiota populaatiojakaumien v¨alill¨a. Sit¨a voidaan my¨os k¨aytt¨a¨a ordinaaliarvoisille populaatiojakaumille (diskreetti kategorinen jakauma, jonka tasot voidaan asettaa j¨arjestykseen). Esimerkki. Edell¨a olevassa esimerkiss¨a rengastyyppien R ja B j¨arjestysotoskorrelaatiokerroin rS = 0.9638 on korkea kuten pit¨a¨akin, sill¨a autot ja kuljettajat olivat koepareittain samat. My¨oskin (Pearsonin) otoskorrelaatiokerroin r = 0.9743 on korkea. N¨am¨a lasketaan MATLABilla seuraavasti: >> D=[4.2 4.7 6.6 7.0 6.7 4.5 5.7 6.0 7.4 4.9 6.1 5.2 5.7 6.9 6.8 4.9; 4.1 4.9 6.2 6.9 6.8 4.4 5.7 5.8 6.9 4.9 6.0 4.9 5.3 6.5 7.1 4.8]; >> corr(D(1,:)’,D(2,:)’,’type’,’Spearman’) ans = 0.9638 >> corr(D(1,:)’,D(2,:)’,’type’,’Pearson’) ans = 0.9743

Toinen paljon k¨aytetty j¨arjestyskorrelaatiokerroin on ns. Kendallin korrelaatiokerroin.

Luku 8 STOKASTINEN SIMULOINTI Kirjassa WMMY ei k¨asitell¨a satunnaislukujen generointia ja stokastista simulointia. Seuraavassa on lyhyt katsaus perusmenetelmiin.

8.1

Satunnaislukujen generointi

Stokastinen simulointi kattaa sellaiset menettelyt, joissa vaiheessa tai toisessa k¨aytet¨a¨an generoituja satunnaislukuja. N¨am¨a satunnaisluvut voivat tulla eri jakaumista, mutta yleens¨a ne ovat riippumattomia. Satunnaislukujen generointi—erityisesti nopea ja tarkka generointi—on hankala numeerisen analyysin alue. Esitelt¨av¨at menettelyt ovat yksinkertaisia, mutta eiv¨at v¨altt¨am¨att¨a riitt¨av¨an nopeita tai tarkkoja vaativiin sovelluksiin. Jotakuinkin kaikissa tilasto-ohjelmistoissa, mm. MATLABissa, on satunnaislukugeneraattoreita tavallisimmille jakaumille. Nettigeneraattoreitakin l¨oytyy, mutta ne eiv¨at aina sovellu ”oikeaan” simulointiin.

8.1.1

Tasajakaumien generointi

V¨alille [0, 1) tasan jakautuneita (riippumattomia) satunnaislukuja gene- Asiaa k¨asitell¨a¨an mm. monisteissa RUOHONEN, K: roidaan lukuteoreettisin menetelmin. Jatkossa oletetaan, ett¨a t¨allaisia sa- Matemaattinen kryptologia tai RUOHONEN, K: tunnaislukuja on saatavilla. On huomattava, ett¨a n¨am¨a satunnaislukuSymbolinen analyysi. generaattorit ovat t¨aysin deterministisi¨a ohjelmia, joissa ei ole mit¨a¨an satunnaista. Generoidut lukujonot kuitenkin k¨aytt¨aytyv¨at kyllin hyvin ”pseudo-random numbers” kuten ”oikeat” satunnaisluvut. Avoimelle v¨alille (0, 1) tasan jakautuneita satunnaislukuja saadaan hylk¨a¨am¨all¨a generoituneet 0-arvot. Suljetulle v¨alille [0, 1] tasan jakautuneita satunnaislukuja taas saadaan vaikkapa hylk¨a¨am¨all¨a arvot, jotka ovat > 0.5 ja kertomalla tulos kahdella. Ja viel¨a, jos U on tasan jakautunut v¨alille [0, 1), niin 1 − U on tasan jakautunut v¨alille (0, 1]. V¨alin tyypill¨a ei siis ole v¨ali¨a. Helposti saadaan muillekin kuin v¨alille [0, 1) tasan jakautuneita satunnaislukuja. Jos nimitt¨ain U on tasan jakautunut v¨alille [0, 1), niin (b − a)U + a on tasan jakautunut v¨alille [a, b). Muun tyyppiset v¨alit k¨asitell¨a¨an vastaavasti.

79

LUKU 8. STOKASTINEN SIMULOINTI

8.1.2

80

Diskreettien jakaumien generointi

¨ arelliset jakaumat ovat helposti generoitavissa. Jos ¨a¨arellisen jakauman A¨ mahdolliset tapaukset ovat T1 , . . . , Tm ja niiden todenn¨ak¨oisyydet ovat vastaavasti p1 , . . . , pm (miss¨a p1 , . . . , pm > 0 ja p1 + · · · + pm = 1), niin seuraava menettely generoi jakauman mukaisen tapauksen: 1. Generoidaan v¨alille [0, 1) tasan jakautunut satunnaisluku u. 2. Etsit¨aa¨n sellainen indeksi i, ett¨a p0 + · · · + pi ≤ u < p0 + · · · + pi+1 , miss¨a sovitaan ett¨a p0 = 0. 3. Tulostetaan Ti+1 . T¨am¨a menetelm¨a sopii erityisesti diskreetin tasajakauman generointiin. Silloin p1 = · · · = pn = 1/n. T¨all¨a tavoin voidaan esimerkiksi ottaa satunnaisotos ¨a¨arellisest¨a populaatiosta numeroimalla sen alkiot. Binomijakauma Bin(p, n) on periaatteessa generoitavissa ¨a¨arellisen¨a jakaumana eo. menettelyll¨a, mutta se on yleens¨a liian raskas. Helpommalla p¨a¨asee, kun generoi n kpl sellaisen ¨a¨arellisen jakauman tapausta, jossa mahdolliset tapaukset ovat T1 ja T2 ja P(T1 ) = p. Realisoitunut binomijakautunut satunnaisluku x on silloin realisoitunut tapausten T1 lukum¨a¨ar¨a. Poissonin jakauma on vaikeampi generoida. Parametrilla λ Poissonjakautuneen satunnaismuuttujan X mahdolliset arvot x ovat kokonaisluvut 0, 1, 2, . . . ja λx P(X = x) = e−λ . x! Er¨as tapa generoida X:n arvoja x on k¨aytt¨a¨a apuna eksponenttijakaumaa (jonka generointiin palataan my¨ohemmin). Jos satunnaismuuttujalla Y on eksponenttijakauma parametrilla λ, niin sen tiheysfunktio on λe−λy (kun y ≥ 0 ja = 0 muualla). Helpolla laskulla todetaan, ett¨a P(Y ≤ 1) = 1 − e−λ = 1 − P(X = 0) = P(X ≥ 1). Vaikeampi on todeta (sivuutetaan) yleisempi tulos, ett¨a jos Y1 , . . . , Yk ovat riippumattomia eksponenttijakautuneita satunnaismuuttujia (kukin niist¨a parametrilla λ) sek¨a Wk = Y1 + · · · + Yk , niin P(Wk ≤ 1) = 1 −

k−1 i X λ i=0

i!

e−λ = 1 − P(X ≤ k − 1) = P(X ≥ k).

N¨ain ollen P(X = k − 1) = P(X ≥ k − 1) − P(X ≥ k) = P(Wk−1 ≤ 1) − P(Wk ≤ 1). T¨ast¨a kaikesta voidaan p¨a¨atell¨a, ett¨a seuraava menettely tuottaa parametrilla λ Poisson-jakautuneen satunnaisluvun x: 1. Generoidaan toistuvasti riippumattomia parametrilla λ eksponenttijakautuneita satunnaislukuja niin kauan kun niiden summa on ≤ 1. 2. Kun summa ensimm¨aisen kerran ylitt¨a¨a 1:n, katsotaan generoitujen eksponenttijakautuneiden satunnaislukujen lukum¨a¨ar¨a k. 3. Tulostetaan x = k − 1.

Bernoullin jakauma

LUKU 8. STOKASTINEN SIMULOINTI

8.1.3

81

Jatkuvien jakaumien generointi k¨ a¨ anteiskertym¨ amenetelm¨ all¨ a

Jos jatkuvan satunnaismuuttujan X kertym¨afunktiolla F on k¨a¨anteisfunktio F −1 (sellaisessa joukossa, jossa sen tiheysfunktio on 6= 0), niin X:n arvoja x voidaan generoida l¨ahtien tasajakaumasta. Pulmana voi vain olla mainitun k¨a¨anteisfunktion arvojen laskeminen kyllin nopeasti. T¨am¨a ns. k¨a¨anteiskertym¨amenetelm¨a on seuraava: ”inverse transform method” 1. Generoidaan v¨alille [0, 1) tasan jakautunut satunnaisluku u (vastaava satunnaismuuttuja on U ). 2. Lasketaan x = F −1 (u) (ts. u = F (x) ja satunnaismuuttujille U = F (X)). 3. Tulostetaan x. Menettely perustuu seuraavaan havaintoon: Koska kertym¨afunktiona F on ei-v¨ahenev¨a ja U :n kertym¨afunktio v¨alill¨a [0, 1) on G(u) = u, niin


P(X ≤ x) = P F (X) ≤ F (x) = P U ≤ F (x) = G F (x) = F (x). My¨oskin suuresta otoksesta saatua empiirist¨a kertym¨afunktiota voidaan k¨aytt¨a¨a, otosarvojen v¨alisi¨a arvoja lineaarisesti interpoloiden. Katsotaan esimerkkin¨a eksponenttijakauman tapaus, joka jo edell¨a tarvittiin Poissonin jakaumaa generoitaessa. Jos X:ll¨a on eksponenttijakauma parametrilla λ, niin sen kertym¨afunktio on F (x) = 1 − e−λx (kun x ≥ 0). K¨a¨anteisfunktio F −1 on helposti l¨oydett¨aviss¨a: Jos y = 1 − e−λx , niin 1 x = F −1 (y) = − ln(1 − y). λ Jokaista generoitua v¨alille [0, 1) tasan jakautunutta satunnaislukua u kohti saadaan siis parametrilla λ eksponenttijakautunut satunnaisluku 1 x = − ln(1 − u). λ Normaalijakauman N(µ, σ 2 ) generoimiseksi riitt¨a¨a generoida standardinormaalijakauma. Jos nimitt¨ain satunnaismuuttujalla Z on standardinormaalijakauma, niin satunnaismuuttujalla X = σZ + µ on N(µ, σ 2 )-jakauma. Standardinormaalijakauman kertym¨afunktion 1 Φ(x) = √ 2π

Zx

1 2

e− 2 t dt

−∞

k¨aa¨nteisfunktio Φ−1 (kvantiilifunktio) ei ole esitett¨aviss¨a ”tuttujen” funktioiden avulla eik¨a aivan helposti laskettavissa numeerisestikaan. Jonkinlaisen approksimaation antaa Pyk¨al¨ass¨a 1.3 mainittu tulos
Φ−1 (y) = q0,1 (y) ∼ = 4.91 y 0.14 − (1 − y)0.14 .

K¨aytt¨aen ns. ogiivia.

LUKU 8. STOKASTINEN SIMULOINTI

82

Huomattavasti parempi approksimaatio on esimerkiksi ( w − v, kun 0 < y ≤ 0.5 Φ−1 (y) ∼ = v − w, kun 0.5 ≤ y < 1, miss¨a w=

2.515517 + 0.802853v + 0.010328v 2 1 + 1.432788v + 0.189269v 2 + 0.001308v 3

ja v=

q
−2 ln min(y, 1 − y) .

Normaalijakaumasta saatavia jakaumia voidaan generoida aivan sill¨a tavoin kuin ne normaalijakaumasta saadaan. Jos generoitavana on χ2 -jakauma n vapausasteella, niin generoidaan n riippumatonta standardinormaalia satunnaislukua z1 , . . . , zn ja lasketaan v = z12 + · · · + zn2 . Jos taas generoitavana on t-jakauma n vapausasteella, generoidaan n + 1 riippumatonta standardinormaalia satunnaislukua z1 , . . . , zn+1 ja lasketaan √ zn+1 n . t= p 2 z1 + · · · + zn2 Ja jos generoitavana on F-jakauma vapausastein n1 ja n2 , generoidaan n1 + n2 riippumatonta standardinormaalia satunnaislukua z1 , . . . , zn1 +n2 ja lasketaan z 2 + · · · + zn2 1 n2 . f= 2 1 2 zn1 +1 + · · · + zn1 +n2 n1

8.1.4

Jatkuvien jakaumien generointi hyv¨ aksy–hylk¨ a¨ a-menetelm¨ all¨ a

Hyv¨aksy–hylk¨a¨a-menetelm¨a¨a soveltuu sellaisen satunnaisluvun x generointiin, jota vastaavan jakauman tiheysfunktio f on 6= 0 vain tietyll¨a ¨a¨arellisell¨a v¨alill¨a [a, b] (ei v¨altt¨am¨att¨a koko v¨alill¨a) ja on t¨all¨a v¨alill¨a rajoitettu luvulla c. Menettely on seuraava: 1. Generoidaan satunnaisluku u, joka on tasan jakautunut v¨alille [a, b], ja siit¨a riippumatta v¨alille (0, c] tasan jakautunut satunnaisluku v. 2. Toistetaan tarvittaessa kohtaa 1. kunnes v ≤ f (u). (Muista, ett¨a f oli siis rajoitettu luvulla c, ts. f (u) ≤ c.) 3. Tulostetaan x = u. Metodi toimii seuraavasta syyst¨a: • Generoidut satunnaislukuparit (u, v) ovat tasan jakautuneet suorakulmioon a ≤ u ≤ b, 0 < v ≤ c. • Kohtaan 3. selvi¨av¨at vain ne parit, joille v ≤ f (x), ja ne ovat silloin tasan jakautuneet alueeseen A : a ≤ u ≤ b, 0 < v ≤ f (u).

”accept–reject method”

LUKU 8. STOKASTINEN SIMULOINTI

83

• Alueen A ala on ilmeisestikin Zb f (u) du = 1, a

joten vm. tasajakauman tiheysfunktio alueessa A on = 1 (ja = 0 sen ulkopuolella). (Muista, ett¨a tiheysfunktio f oli = 0 v¨alin [a, b] ulkopuolella.) • Satunnaisluvun u jakauma on silloin marginaalijakauma, jonka tiheysfunktio saadaan integroimalla pois muuttuja v, ts. Ks. kurssi Todenn¨ak¨ oisyys-

laskenta.

f (u) Z

1 dv = f (u). 0

• N¨ain ollen tulostetulla satunnaisluvulla x on oikea jakauma. Hyv¨aksy–hylk¨a¨a-menetelm¨a¨a voidaan kyll¨a k¨aytt¨a¨a silloinkin, kun jakauman tiheytt¨a ei voida rajata ¨a¨arelliselle v¨alille. Silloin pit¨a¨a valita vain v¨ali [a, b], jonka ulkopuolelle j¨a¨a riitt¨av¨an pieni osa todenn¨ak¨oisyysmassaa. Menetelm¨ast¨a on my¨os muita variantteja. Yo. perusversion pulma esimerkiksi on usein se, ett¨a X:n tiheysfunktiolla f on yksi tai useampia kapeita ja korkeita huippuja. Silloin hylk¨a¨amisi¨a kohdassa 2. tulee paljon ja menetelm¨a on hidas. T¨at¨a voidaan korjata seuraavalla idealla. Etsit¨a¨an sellainen satunnaismuuttuja U , jonka tiheysfunktio g on = 0 v¨alin [a, b] ulkopuolella, jonka arvoja osataan generoida nopeasti ja jolle f (x) ≤ M g(x) jollekin vakiolle M . Tavoite on se, ett¨a g ”mukailee” paremmin f :n muo- Perusversiossa yll¨a U :lla on [a, b] ja toa kuin vaakasuora viiva, jolloin hylk¨a¨amisi¨a tulee v¨ahemm¨an. Itse me- tasajakaumaMv¨alille = c(b − a). nettely on t¨am¨an j¨alkeen muuten sama kuin edell¨a paitsi ett¨a kohta 1. korvautuu kohdalla 1’. Generoidaan satunnaisluku u, joka on jakautunut v¨alille [a, ass¨a ¨a¨arellisen v¨alin [a, b]  b] ti- T¨ tilalla voisi olla ¨a¨aret¨ onkin heyden g mukaisesti, ja siit¨a riippumatta v¨alille 0, M g(u) tasan v¨ ali, esimerkiksi (−∞, ∞). jakautunut satunnaisluku v. Menetelm¨an perustelukin on melkein sama, generoidut satunnaislukuparit (u, v) ovat tasan jakautuneet alueeseen a ≤ u ≤ b, 0 < v ≤ M g(u) jne., mutta vaatii ehdollisen jakauman k¨asitteen.

8.2

Ko. alueessa tiheysfunktio on 1/M .

Uudelleenotanta

Uudelleenotanta on kokonainen menetelm¨ajoukko, jonka tarkoituksena on simulointiotannalla tutkia populaation sellaisia tilastollisia ominaisuuksia, joihin on vaikeaa muuten p¨a¨ast¨a k¨asiksi.

”resampling”

LUKU 8. STOKASTINEN SIMULOINTI

84

Perusperiaate on seuraava: Otetaan ensin kattava suuri otos tutkittavasta populaatiosta. T¨am¨a tehd¨aa¨n huolellisesti ja riitt¨av¨all¨a rahoituksella. Sen j¨alkeen otetaan hyvin suuri m¨a¨ar¨a pienempi¨a otoksia t¨ast¨a perusotoksesta ik¨a¨ankuin pit¨aen sit¨a populaationa. Koska koko perusotos on talletettu tietokoneelle, t¨am¨a voidaan tehd¨a hyvin nopeasti. Siit¨a huolimatta uudelleenotanta on usein eritt¨ain laskentaintensiivist¨a. N¨ain voidaan esimerkiksi saada hyvin suuri m¨aa¨r¨a n¨aytteit¨a jostakin tietty¨a otoskokoa vastaavasta otossuureesta (otoskvantiili, otosmediaani, estimoitu Monissa tapauksissa t¨allaiotossuureen oikea jasuhdeluku, otoskorrelaatiokerroin tms.). N¨aytteit¨a k¨aytt¨aen voidaan itse senkauma olisi jotakuinkin asiassa saada varsin hyv¨a approksimaatio ko. otossuureen koko jakau- mahdoton johtaa analyyttisin menetelmin. malle alkuper¨aisess¨a populaatiossa melko tarkkoina empiirisin¨a tiheysja kertym¨afunktiona. Vaatimattomampana tavoitteena voisi olla esimerkiksi vain luottamusv¨ali otossuureelle.

8.3

Monte Carlo -integrointi

Nyky¨a¨an stokastista simulointia kutsutaan usein Monte Carlo -simuloinniksi, vaikka varsinainen Monte Carlo -menetelm¨a onkin numeerinen integrointimenetelm¨a. Ajatellaan tilannetta, jossa kolmen muuttujan funktio f (x, y, z) pit¨aisi integroida mahdollisesti mutkikkaan rajoitetun R3 :n kappaleen K yli, ts. pit¨aisi laskea numeerisesti integraali Z f (x, y, z) dx dy dz K

kohtuullisella tarkkuudella. Kolmisuuntainen numeerinen integrointi esimerkiksi Simpsonin menetelm¨all¨a olisi kovin hidas. Monte Carlo -menetelm¨a t¨alle teht¨av¨alle olisi seuraavanlainen. T¨all¨oin oletetaan, ett¨a on olemassa nopea tapa tarkistaa onko annettu piste (x, y, z) kappaleessa K vai ei ja ett¨a kappale K voidaan rajata sopivasti jonkin suorakulmion P : a1 ≤ x ≤ a2 , b1 ≤ y ≤ b2 , c1 ≤ z ≤ c2 sis¨a¨an. Merkit¨a¨an K:n tilavuutta V :ll¨a. 1. Menetelm¨ass¨a ker¨at¨a¨an otosta, jota merkit¨a¨an O:lla. Aluksi se on tyhj¨a. 2. Generoidaan satunnaispiste r = (x, y, z) suorakulmiosta P. T¨am¨a tehd¨a¨an yksinkertaisesti generoimalla kolme riippumatonta tasajakautunutta satunnaislukua x, y ja z v¨aleilt¨a [a1 , a2 ], [b1 , b2 ] ja [c1 , c2 ], vastaavasti. 3. Testataan onko piste r kappaleessa K vai ei (t¨am¨anh¨an piti olla teht¨aviss¨a nopeasti). Ellei n¨ain ole, palataan kohtaan 2. 4. Jos piste r on kappaleessa K, lasketaan f (r) ja lis¨at¨a¨an se otokseen O. 5. Lasketaan k¨asill¨a olevan otoksen O otoskeskiarvo x. Jos se ei ole halutulla tarkkuudella muuttunut muutamaan kierrokseen, lopetetaan ja tulostetaan V x. Muuten palataan kohtaan 2. ja jatketaan.

LUKU 8. STOKASTINEN SIMULOINTI

85

Menettely toimii, sill¨a usean kierroksen j¨alkeen otoskeskiarvo x approksimoi kohtalaisen hyvin satunnaismuuttujan f (X, Y, Z) odotusarvoa, kun kolmikko (X, Y, Z) on tasan jakautunut kappaleeseen K. Vastaava tiheysfunktio on silloin = 1/V kappaleessa K (ja = 0 sen ulkopuolella). Mainittu odotusarvo on toisaalta Z
1 E f (X, Y, Z) = f (x, y, z) dx dy dz, V K

jotenka kertomalla V :ll¨a siit¨a saadaan haluttu integraali. 3

3

3

Esimerkki. Lasketaan esimerkkin¨a funktion f (x, y, z) = ex +y +2z integraali yli R3 :n yksikk¨opallon x2 + y 2 + z 2 ≤ 1. Oikea arvo on 4.8418 (Maple), MATLAB antaa miljoonalla toistolla Monte Carlo -approksimaation 4.8429. Itse asiassa edell¨a mainittu tilavuus V :kin saadaan Monte Carlo -menetelm¨all¨a. T¨am¨a menettely on seuraava: 1. Menetelm¨ass¨a yll¨apidet¨a¨an kahta laskuria n ja l. Aluksi n = l = 0. 2. Generoidaan satunnaispiste r suorakulmiosta P ja lis¨at¨a¨an laskurin n arvoa yhdell¨a. 3. Testataan onko piste r kappaleessa K vai ei. 4. Jos piste r on kappaleessa K, lis¨at¨a¨an laskurin l arvoa yhdell¨a. 5. Lasketaan esimerkkin¨a p = l/n. Jos se ei ole halutulla tarkkuudella muuttunut muutamaan kierrokseen, lopetetaan ja tulostetaan Huomaa, ett¨a esiintyv¨a p · (a2 − a1 )(b2 − b1 )(c2 − c1 ). Muuten palataan kohtaan 2. ja jatke- (a2 − a1 )(b2 − b1 )(c2 − c1 ) on suorakulmion P tilataan. vuus.

T¨ast¨a perusmenetelm¨ast¨a on monenlaisia variaatioita, se sopii korkeampiinkin dimensioihin jne. Yleisesti Monte Carlo -integrointi vaatii melko paljon toistoja kohtuulliseen tarkkuuteen p¨a¨asemiseksi, sit¨a enemm¨an mit¨a korkeampi dimensio.

Liite ¨ TOLERANSSIVALITAULUKKO Taulukot on laskettu Maple-ohjelmistolla. Taulukko antaa kertoimen k arvon. Ensin kaksipuoliselle toleranssiv¨alille: k: γ = 0.1 γ = 0.05 γ = 0.01 n α = 0.1 α = 0.05 α = 0.01 α = 0.1 α = 0.05 α = 0.01 α = 0.1 α = 0.05 α = 0.01 5 3.4993 4.1424 5.3868 4.2906 5.0767 6.5977 6.6563 7.8711 10.222 6 3.1407 3.7225 4.8498 3.7325 4.4223 5.7581 5.3833 6.3656 8.2910 7 2.9129 3.4558 4.5087 3.3895 4.0196 5.2409 4.6570 5.5198 7.1907 8 2.7542 3.2699 4.2707 3.1560 3.7454 4.8892 4.1883 4.9694 6.4812 9 2.6367 3.1322 4.0945 2.9864 3.5459 4.6328 3.8596 4.5810 5.9803 10 2.5459 3.0257 3.9579 2.8563 3.3935 4.4370 3.6162 4.2952 5.6106 11 2.4734 2.9407 3.8488 2.7536 3.2727 4.2818 3.4286 4.0725 5.3243 12 2.4139 2.8706 3.7591 2.6701 3.1748 4.1555 3.2793 3.8954 5.0956 13 2.3643 2.8122 3.6841 2.6011 3.0932 4.0505 3.1557 3.7509 4.9091 14 2.3219 2.7624 3.6200 2.5424 3.0241 3.9616 3.0537 3.6310 4.7532 15 2.2855 2.7196 3.5648 2.4923 2.9648 3.8852 2.9669 3.5285 4.6212 16 2.2536 2.6822 3.5166 2.4485 2.9135 3.8189 2.8926 3.4406 4.5078 17 2.2257 2.6491 3.4740 2.4102 2.8685 3.7605 2.8277 3.3637 4.4084 18 2.2007 2.6197 3.4361 2.3762 2.8283 3.7088 2.7711 3.2966 4.3213 19 2.1784 2.5934 3.4022 2.3460 2.7925 3.6627 2.7202 3.2361 4.2433 20 2.1583 2.5697 3.3715 2.3188 2.7603 3.6210 2.6758 3.1838 4.1747 21 2.1401 2.5482 3.3437 2.2941 2.7312 3.5832 2.6346 3.1360 4.1125 22 2.1234 2.5285 3.3183 2.2718 2.7047 3.5490 2.5979 3.0924 4.0562 23 2.1083 2.5105 3.2951 2.2513 2.6805 3.5176 2.5641 3.0528 4.0044 24 2.0943 2.4940 3.2735 2.2325 2.6582 3.4888 2.5342 3.0169 3.9580 25 2.0813 2.4786 3.2538 2.2151 2.6378 3.4622 2.5060 2.9836 3.9147 26 2.0693 2.4644 3.2354 2.1990 2.6187 3.4375 2.4797 2.9533 3.8751 27 2.0581 2.4512 3.2182 2.1842 2.6012 3.4145 2.4560 2.9247 3.8385 28 2.0477 2.4389 3.2023 2.1703 2.5846 3.3933 2.4340 2.8983 3.8048 29 2.0380 2.4274 3.1873 2.1573 2.5693 3.3733 2.4133 2.8737 3.7721 30 2.0289 2.4166 3.1732 2.1450 2.5548 3.3546 2.3940 2.8509 3.7426 31 2.0203 2.4065 3.1601 2.1337 2.5414 3.3369 2.3758 2.8299 3.7148 32 2.0122 2.3969 3.1477 2.1230 2.5285 3.3205 2.3590 2.8095 3.6885 33 2.0045 2.3878 3.1360 2.1128 2.5167 3.3048 2.3430 2.7900 3.6638 34 1.9973 2.3793 3.1248 2.1033 2.5053 3.2901 2.3279 2.7727 3.6405 35 1.9905 2.3712 3.1143 2.0942 2.4945 3.2761 2.3139 2.7557 3.6185 36 1.9840 2.3635 3.1043 2.0857 2.4844 3.2628 2.3003 2.7396 3.5976 37 1.9779 2.3561 3.0948 2.0775 2.4748 3.2503 2.2875 2.7246 3.5782 38 1.9720 2.3492 3.0857 2.0697 2.4655 3.2382 2.2753 2.7105 3.5593 39 1.9664 2.3425 3.0771 2.0623 2.4568 3.2268 2.2638 2.6966 3.5414 40 1.9611 2.3362 3.0688 2.0552 2.4484 3.2158 2.2527 2.6839 3.5244 41 1.9560 2.3301 3.0609 2.0485 2.4404 3.2055 2.2424 2.6711 3.5085 42 1.9511 2.3244 3.0533 2.0421 2.4327 3.1955 2.2324 2.6593 3.4927 43 1.9464 2.3188 3.0461 2.0359 2.4254 3.1860 2.2228 2.6481 3.4780 44 1.9419 2.3134 3.0391 2.0300 2.4183 3.1768 2.2137 2.6371 3.4638 45 1.9376 2.3083 3.0324 2.0243 2.4117 3.1679 2.2049 2.6268 3.4502 46 1.9334 2.3034 3.0260 2.0188 2.4051 3.1595 2.1964 2.6167 3.4370 47 1.9294 2.2987 3.0199 2.0136 2.3989 3.1515 2.1884 2.6071 3.4245 48 1.9256 2.2941 3.0139 2.0086 2.3929 3.1435 2.1806 2.5979 3.4125 49 1.9218 2.2897 3.0081 2.0037 2.3871 3.1360 2.1734 2.5890 3.4008 50 1.9183 2.2855 3.0026 1.9990 2.3816 3.1287 2.1660 2.5805 3.3899 55 1.9022 2.2663 2.9776 1.9779 2.3564 3.0960 2.1338 2.5421 3.3395 60 1.8885 2.2500 2.9563 1.9599 2.3351 3.0680 2.1063 2.5094 3.2968 65 1.8766 2.2359 2.9378 1.9444 2.3166 3.0439 2.0827 2.4813 3.2604 70 1.8662 2.2235 2.9217 1.9308 2.3005 3.0228 2.0623 2.4571 3.2282 75 1.8570 2.2126 2.9074 1.9188 2.2862 3.0041 2.0442 2.4355 3.2002 80 1.8488 2.2029 2.8947 1.9082 2.2735 2.9875 2.0282 2.4165 3.1753 85 1.8415 2.1941 2.8832 1.8986 2.2621 2.9726 2.0139 2.3994 3.1529 90 1.8348 2.1862 2.8728 1.8899 2.2519 2.9591 2.0008 2.3839 3.1327 95 1.8287 2.1790 2.8634 1.8820 2.2425 2.9468 1.9891 2.3700 3.1143 100 1.8232 2.1723 2.8548 1.8748 2.2338 2.9356 1.9784 2.3571 3.0977

86

¨ Liite: TOLERANSSIVALITAULUKKO

Ja sitten toispuoliselle toleranssiv¨alille: k: γ = 0.1 γ = 0.05 γ = 0.01 n α = 0.1 α = 0.05 α = 0.01 α = 0.1 α = 0.05 α = 0.01 α = 0.1 α = 0.05 α = 0.01 5 2.7423 3.3998 4.6660 3.4066 4.2027 5.7411 5.3617 6.5783 8.9390 6 2.4937 3.0919 4.2425 3.0063 3.7077 5.0620 4.4111 5.4055 7.3346 7 2.3327 2.8938 3.9720 2.7554 3.3994 4.6417 3.8591 4.7279 6.4120 8 2.2186 2.7543 3.7826 2.5819 3.1873 4.3539 3.4972 4.2852 5.8118 9 2.1329 2.6499 3.6414 2.4538 3.0312 4.1430 3.2404 3.9723 5.3889 10 2.0656 2.5684 3.5316 2.3546 2.9110 3.9811 3.0479 3.7383 5.0737 11 2.0113 2.5026 3.4434 2.2753 2.8150 3.8523 2.8977 3.5562 4.8290 12 1.9662 2.4483 3.3707 2.2101 2.7364 3.7471 2.7767 3.4099 4.6330 13 1.9281 2.4024 3.3095 2.1554 2.6705 3.6592 2.6770 3.2896 4.4720 14 1.8954 2.3631 3.2572 2.1088 2.6144 3.5845 2.5931 3.1886 4.3372 15 1.8669 2.3289 3.2118 2.0684 2.5660 3.5201 2.5215 3.1024 4.2224 16 1.8418 2.2990 3.1720 2.0330 2.5237 3.4640 2.4594 3.0279 4.1233 17 1.8195 2.2724 3.1369 2.0017 2.4862 3.4144 2.4051 2.9627 4.0367 18 1.7995 2.2486 3.1054 1.9738 2.4530 3.3703 2.3570 2.9051 3.9604 19 1.7815 2.2272 3.0771 1.9487 2.4231 3.3308 2.3142 2.8539 3.8924 20 1.7652 2.2078 3.0515 1.9260 2.3960 3.2951 2.2757 2.8079 3.8316 21 1.7503 2.1901 3.0282 1.9053 2.3714 3.2628 2.2408 2.7663 3.7766 22 1.7366 2.1739 3.0069 1.8864 2.3490 3.2332 2.2091 2.7285 3.7268 23 1.7240 2.1589 2.9873 1.8690 2.3283 3.2061 2.1801 2.6940 3.6812 24 1.7124 2.1451 2.9691 1.8530 2.3093 3.1811 2.1535 2.6623 3.6395 25 1.7015 2.1323 2.9524 1.8381 2.2917 3.1579 2.1290 2.6331 3.6011 26 1.6914 2.1204 2.9367 1.8242 2.2753 3.1365 2.1063 2.6062 3.5656 27 1.6820 2.1092 2.9221 1.8114 2.2600 3.1165 2.0852 2.5811 3.5326 28 1.6732 2.0988 2.9085 1.7993 2.2458 3.0978 2.0655 2.5577 3.5019 29 1.6649 2.0890 2.8958 1.7880 2.2324 3.0804 2.0471 2.5359 3.4733 30 1.6571 2.0798 2.8837 1.7773 2.2198 3.0639 2.0298 2.5155 3.4465 31 1.6497 2.0711 2.8724 1.7673 2.2080 3.0484 2.0136 2.4963 3.4214 32 1.6427 2.0629 2.8617 1.7578 2.1968 3.0338 1.9984 2.4782 3.3977 33 1.6361 2.0551 2.8515 1.7489 2.1862 3.0200 1.9840 2.4612 3.3754 34 1.6299 2.0478 2.8419 1.7403 2.1762 3.0070 1.9703 2.4451 3.3543 35 1.6239 2.0407 2.8328 1.7323 2.1667 2.9946 1.9574 2.4298 3.3343 36 1.6182 2.0341 2.8241 1.7246 2.1577 2.9828 1.9452 2.4154 3.3155 37 1.6128 2.0277 2.8158 1.7173 2.1491 2.9716 1.9335 2.4016 3.2975 38 1.6076 2.0216 2.8080 1.7102 2.1408 2.9609 1.9224 2.3885 3.2804 39 1.6026 2.0158 2.8004 1.7036 2.1330 2.9507 1.9118 2.3760 3.2641 40 1.5979 2.0103 2.7932 1.6972 2.1255 2.9409 1.9017 2.3641 3.2486 41 1.5934 2.0050 2.7863 1.6911 2.1183 2.9316 1.8921 2.3528 3.2337 42 1.5890 1.9998 2.7796 1.6852 2.1114 2.9226 1.8828 2.3418 3.2195 43 1.5848 1.9949 2.7733 1.6795 2.1048 2.9141 1.8739 2.3314 3.2059 44 1.5808 1.9902 2.7672 1.6742 2.0985 2.9059 1.8654 2.3214 3.1929 45 1.5769 1.9857 2.7613 1.6689 2.0924 2.8979 1.8573 2.3118 3.1804 46 1.5732 1.9813 2.7556 1.6639 2.0865 2.8903 1.8495 2.3025 3.1684 47 1.5695 1.9771 2.7502 1.6591 2.0808 2.8830 1.8419 2.2937 3.1568 48 1.5661 1.9730 2.7449 1.6544 2.0753 2.8759 1.8346 2.2851 3.1457 49 1.5627 1.9691 2.7398 1.6499 2.0701 2.8690 1.8275 2.2768 3.1349 50 1.5595 1.9653 2.7349 1.6455 2.0650 2.8625 1.8208 2.2689 3.1246 55 1.5447 1.9481 2.7126 1.6258 2.0419 2.8326 1.7902 2.2330 3.0780 60 1.5320 1.9333 2.6935 1.6089 2.0222 2.8070 1.7641 2.2024 3.0382 65 1.5210 1.9204 2.6769 1.5942 2.0050 2.7849 1.7414 2.1759 3.0039 70 1.5112 1.9090 2.6623 1.5812 1.9898 2.7654 1.7216 2.1526 2.9739 75 1.5025 1.8990 2.6493 1.5697 1.9765 2.7481 1.7040 2.1321 2.9474 80 1.4947 1.8899 2.6377 1.5594 1.9644 2.7326 1.6883 2.1137 2.9237 85 1.4877 1.8817 2.6272 1.5501 1.9536 2.7187 1.6742 2.0973 2.9024 90 1.4813 1.8743 2.6176 1.5416 1.9438 2.7061 1.6613 2.0824 2.8832 95 1.4754 1.8675 2.6089 1.5338 1.9348 2.6945 1.6497 2.0688 2.8657 100 1.4701 1.8612 2.6009 1.5268 1.9265 2.6839 1.6390 2.0563 2.8496

87