Matematikai statisztika - Paraméterek becslése, hipotézisvizsgálat 978-963-2797-07-6 [PDF]

Zitiervorschau

© Typotex Kiadó

A.A.BOROVKOV

MATEMATIKAI STATISZTIKA Paraméterek becslése Hipotézisvizsgálat

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

A.A.BOROVKOV

MAT EMA TIK AI STATISZTIKA

Typotex Kiadó

1999 www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

A mű eredeti címe: MaTeManrntrecKaJI CTaTHCTHKa

Copyright © Nauka Publishers, Moscow All rights reserved Hungarian translation © Michaletzky György ISBN 963 9132 38-1

E mű az Oktatási Minszitérium támogatásával a Felsőoktatási Pályázatok Irodája által lebonyolított felsőoktatási tankönyvtámogatási program keretében jelent meg.

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

TARTALOMJEGYZÉK

Előszó.....................................................................

Bevezetés................. ................................ .................

13 19

1. Fejezet A minta. A tapasztalati eloszlás. A statisztikák aszimptotikus tulajdonságai 1. 2. 3.

4.

A minta fogalma . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . A tapasztalati eloszlás (egydimenziós eset)......................... ..... Tapasztalati jellemzők. A statisztikák két típusa........................ .. 1. Példák a tapasztalati jellemzőkre (30). 2. A statisztikák két fajta típusa (31). Többdimenziós minták . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

23 26 30

34

1. Tapasztalati elosztás (34). 2. A Glivenko-Cantelli tétel még általánosabb változatai. Az iterált logaritmus tétele (35). 3. Tapasztalati jellemzők (36). Folytonossági tételek...................... ............................ A tapasztalati eloszlásfüggvény mint sztochasztikus folyamat. Konvergenciája a Brown-hídhoz.............. ................ ... . . . . . . . . . . . . . . . . . . . 1. Az nF~(t) folyamat eloszlása (41). 2. A wn(t) folyamat aszimptotikus viselkedése (45). Az első típusú statisztikák határeloszlása . . . . . .. . . . . . . . . . . .. . . .. . . .. . . . . .

41

8*. A második típusú statisztikák határeloszlása............... .............. 9*. Néhány megjegyzés a nemparaméteres statisztikákról................ .... 10*. A tapasztalati eloszlás simítása. Tapasztalati sűrűségfüggvény. . . . . . . . . . . . .

52 61 62

5. 6*.

7.

37

47

2. Fejezet Az ismeretlen paraméterek becslésének élmélete 1. 2.

www.interkonyv.hu

megjegyzések . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Paraméteres eloszláscsaládok és tulajdonságaik . . . . . . . . . . . . . . . . . . . . . . . . . . 1. A normális "eloszlás (72). 2. A többdimenziós normális eloszlás (72). 3. Gamma-eloszlás (73). 4. A k-szabadságfokú Hk-eloszlás (74). 5. Exponenciális eloszlás (75). 6. k1, k2 szabadságfokú Fk 1,k2 Fisher-féle eloszlás (75).

Előzetes

70 71

© Borovkov, Michaletzky György

© Typotex Kiadó

8

3.

4.

5*. 6. 7.

8. 9. 10. 11. 12. 13. 14.

15. 16.

17.

www.interkonyv.hu

TARTALOMJEGYZÉK 7. A k-szabadságfokú Tk Student-eloszlás (76). 8. Béta-eloszlás (E-eloszlás) (78). 9. Egyenletes eloszlás (78). 10. Az Ka,O" paraméterű Cauchy-eloszlás (81). 11. Az La 0"2 lognormális eloszlás (81). 12. Az elfajult eloszlás (82). 13. AB; binomiális eloszlás (82). 14. A Poisson°eloszlás (82). 15. Polinomiális eloszlás (82). Pontbecslés. A becslések készítésének alapvető módszere. Konzisztencia, aszimptotikus normalitás . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1. A behelyettesítéses módszer.Konzisztencia (83). 2. Aszimptotikus normalitás. Egydimenziós eset (87). 3. Aszimptotikus normalitás. Többdimenziós paraméter esete (87). A behelyettesítéses módszer megvalósításai a paraméteres esetben. A momentum módszer. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1. A momentum módszer. Egydimenziós eset (89). 2. A momentum módszer. A többdimenziós eset (91). 3. Az általánosított momentum módszer (92). A minimális távolság módszere . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . A maximum likelihood becslés . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . A becslések összehasonlítása . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1. A négyzetes középben vett eltérés. Egydimenziós eset (103). 2. Az aszimptotikus módszer. Egydimenziós eset (106). 3. A négyzetes eltérés és az aszimptotikus módszer a többdimenziós esetben (109). A becslések összehasonlítása a paraméteres esetben. Hatásos becslések.... 1. Az egydimenziós eset (114). 2. A többdimenziós eset (119). A feltételes várható érték.............................................. 1. A f.v.é. definíciója (121). 2. A f.v.é. tulajdonságai (25). A feltételes eloszlás . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Bayes-féle és minimax becslések....................................... Elégséges statisztikák. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Minimális elégséges statisztikák........................................ Hatásos becslések készítése az elégséges statisztikák segítségével. Teljes statisztikák .............. , . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1. Egydimenziós eset (152). 2. Többdimenziós eset (153). 3. Teljes statisztikák és hatásos becslések (154). Exponenciális eloszláscsalád. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . A Cramer-Rao-egyenlőtlenség és az R-hatásos becslések................. 1. A Cramer-Rao-egyenlőtlenség és következményei (162). 2. R-hatásos és aszimptotikusan R-hatásos becslések (168). 3. A Cramer-Rao egyenlőtlenség a többdimenziós esetben (172). 4. Néhány következtetés (178). A Fisher-féle információ tulajdonságai.................................. 1. Egydimenziós eset ( 179). 2. Többdimenziós eset ( 182). 3. A Fisher-mátrix és a paramétertranszformáció (184).

83

88

92 95 103

113 121 127 131 139 144 152

157 162

179

© Borovkov, Michaletzky György

© Typotex Kiadó

9

18.

19. 20.

Az eltolás és a skálaparaméter becslése. Hatásos invariáns becslések...... 185 1. Az eltolás- és a skálaparaméter becslése (186). 2. Az eltolásparaméter hatásos becslése az ekvivalens becslések osztályán belül (187). 3; A Pitmanféle becslés minimax volta (190). 4. A skálaparaméter optimális becslése . . (192). Az ekvivalens becslés általános feladata ............... ... , .. ,........... 195 Cramer-Rao típusú iritegrálegyenlőtlenségek. Aszimptotikusan Bayes-féle és minimax becslések ................ :.............. ............... ...... 198 1. Hatásos és túlhatásos becslések (198). 2.

Alapvető egyenlőtlenségek

(200). 3: Egyenlőtlenségek abban az esetben; arnikora q(B)/ l(B) függvény nem deriválható (204). 4. Néhány következmény. Aszimptotikusan Bayesféle és minimax becslések (206). 5. Többdimenziós eset (209). 21. A Kullback-Leibler, a Hellinger és a x2 távolság. Tulajdonságai k......... 1. A távolságok definíciója és alapvető tulajdonságaik (209). 2. A Hellinger és a többi távolság kapcsolata a Fisher-féle információval (213). 3. Egyenletes alsó határ az r(!).)/ !).2 mennyíségekre (214). 4. Többdimenziós eset (215). 5. A vizsgált távolságok és a becslések kapcsolata (217). 22. Cr~er-Rao-típu sú differencia egyenlőtlenségek......................... 23. A likelihood-hányadosra vonatkozó segédegyenlőtlenségek. A maximum likelihood-becslés konzisztenciája ............... .............. ; . . . . .. . . 1. Alapegyenlőtlenségek (225). 2. A m.l.b. eloszlására és momentumaira vonatkozó becslések. A m.1.b. konzisztenciája (228). 24. A likelihood-hányados tulajdonságai. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25. A maximum likelihood-becslés tulajdonságai. Aszimptotikus normalitás. Aszimptotikus optimalitás ............... ............... , .......... , . . . . 1. A tn.l.b. aszimptotikus normalitása (238). 2. Aszimptotikus hatásosság (239). 3. A m.l.b. aszimptotikusan Bayes-féle (241). 4. A m.l.b. aszimptotikusan rninimax becslés (242). 26. A maximum likelihood-becslés közelítő kiszámítása .. :.............. ..... 27. A Iilaxiirium likelihood-becslés tulajdonságai - regularitási feltételek nélkül. Konzisztencia. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28. A 23-27. pontok eredményei a többdimenziós 'paraméter esetében .. ; .. ; . . . 1. A likelihood-hányadosra vonatkozó egyenlőtlenségek (23. pont eredményei) (255). 2. A likelihood-hányados aszimptotikus tulajdonságai (á 24. pont erdményei) (256). 3. A m.l.b. tulajdonságai {a 25. pont eredményei) (261). 4. A mJ.b. közelítő meghatározása (264). 5. A m.l.b. tulajdonságai regularitási feltételek nélkül (a 27. pont eredményei) (264). 29. A likelihood-hányados és a maximum likelihood-becslés aszimptotikus tulajdonságainak () szerinti egyenletessége . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1. Egyenletes nagy számok törvénye és a centrális határeloszlás tétel (263). 2. A likelihood-hányados és a maximum likelihood-becslés aszimptotikus tulajdonságairól szóló tételek egyenletes variánsai (266). 3. Néhány következmény (270).

www.interkonyv.hu

209

218 224

229 238

242 249 255

264

© Borovkov, Michaletzky György

© Typotex Kiadó

10 30. 31.

32.

TARTALOMJEGYZÉK A véletlen elemszámú mintákkal kapcsolatos statisztikai feladatok. Szekvenciális becslések . , ............................... .................... .' . . 271 Az intervallumbecslések .................... : . • . . . . . . . . . . . .. . . . . . . . . . . . 272 1. Definíció (272). 2. A konfidenciaintervallumok megszerkesztése a Bayesféle esetben (273). 3. Konfidenciaintervallumok konstruálása az általános esetben. Aszimptotikus konfidenciaintervallumok.(274). 4. Pontos konfidenciaintervallum szerkesztése adott statisztika alapjáÍi:'(277). 5. Más módszerek a konfidenciaintervallumok szerkesztésére (281). 6. A többdimenziós eset (283). Pontos tapasztalati eloszlások és konfidenciaintervallumok normális eloszláscsalád esetén .............................. ....................... ·, . 284 1. Az x, statisztikák pontos eloszlása (284); 2. Pontos konfidenciaintervallum szerkesztése a normális eloszlás paraméterére (287).

85

3. Fejezet Hipotézisvizsgálat 1.

2. 3.

4.

5.

6.

7. 8.

Véges sok egyszerű hipotézis vizsgálata ................... ; ....... ,..... 1. A feladat megfogalmazása. A statisztikai próba fogalma. Legerősebb próbák (291). 2. A Bayes-féle megközelítés (294). 3. A minimax i:negköleítési mód (299). 4. Legerősebb próbák (300). · Két egyszerű hipotézis közötti döntés .............................. . , . . . A próbák kiszámolásának kétfajta aszimptotikus megközelítése. Számszerű összehasonlítások ........ , ................... , . . . . . . . . . . . . . . . . . . . . . . . . L Előzetes megjegyzések (306). 2. Rögzített hipotézisek (307). 3. Közeli hipotézisek (312). 4. Az aszimptotikus megközelítések összehasonlítása. Számpélda (315). 5. A l.e.p. kapcsolata a m.l.b. aszimptotikus hatásosságával (320). Összetett hipotézisek vizsgálata. Az optimális próbák osztályai............ 1. A feladat megfogalmazása és az alapfogalmak (321). 2. Egyenletesen legerősebb próbák (324). 3. Bayes-féle próbák (325). 4. Minimax próbák (326). Egyenletesen legerősebb próbák. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1. Egyoldali hipotézisek. Monoton likelihood-hányados család (326). 2. Kétoldali nullhipotézis. Exponenciális eloszláscsalád (330). 3. A vizsgált feladat egy másféle megközelítése (335). 4. A Bayes-féle megközelítés és a legkevésbé kedvező apriori eloszlás használata a l.e.p. és az e.l.e.p. konstrukciójában (336). Torzítatlan becslések . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1. Definíció. Torzítatlan e.l.e.p. (339). 2. Kétoldali ellenhipotézisek. Exponenciális eloszláscsalád (341). Invariáns próbák..................... ................................ . Kapcsolat a konfidenciatartományokkal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1. A statisztikai próbák és a konfidenciatartományokkapcsolata. Az opti-

www.interkonyv.hu

291

302 306

321

326

339

344 349

© Borovkov, Michaletzky György

© Typotex Kiadó

11

9.

10. 11.

12. 13.

14.

15.

16.

mális tulajdonságok összefüggése (349). 2. Legpontosabb konfidenciaintervallumok (351). 3. Torzítatlan konfidenciatartományok (355). 4. Invariáns konfidenciatartományok (356). Az összetett hipotézisek Bayes-féle és minimax megközelítése............ 359 1. Bayes-féle és minimax próbák (359). 2. Minimax próba a normális eloszlás a paraméterére (363). 3. Elfajuló legkevésbé kedvező eloszlások egyoldali hipotézisek esetén (371). A likelihood-hányados-próba.. .. .. . . . .. . .. . . . . .. .. .. . . . . .. . . .. . . . .. .. . . 372 Szekvenciális analízis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 376 1. Bevezető megjegyzések (376). 2. Bayes-féle szekvenciális próba (377). 3. A kísérletek számának átlagértékét minimalizáló szekvenciális próba (381). 4. A legjobb szekvenciális próba paramétereinek kiszámolása (384). Az összetett hipotézisek vizsgálata az általános esetben.. . . . . . . . . . . . . . . . . . 387 Aszimptotikusan optimális próbák. A likelihood-hányados-próba mint aszimptotikusan Bayes-féle próba egyszerű nullhipotézis és összetett ellenhipotézis esetén . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 397 1. A l.h.p. és a Bayes-próba aszimptotikus tulajdonságai (397). 2. A l.h.p. aszimptotikus Bayes-tulajdonsága (399). 3. l.h.p. aszimptotikus torzítatlansága (403). Közeli hipotézisek ellenőrzésére szólgáló aszimptotikusan optimális próbák 404 1. A feladat megfogalmazása és definíciók (404). 2. Az alapvető állítások (408). A likelihood-hányados-próba, az optimalitás aszimptotikus jellemzőjéből fakadó aszimptotikus optimalitása ........................... :.• . . . . . . . . . . . 413 1. A e.1.e.p. közeli hipotézisek esetén egyoldalú ellenhipotézisekre, többdimenziós paraméter esetén (413). 2. A e.1.e.p. kétoldali ellenhipotézis esetén (414). 3. Aszimptotikusan minimax próba közeli hipotézisekre, többdimenziós paraméter esetén (416). 4. Aszimptotikusan minimax próba annak ellenőrzésére, hogy a minta egy adott paraméteres részcsaládhoz tartozik (419). A

:i próba. Hipotézisvizsgálat csoportosított adatok alapján..............

425

l. A x2 próba. Az aszimptotikus optimalitása (425). 2. A x2 próba alkalmazása. Hipotézisvizsgálat csoportosított adatok esetén (429).

17.

Hipotézisvizsgálat: a minta adott paraméteres eloszláscsaládba tartozik-e. . . 1. Az { X ~Bli(a)} hipotézis vizsgálata. Az adatok csoportosítása (433). 2. Az általános eset (437). 18. A statisztikai döntések stabilitása . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1. Szimmetrikus eloszlások várható értékének becslése (442). 2. A Studentféle statisztika és az (443). 3. A likelihood-hányados-próba (444). I. Függelék. Glivenko-Cantelli típusú tételek.................................. II. Függelék. A tapasztalati folyamatokra vonatkozó funkcionális határelosztás tétel III. Függelék. A feltételes várható érték tulajdonságai . . . . . . . . . . . . . . . . . . . . . . . . . . IV. Függelék. A Neyman-Fisher-féle faktorizációs tétel........................

433

441

S5

www.interkonyv.hu

447 450 456 459

© Borovkov, Michaletzky György

© Typotex Kiadó

12

TARTALOMJEGYZÉK

V. Függelék. A nagyszámok erős törvénye és a centrális határelosztás tétel. Egyenletes változatok .................................. , . . . . . . . . . . . . . . . . . . . . VI. Függelék. Néhány, a paramétertől függő integrálokkalkapcsolatos állítás.... VII. Függelék. A likelihood-hányados eloszlására vonatkozó egyenlőtlenségek a többdimenziós esetben................................................. I. Táblázat. A o, 1 normális eloszlás . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . II. Táblázat. A normális eloszlás kvantilisei . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . III. Táblázat. A Hk x2 -eloszlás . .. . . . .. .. . .. .. .. .. .. .. . . . .. . .. . . .. .. . .. . . . . . . IV. Táblázat. A Tk Student-eloszlás. . .. .. .. .. . .. . .. .. .. . . . .. .. .. .. . .. . . . . .. . . Bibliográfiai megjegyzések.................................................. Irodalomjegyzék. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Az alapvető jelölések jegyzéke. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Tárgymutató ....................................... ; . . . . . . . . . . . . . . . . . . . . . . .

www.interkonyv.hu

463 468 475 481 482 483 487 491 497 501 505

© Borovkov, Michaletzky György

© Typotex Kiadó

ELŐSZÓ

A könyv alapjául azok a matematikai statisztikai előadások szolgálnak, amelyeket a szerző sok éven át tartott a novoszibirszki egyetem matematikai fakultásán. A lehetőleg minél jobban felépített, érthető, ugyanakkor a tudományág szintjének megfelelő variánsok keresése közben. az idő folyamán az előadás anyaga nem egyszer megváltozott. Különböző variánsokat próbáltunk ki, kezdve az alapfeladatok (becslések, próbák és tulajdonságaik) főként receptúraszerű kifejtésével és végezve az általános játékelméleti jellegű felépítéssel, amelyben a becsléselmélet és a hipotézis vizsgálat mint egy egységes megközelítés speciális esetei jelennek meg. Az időbeli korlátok (egyetlen szemeszter) nem tették lehetővé, hogy egyesítsük ezt a két, egymást kiegészítő változatot, amelyek mindegyike különkülön nyilvánvaló hiányosságokkal rendelkezik. Az első esetben a sok konkrét adat zavarta az általános felépítésmódot. A második változatból viszont hiányoztak az egyszerű, konkrét eredmények, és úgy tűnt, hogy túlságosan megterhelő a sok új, bonyolult, nehezen elsajátítható fogalom. Szemlátomást a leginkább alkalmazhatónak az a variáns látszott, amelyben a becsléselmélet és a hipotézis vizsgálat ismertetése után egyenes út vezet az optimális eljárások megkereséséhez A könyv alapanyaga a különböző időpontokban tartott kurzusok· anyagából áll össze - kibővítve azokat olyan részekkel, amelyek jelenlétét maga a felépítés logikája diktálta. A fő cél a téma modern eredményeinek tárgyalása volt, párosítva ezt a maximálisan lehetséges érthetőséggel és a logikus matematikai felépítéssel. A könyv tartalma 3 fejezetre és a Függelékre oszlik. Az 1. fejezetben a matematikai statisztika alapjait képező empirikus eloszlások tulajdonságait (főként aszimptotikus tulajdonsága,it) vizsgáljuk.

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

14

ELŐSZÓ

A 2., illetve 3. fejezetben a becsléselmélet és a hipotézis vizsgálat elmélete szerepel. Ezen fejezetek mindegyikének első része a kitűzött feladatok megoldásaihoz és az optimális eljárások megtalálásához vezető lehetséges utak leírását tartalmazza. A második részek az aszimptotikusan optimális eljárások felépítését tartalmazzák. A könyv ezen felül 7 Függeléket tartalmaz. Ezek az alapszöveg azon állításaival kapcsolatosak, amelyek bizonyításai vagy a jellegüknél fogva, vagy a nehézségük miatt kívül esnek a felépítés keretein. Ezenkívül bibliografikus megjegyzések is szerepelnek a könyvben - egyáltalán nem törekedve a teljességre -; ezek lehetővé teszik, hogy követni lehessen a matematikai statisztika alapvető irányvonalainak keletkezését és fejlődését. Ennek során mindenütt, ahol ez lehetséges volt, inkább a monográfiákra (mint könnyebben elérhető irodalomra) hivatkoztunk, és nem az eredeti cikkekre. Jelenleg elég sok matematikai statisztika könyv létezik. A következő négyet választjuk ki közülük - ezekben nagy mennyiségű, a tudomány jelenlegi állását tükröző, anyag szerepel - ezek a könyvek G. Cramer 37, E. Lehman 40, S. Zaks 30 és I. A. Ibragimov és R. Z. Hasminszkij 31. A jelen könyv felépítésére közülük legnagyobb hatással a 31 monográfia (e könyv némely ötletét felhasználtuk a 2. fejezet 23-35, 27-29 pontjaiban) és a 40 monográfia volt (a 3. fejezet 5-8 pontjainak felépítése tartalmilag közel áll a 40 monográfia megfelelő részeihez). A többi rész felépítésének szerkezete nincs szoros összefüggésben az ismert könyvekkel. Jelen könyv az ismert eredményekkel és eljárásokkal együtt olyan új témaköröket is tartalmaz, amelyek egyszerűsítik a tárgyalásmódot; ezenfelül egy sor metodológiai tökéletesítés és néhány új eredmény, illetve a monografikus iroda~ lomban először publikált eredmény is szerepel benne. · Alább megadjuk a könyv metodológiai struktúrájának rövid leírását (lásd ugyancsak a tartalomjegyzéket és az egyes fejezetek rövid előszavát). Az 1. fejezet L és 2. pontjában a minta, az empirikus eloszlás fogalmát vezetjük be, itt mondjuk ki a Glivenko-Cantelli tételt. Ez utóbbit lehet a statisztikai következtetéseket megalapozó állításnak tekinteni. A 3. pontban kétfajta típusú statisztikát definiálunk (I és II típusú statisztikát), ezek magukban foglalják a gyakorlatilag érdekes statisztikák túlnyomó többségét. Ezeket a statisztikákat mint egy (bizonyos feltételeket kielégítő) G funkcionálnak a P~ tapasztalati eloszlástól függő G(P~) értékeként definiáljuk. Később, a 7. és 8. pontban ezen statisztikák határeloszlásáról szóló tételek vannak. Ez megkönnyíti a téma további kifejtését és szükségtelenné teszi, hogy minden egyes konkrét statisztika esetében végigkövessük lényegében ugyanazt a gondolatmenetet, amely akkor nem tartozik a dolog lényegéhez. Az 5. pontban az eloszlások és a momentumaik konvergenciájáról szóló segédtételeket gyűjtöttük össze. (Ezeket a könyvben „folytonossági" tételeknek nevezzük.) Ez szintén megkönnyíti a későbbi tárgyalásmódot.

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

15

A 6. pontban (első olvasáskor nem feltétlenül szükséges átnézni) kimondjuk, hogy az F 7~(t) tapasztalati eloszlásfüggvény nem más, mint egy feltételes Poisson-folyamat, és megfogalmazzuk (az I. Függelékben szerepel a bizonyítás) a ,/n(F~(t) - F(t)) folyamat Brown~hídhoz való konvergenciájáról szóló tételt. A J 0. pontban vezetjü,k be a simított tapasztalati eloszlások fogalmát, amelyek lehetővé teszik, hogy ne csak magukat az eloszlásokat, hanem a sűrűség­ függvényüket is közelíteni tudjuk. A 2. Fejezet 3. pontjában, amely az ismeretlen paraméterek becsléséről szól, a becslések gyártásának egyfajta egységes eljárását mutatjuk be, ezt behelyettesítéses módszernek nevezzük. Ez abból áll, hogy a minta P eloszlásától függő e= G(P) paraméter becslését e* =G(P~) alakban keressük, ahol P~ az empirikus eloszlás. Mindegyik „ésszerű" becslés, amelyet a gyakorlatban használunk, behelyettesítéses becslés. A G funkcionál alkalmas megválasztásával érhetjük el a becslés optimalitását; Ha a e* =G(P~) statisztika I vagy II típusú statisztika, akkor az 1. Fejezet eredményei alapján azonnal állíthatjuk a becslés konzisztenciáját és aszimptotikus normalitását. A 4. és 5. pontban ezt az eljárást olyan becslésekkel illusztráljuk, amelyeket a momentum módszer és a legkisebb távolság módszerének segítségével kapunk. Ugyanebből a nézőpontból lehetne szemlélni a maximum likelihood becslést is (6. pont), azonban ennek közvetlen vizsgálatával lehetővé válik, hogy - későbbiekben szükséges -'- mélyebb eredményeket kapjunk. A 2. Fejezetben lényegében két fajta módon hasonlítjuk össze a becsléseket: négyzetes középben (az Ee(B* - e)2 összehasonlításával) és aszimptotikusan (az aszimptotikusan normális becslések osztályán belül összehasonlítjuk a ,/n(B* - B) mennyiség határeloszlásának szórását). Parametrikus esetben ennek alapján lehetővé válik, hogy kiválasszuk az optimális becslések 3 féle osztályát: a b rögzített torzítással rendelkező becslések Kb osztályán belül hatásos becsléseket, a Bayes-féle és a minimax becsléseket. Ugyanezen alapelvek szerint lehet meghatározni az aszin-iptotikusan optimális becslések osztályait. A hatásös becslések elkészítésekor a követhető tradicionális módszereket lehet használni: közülük az elsőnek minőségi jellege van és az elégségesség elvével van összefüggésben (12-14. pont) a második a Crarner-Rao egyenlőtlenségből adódó mennyiségi viszonyokon alapul (16. pont), a harmadik az invarianciák szemügyrevételével kapcsolatos (17., 19. pont), amely lehetővé teszi, hogy leszűkítsük a figyelembe vett becslések osztályát. Az aszimptotikusan optimális becslések megkeresésének, és a likelihood függvény aszimptotikus tulajdonságai vizsgálatának szenteltük a 20-30. pontokat. A 20. pont tartalmazza az integrál típusú Cramer-Rao-egyenlőtlenséget, amely lehetővé teszi, hogy például egyszerű fele. tételeket kapjunk arra, hogy mikor aszimptotikusan Bayes-féle vagy minimax egy becslés, és hogy megalapozza a becslések alkalmas Ko részhalmazának kiválasztását; elegendő erre korlátozódni, ha aszimptotikusan hatásos becsléseket keresünk. Ez lehetővé teszi, hogy a maximum likelihood becslés aszimptotikus tulajdonságainak tanulmányozása útján (25. pont) a szóban forgó becslésekről

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

16

ELŐSZÓ

azonnal állíthassuk, hogy aszimptotikusan Bayes-félék és minimax becslések, és hogy aszimptotikusan hatásosak a Ko osz~ályon belül. A 21-24. pontok a segédállításokat tartalmazzák. A paraméterek intervallumbecslését a 31. és 32. pontban, illetve a 3. Fejezet 8. pontjában vizsgáljuk. A 3. Fejezetet a hipotézisvizsgálatnak szenteltük. Az 1. és 2. pontokban a véges sok egyszerű hipotézis esetét tekintjük. Kiválasztjuk (a becsléselmélethez hasonlóan) az optimális próbák három típusát - részosztályokon belül legerősebb, Bayes-féle, minimax. Összefüggéseket fedezünk fel ezek között a próbák között, és megtaláljuk az általános alakjukat. Eközben a vizsgálat alapjául a Bayes-féle elv szolgál (és nem a Neyman-Pearson-féle lemma), amely - nézetünk szerint - leegyszerűsíti és világosabbá teszi a tárgyalásmódot. A 3. pontban két egyszerű hipotézis közötti döntés alapjául szolgáló próbák aszimptotikus megközelítése, illetve ezek összehasonlítása szerepel. A 4; pontban a két összetett hipotézis közötti döntés általános feladatát vizsgáljuk, és definiáljuk az optimális próbák különféle osztályait (egyenletesen legerősebb, Bayes-féle, minimax). Az 5. pont foglalkozik az egyenletesen legjobb próbák megkeresésével azokban az esetekben, amikor ez egyáltalán lehetséges. A 6., 7. pontban ugyanezt a feladatot oldjuk meg, azonban próbáknak a torzítatlanság és az invariancia alapján leszűkített osztályán belül. Eközben a vizsgálat alapjául, ugyanúgy, mint az 1. és 2. pontban, a Bayes-féle elv szolgál. A kapott eredmények segítségével a 8. pontban megkonstruáljuk a legpontosabb konfidenciahalmazokat. A 9. pontban a Bayes-féle és a minimax próbákat vizsgáljuk. A 10. és 13. pontok likelihood hányados próbával foglalkoznak. Ez sok esetben egyenletesen legjobb és teljesen általános feltételek mellett aszimptotikusan Bayes-féle. A 15-17. pontokban folytatjuk a likelihood hányados próba aszimptotikus optimalizálásának vizsgálatát. A 11. pontban a szekvenciális analízis feladatkörében vett optimalizálását mondjuk ki. A 14., 15. pont foglalkozik azzal, hogy közeli hipotézisek közötti döntés feladatára keressen aszimptotikusan optimális próbákat, és megadja ezek egyszerű, világos alakját az alapvető statisztikai feladatok esetében. Az. igazi különlegessége ennek a könyvnek abban rejlik, hogy ebben csak olyan statisztikai feladatok szerepelnek, amelyek egyetlen minta felhasználásával kapcsolatosak; a két vagy több mintával kapcsolatos feladatok, valamint a statisztikai feladatok általános játékelméleti megközelítése egy külön könyvben szerepelnek, amely egyenes folytatása és kiegészítése a jelen könyvnek. A könyvnek szerteágazó a célkitűzése, Természetesen teljes terjedelmében közelebb áll a matematikai statisztikával foglalkozó specialisták kandidátusi minimumához, mint az égyetemi hallgatók tankönyvéhez. Ugyanakkor igyekeztünk különféle jelzések segítségével megkönnyíteni az első átolvasást is, ezek a hallgató számára is hozzáférhetővé teszik a könyvet. A kiemelkedően nehéz és a tartalmában nagyot ugró pontokat csillaggal jelöltük, ezeket első olvasáskor át kell ugrani, mint ·azokat a szövegeket is, amelyek kisbetűvel vannak szedve. Ezen felül a technikailag jóval bonyolultabb - a többdimenziós paraméterhez kapcsa-

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

17

lódó - esetek tárgyalását majdnem mindig külön részben és pontban választottunk szét; ezeket szintén el lehet hagyni. A különböző egyetemek oktatói, akik már legalábbis részben ismerősek a témakörrel, kiválaszthatnak a könyvből olyan pontokat (igen sok variáns lehetséges), amelyek felhasználásával (nem szükségképpen teljes felhasználásával) összeállíthatják egy matematikai statisztikai kurzus anyagát. Például egy változat: az 1. Fejezet 1.,3.,5. pontja; a 2. Fejezet 2-4., 6-12., 14., 16. (21. 23-25.), 31., 32. pontja, a 3. Fejezet 1., 2., 4., 5., 12. (13., 16.) pontja. A zárójelbe tett pontok az aszimptotikusan legjobb eljárásokkal foglalkoznak. Ezeket a hallgatók felkészültségétől függően vagy maximálisan könnyebbé kell tenni, vagy esetleg teljesen elhagyni. A könyv tanulmányozása feltételezi a valószínűségszámítás elméletének ismeretét olyan mélységig, ahogy A. A. Borovkov tankönyve [11] tartalmazza. Az erre a könyvre való hivatkozások, ellentétben a többi hivatkozással, olyan helyeken jelennek meg, amelyekről feltesszük, hogy az olvasó ismeri őket, és ily módon inkább csak emlékeztetőül szolgál. Az egyes pontok számozása fejezeteken belül önálló, ugyancsak az egyes tételek (lemmák és példák) számozása az egyes pontokon belül. A kényelmesebb olvasás kedvéért különböző módon hivatkozunk a tételekre, lemmákra, példákra, képletekre stb. attól függően, hogy milyen messze találhatók az olvasott helytől. Ha hivatkozni kell az 1. Tételre vagy a 12 képletre az olvasott ponton belül, arra a hivatkozás a következő alakot ölti: 1. Tétel, 12 képlet. Ha az 1. Tételre vagy a 12 képletre a Fejezet valamely korábbi ·pontjából kell hivatkozni, akkor ilyen alakú a hivatkozás: 13.1. Tétel, 13.12 képlet. Végezetül, ha a hivatkozás egy másik fejezetre vonatkozik, akkor a fejezet számának mutatója is megjelenik (az első szám). Például, a 2.13.1. Tétel a 2. fejezet 13. pontjának 1. tételét jelzi, a 2.13.12. képlet a 2. fejezet 13. pontjának 12 képletét. Ugyanez vonatkozik az egyes pontok jelzésére. A 13. pontra való hivatkozás a szóban forgó fejezet 13. pontjára vonatkozik, a 2.13. pontra való hivatkozás pedig a 2. fejezet 13. pontját jelzi. A D jel a bizonyítások végét jelzi. A könnyebbség kedvéért a könyv végén tárgymutató és jelölésjegyzék van. Ezen könyv megírása igen nehéz, sok lépésből álló munka volt. Az eredeti előadásjegyzet nyomdára való előkészítésében és a hiányosságok megszüntetésében jelentős segítséget nyújtott nekem I. Sz. Boriszov. A kézirat második változatát kérésemre K. A. Borovkov olvasta át, aki a hasznos tanácsok és az általa észrevett hibák hosszú listáját adta át nekem. Újabb kritika után kutatva A. I. Szahanyenkohoz fordultam azzal a kéréssel, hogy ismerkedjék meg a kézirattal. Ő szintén hosszú listáját adta a felépítés megjobbítását célzó megjegyzéseinek és javaslatainak, amelyek közül sokat fel is használtam. A leglényegesebb változtatás a 2. Fejezet 16., 21., 23., 29. pontjaiban, a 3. Fejezet 13-15.

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

18

ELŐSZÓ

pontjaiban, a II. és V. Függelékben lévő bizonyításokat érte (lásd a bibliográfiai megjegyzéseket). Igen sok értékes, a könyv megjobbítására szolgáló megjegyzést kaptam D. M. Csibiszovtól. A kéziratot V. V. Jurinszkij és A. A. Novikov nézte át, és egy sor hasznos megjegyzést tettek. Mindegyik megnevezett kollégámnak és azoknak is, akik így vagy úgy segítettek nekem a könyvvel kapcsolatos munkámban, itt szeretném kifejezni mély és szívből jövő hálámat és köszönetemet a munkájukért és a könyv megírásában való együttműködésükért. 1982. szeptember A. A. Borovkov

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

BEVEZETÉS

Ez a könyv a matematika egyik ága alapjainak ismertetésével foglalkozik, ezt az ágat matematikai statisztikának nevezik. Ez utóbbit a rövidség· kedvéért gyakorta egyszerűen statisztikának nevezik. Ugyanakkor ügyelni kell arra, hogy ez a rövidítés csak akkor megengedett, ha félreértéstől szó sem lehet, ugyanis maga a statisztika szó rendszerint egy kicsit más fogalmat takar. Mi is az a matematikai statisztika? Sokféle leíró „meghatározását" lehetne megadni, melyek többé-kevésbé fednék a matematika ezen ágának tartalmát. Az egyik legegyszerűbb és legdurvább az általános sokaságból történő mintavétel fogalmával, és a valószínűségszámítási kurzusok elején gyakran tárgyalt hipergeometrikus eloszlást definiáló feladattal kapcsolatos összehasonlításon alapul. Ott a véletlenül választott elemek összetételének eloszlásárvizsgálják, ismerve a sokaság összetételét. Ez a tipikus valószínűségszámítási feladat. Ugyanakkor gyakran meg kell oldani a fordított feladatot is, amikor isme~t a minta összetétele, és ebből kell meghatározni, hogy milyen maga a sokaság. Az ilyenfajta fordított feladatok alkotják, képletesen szólva, a matematikai statisztika tárgyát. Kicsit pontosítva ezt az összehasonlítást, azt mondhatjuk: a valószínűségszá­ mításban kiderítjük - ismerve bizonyos jelenségek viselkedését -, hogyan viselkednek (hogyan oszlanak meg) egy és más általunk tanulmányozott, a kísérletekben megfigyelhető jellemzők. A matematikai statisztikában éppen fordítva a kísérleti adatok a kiinduló pont (rendszerint ezek valószínűségi változók megfigyelései), é~ ebből kell a vizsgált jelenség természetére vonatkozó ilyen-olyan állít~sökat és döntéseket levezetni. Ily módon itt az emberi tevékenység egyik ~legfontosabb válfajába ütközünk - a megismerés folyamatába. Az az állítás, miszerint az „igazság kritériuma a gyakorlat" a legközvetlenebb kapcsolatban van a matematikai statisztikával, mivel éppen ez a tudomány tanulmányozza azokat az eljárásokat (a pontos matematikai modellek keretein belül), amelyek lehetővé

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

20

BEVEZETÉS

teszik, hogy válaszolhassunk a kérdésre, megfelel-e a - kísérleti eredmények formájában jelentkező - tapasztalat a jelenség természetéről alkotott hipotézisnek, vagy sem. Eközben feltétlenül ki kell emelni, hogy - ugyanúgy, mint a valószínűség­ számítás esetében - nem azok a kísérletek érdekelnek minket, amelyek alapján a vizsgált jelenségekre vonatkozóan egyértelmű, determinisztikus következtetésekre juthatunk, hanem azok a kísérletek, amelyek eredményei véletlen események. A tudomány fejlődésével az ilyenfajta feladatok szerepe egyre nagyobb lesz, mivel a kísérletek pontosságának növelésével együtt egyre nehezebb lesz elkerülni a mérési és számítási lehetőségeink korlátaiból és nehézségeiből származó „véletlen tényezőket". A matematikai statisztika a valószínűségszámítás része abban az értelemben, hogy minden egyes matematikai statisztika feladat lényegében (néha teljesen sajátságos) valószínűségszámítási feladat. Ugyanakkor maga a matematikai statisztika önálló helyet foglal el a tudományok rendszerében. Amatematikai statisztikát úgy lehet tekinteni, mint azt a tudományágat, melynek tárgya az ember (és nemcsak az ember) olyan feltételek melletti indukciós viselkedése, amikor a saját nem determinisztikus tapasztalatai alapján kényszerül a számára legkevesebb veszteséggel járó döntést meghozni.* A matematikai statisztikát a statisztikus döntések elméletének is nevezik, mivel úgy is lehet jellemezni, mint a statisztikus (kísérleti) adatokon alapuló optimális döntések (e két utóbbi szót meg kell magyarázni) tudománya. A.feladatok pontos megfogalmazását később, a könyv förészében fogjuk megadni. Most csak an-a korlátozódunk, hogy bemutassuk a statisztikai feladatok három egyszerű és tipikus példáját.

1. példa. Sok termék esetében a minőségét jellemző alapvető paraméterek egyike az élettartama. Azonban egy termék élettartama (mondjuk egy rádiócsőé) rendszerint véletlenszerű, előre meghatározni nem lehetséges. A tapasztalat azt mutatja, hogy ha a gyártási folyamat az ismert értelemben homogén, akkor az 1., 2., ... termék ~1, 6, ... élettartamát független, azonos eloszlású valószínűsé­ gi változóknak kell tekinteni. A minket érdeklő paramétert, mely meghatározza az élettartamot, természetes módon azonosíthatjuk a () =E~i értékkel. Az egyik standard feladat abban áll, hogy tisztázzuk, vajon mivel egyenlő (). Ahhoz, hogy meghatározzuk ezt az értéket, vegyünk n készterméket és ellenőrizzük őket. Legyenek x 1, x 2 , ... , Xn ezen ellenőrzött termékek élettartamaí. Tudjuk, hogy 1 n

-I:~i--o, n m.m. i=l

. . 1 n ha n--+ oo. Ezért természetes azt várni, hogy az x= Xi érték elég nagy n n i=l

L

* Részletesebben erről lásd [56].

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

21

érték esetén közel lesz O-hoz, és ez lehetővé teszi, hogy valamilyen mértékben feleljünk a feltett kérdésre. Eközben világos, hogy mi érdekeltek vagyunk abban, hogy a szükséges megfigyelések n száma a lehetőség szerinti legkisebb legyen, ugyanakkor a érték becslése pedig a lehetőség szerint minél pontosabb legyen (a e paraméter túlságos .növelése, illetve csökkentése anyagi veszteségekhez vezet).

e

2. példa. Egy radar a t1, t2, ... , tn időpillanatokban végigpásztázza a légtér egy adott részét abból a célból, hogy bizonyos tárgyak jelenlétét felfedje. Jelölje x1, x2, ... , Xn a műszer által felfogott, visszavert jel értékét. Ha az adott térrészben nincsen számunkra érdekes objektum, akkor az Xi é1tékeket tekinthetjük független valószínűségi változóknak, amelyek eloszlása ugyanolyan, mint egy ~ valószínűségi változóé, amelynek viselkedése különféle zavaró tényezők természetétől függ. Ha a megfigyelési periódus folyamán valamilyen objektum található a látótérben, akkor az Xi értékek a zavarok értékeivel együtt egy a „hasznos" jelet is fognak tartalmazni, és így Xi eloszlása ugyanolyan lesz, mint ~+a eloszlása. Ily módon, ha az első esetben az Xi eloszlásfüggvénye F(x), akkor a második esetben az eloszlásfüggvényük F(x - a) alakú les.z. Az x 1, x2, ... , Xn minta alapján kell dönteni arról, hogy a két eset közül éppen melyik a helytálló, azaz létezik-e az adott helyen számunkra érdekes objektum, vagy sem. Ebben a feladatban lehetségesnek látszik, hogy megadjunk egy bizonyos értelemben „optimális döntési szabályt", amely minimális hibával oldja meg a kitűzött feladatot. A megfogalmazott feladatot a következő módon lehet megnehezíteni. Az objektum először nincs jelen, majd a megfigyelés kezdetétől számított ismeretlen e időpontban megjelenik. A lehető legpontosabban meg kell határozni az objektum megjelenésének e időpontját. Ez az úgynevezett „riasztási feladat", amelynek egész sor, az alkalmazások szempontjából fontos interpretációja van. 3. példa. Valamilyen kísérletet előszőr az „A" feltételek mellett elvégeznek rqszer, majd a „B" feltételek mellett n2-ször. Jelölje x1, ... , Xn 1 és Yl, ... , Yn 2 az A és B feltételek mellett kapott kísérleti eredményeket. Kérdés: vajon az eredmények alapján fel lehet-e ismerni a kísérleti körülmények megváltozását. Más szavakkal, ha PA jelöli az Xi, 1 ~ i ~ n1 és PB az Yi, 1 ~ i ~ n2 eloszlását, akkor a kérdés lényege az, hogy teljesül.:.e a PA= PB összefüggés, vagy nem. Ha például azt kell megállapítani, hogy valamilyen preparátum befolyásoljae a fejlődést, mondjuk növények vagy állatok fejlődését, akkor párhuzamosan két sorozat kísérletet végeznek el (preparátum nélkül vagy azzal), és ezek eredményeit kell tudni összehasonlítani. Gyakran fellépnek ennél bonyolultabb feladatok is, amikor az ennek megfelelő kérdést sok, különböző feltételek mellett végzett megfigyeléssorozat esetén kell feltenni. Ha a kísérletek eredménye függ a feltételektől, akkor általában meg kell vizsgálni a függőség jellemzőit is (az úgynevezett regressziós feladat).

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

22

BEVEZETES

A 3. példa és az említett bonyolultabb problémák is a két vagy többmintás statisztikai feladatok osztályába tartoznak. Ezeket a feladatokat egy külön könyvben fogjuk vizsgálni (lásd az Előszót). A bonyolultsági fok és a tartalmuk szerint különböző tipikus statisztikai feladatok listáját tovább lehetne folytatni. Azonban mindegyikükben közös az alábbi két körülmény: 1. Semmilyen probléma sem lenne előttünk, ha a megfigyelések eredményeinek eloszlása, amelyek a feladatokban szerepelnek, ismertek lennének. 2. Mindegyik feladatban a kísérletek eredményei alapján kell a megfigyelések eloszlásaira vonatkozó valamiféle döntést hozni (innen származik a korábban már említett „Statisztikus döntések elmélete"). Ezzel a két megjegyzéssel összefüggésben minden további és speciálisan a példaként említett feladatokban is alapvető jelentősége van a következő ténynek. A~ valószínűségi változó x1, ... , Xn megfigyelései alapján nagy n értékek esetén tetszőleges pontossággal helyre lehet állítani a szóban forgó valószínííségi változó ismeretlen P eloszlását. Ugyanez az állítás igaz az ismeretlen eloszlás tetszőleges () =B(P) funkcionáljára. Ez a tény a matematikai statisztika alapköve. Erről, illetve még pontosabb állításokról szól az 1. Fejezet.

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

1. FEJEZET A minta. A tapasztalati eloszlás. A statisztikák aszimptotikus tulajdonságai

Az 1-4. pontokban bevezetjük a minta és a tapasztalati eloszlás fogalmát és megvizsgáljuk a legegyszerűbb, főként aszimptotikus tulajdonságaikat, amelyek a matematikai statisztika alapjait alkotják. Az 5. pontban az úgynevezett folytonossági tételek szerepelnek (valószínű­ ). ségi változók sorozatától függő eloszlásfüggvények konvergenciájáról szólnak Ezeket az egész könyvben használni fogjuk. A 6-10. pontban a tapasztalati eloszlás pontosabb aszimptotikus tulajdonságairól van szó, tanulmányozzuk a statisztikák alapvető típusainak határeloszlását. 1. A minta fogalma

statisztikai vizsgálat kiindulópontja egy megfigyelés összesség. A legegyszerűbb esetekben ezek egy~ valószínűségi változó kísérleti (a tapasztalat eredményeként kapott) értékei. Már említettük, hogy a statisztikai feladatokban a valószínűségi változó P eloszlása esetleg csak részben, de ismeretlen. Tetszőleges

Pontosabban, legyen G egy, a ~ valószínűségi változóval kapcsolatos kísérlet. Formálisan a ~ valószínűségi változóval végzett kísérlethez meg kellene adnunk a matematikai modellt, amelyben szerepel a (fil!, ~ ?f, P) valószínűségi amelyet ~ valószímező, és meg kellene adnunk rajta egy mérhető függvényt, az általánosság mezőről ~?f,P) (fil!, A (11]). nűségi változónak nevezünk (lásd azaz a fiJ! tér a ]), (11 (lásd ér" „mintat a korlátozása nélkül feltehetjük, hogy maga nak nevezheteloszlás a~ t ~(x) = x értékeinek tere. Ebben az esetben a P mértéke jük. Ha ~ valós értékű valószínűségi változó, akkor fi! az R valós számegyenes, ha ~ vektor, akkor fi! az Rm, m > 1. A továbbiakban rendszerint csak ezt a két esetet fogjuk figyelembe venni, azaz a fi! téren vagy az R-t (egydimenziós eset),

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

24

A minta

1.1

vagy az Rm-t, m > 1 (többdimenziós eset) fogjuk érteni. A ~&l"-algebrának a Borel-halmazok f!e* -algebráját fogjuk választani.* Ha előzetesen ismert, hogy a P mérték a ~ tér egy B E ~ 8l" részhalmazára koncentrálódik, akkor esetleg kényelmesebb ~ -nak a B-t tekinteni, és ~ &l"-nek az ~-algebra B-re történő megszorítását. Tekintsük a G kísérlet n független ismétlését (lásd [11], 38. oldal), és jelölje Xn a kapott megfigyelések összességét. Az

x1, ... ,

Xn=(x1, ... ,xn) vektort a P eloszlású sokaságból vett n nagyságú mintának nevezzük. Néha használjuk ezen szakkifejezés rövidebb illetve teljesebb változatait is: P eloszlásból vett minta vagy a P eloszlású általános sokaságból vett egyszerű minta. Szimbolikusan az „Xn a P eloszlásból vett minta" összefüggést a ~ jellel fogjuk jelölni az alábbi módon: (1)

Ezt a fajta jelölést fogjuk használni más valószínűségi változókra is. Például a

(2) összefüggés azt fogja jelenteni, hogy ~ eloszlása P. A ~ szimbólum ilyen használata összefér az (1) jelöléssel, mivel ez utóbbi tetszőleges n esetére definiált, speciálisan az n = 1 esetre is. Ha~ és rJ két (általában különböző tereken definiált) valószínűségi változó, amelyek eloszlása megegyezik, akkor ezt a tényt így fogjuk jelölni ~ = '17, így d

ha Xn és Yn két, azonos nagyságú minta a P eloszlásból, akkor írhatjuk, hogy Xn=Yn. d

Az (1), (2) jobb oldalán a P eloszlás helyett néha a P-nek megfelelő eloszlásfüggvény állhat. Így, ha F(x)=P((-oo,x)), akkor az

Xn~F jelölés az (1)-gyel azonos. Magával az „általános sokaságból vett minta" fogalmával a legegyszerűbb modellek vizsgálatakor is találkozunk, annak kapcsán, klasszikus meghatározása során egy urnából golyókat veszünk ki (lásd [11], 1. fejezet 2. pont). Meg kell jegyezni, a minta fent bevezetett fogalma teljes megegyezésben van ezzel a korábban bevezetett fogalommal, sőt lényegében egybeesik vele. Ha x1 (vagy a ~ valószínűségi változó) csak az a1, valószínűségszámítási amikor a valószínűség

* A könyv számos része érvényben marad abban az általánosabb szituációban is, amikor~ tetszőleges metrikus tér, 123" 8l" pedig a Borel halmazainak u-algerája, azaz a ff-beli nyílt halmazok által generált CT-algebra.

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

A minta fogalma

1.1

... , a 3 s darab számok, azaz

különböző

25 valószínűségi

értéket veheti fel, és ezek

racionális

s

'°' N·-N L., j=l

J-

'

akkor az Xn mintát úgy képzelhetjük, mint egy N számú golyót tartalmazó urnából vett visszatevéses mintavétel (a [11] 1. fejezete értelmében) eredményét, ahol az n golyó közül N1 számúra a1 van ráírva, N2 golyóra a2 és így tovább. Az X =Xn (az n indexet gyakran elhagyjuk) minta matematikailag nem más, mint az (x1, ... , Xn) valószínűségi változó, amely értékeit a f!fn =f!f x f!f x x ... x f!f „n-dimenziós" térből veszi fel, s melynek eloszlását - tetszőleges B = =B1 x B2 x ... x Bn, Bj E 938l" esetén - a n

(3)

P(X EB) =P(x1 .E B1, ... , Xn E Bn) = IlP(xi E Bi), i=l

egyenlőségek

definiálják. Más szavakkal a P eloszlás a f!f téren megegyezik az adott „egydimenziós" eloszlások n-szeres direkt szorzatával. A P és más eloszlásokkal kapcsolatos jelöléseket illetően a következő megállapodásokhoz fogjuk tartani magunkat- ezeket már részben használtuk a (3)-ban, és amelyek sehol sem fognak félreértéshez vezetni. 1. Egy és ugyanazon jelölést (például P) fogjuk használni a (f!f, 93 8l") téren levő eloszlás és az eloszlások direkt szorzatára a (f!fn, 938f) téren (lásd (3)), ahol 938f a f!fn-beli Borel-halmazok a-algebrája. Különbség csak a P függvény argumentumában látható. 2. Annak valószínűségét, hogy az X mennyiség értéke egy, a 938f-ben lévő B halmazba esik, néha kényelmesebb lesz P(B)-vel jelölni, néha pedig P(X E E B)-vel jelölni. Ez egy és ugyanaz annak alapján, hogy f!fn az X mintatere. 3. Végezetül a P jelet fogjuk használni a valószínűség általános fogalmának jelölésére is (azaz valamilyen más valószínűségi változóval kapcsolatos valószínűségre, anélkül, hogy konkretizálnánk a valószínűségi mezőt). (3) alapján az X mintát a (f!f, 93 8l", P) mintatérbeli elemi eseménynek is tekinthetjük (lásd [11] 3. Fejezet, 2. pont). Megjegyezzük az X mintával kapcsolatban, hogy ennek a fogalomnak és elnevezésnek kettős értelmezését is megengedjük: mint valószínűségi változóét és mint ténylegesen megvalósított kísérletek során kapott valós adatokból álló vektort. Azt mutatja a tapasztalat, hogy ez a kettős értelem teljesen elfogadható, és nem vezet félreértésekhez, ugyanakkor lehetővé teszi, hogy egyidejűleg írhassuk azt is, hogy P(x1 < t) = F(t) és azt, hogy x1 =0,74, x2=0,83 és így tovább. Megjegyezzük ugyanakkor azt is, hogy az X minta Xi koordinátáit „álló" x betűkkel jelöljük, meghagyva a „kurzív" x-et a változó mennyiségek jelölésére. Az (x1, ... , Xn) E f!fn, Xi E f!f vektort félkövér x =(x1, ... , Xn) betűvel fogjuk jelölni.

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

26

A minta

1.2

A matematikai statisztikai feladatokban a minta az alapvető kiinduló pont. Azonban a gyakorlatban x1, x2, ... , Xn elemek messze nem függetlenek. A vizs- . gálatainkban nem fogjuk kizárni ezt a lehetőséget sem. Ahhoz, hogy ne kellejen feleslegesen magyarázni az ilyen esetekben az összefüggő megfigyeléseket úgy fogjuk tekinteni, mintha n =1 elemű mintával lenne dolgunk, a megfigyelések alkotják a Xi vektor koordinátáit (hiszen a 8r tér tetszőleges lehet). Az elkövetkezendő vizsgálatainkban gyakran foglalkoznunk kell az X~ mintával korlátlanul növekvő n mintaelemszám mellett. Az ilyen esetekben kényelmesebb feltenni azt, hogy az X 00 = (x1, x2, ... ) végtelen elemű minta adott és X = Xn pedig az első n koordinátájának összessége. Az X 00 végtelen nagyságú mintán az (8r=, ~~' P) mintatér egy elemét értjük, ahol 8r00 - az (x1, x2, ... {xi E Bi}, Bi E !B&e, N = 1, 2, .. ; . . .) sorozatok tere, a~~ a-algebrát az

n

i~N

alakú halmazok generálják; a P eloszlás rendelkezik a (3) tulajdonsággal. Kolmogorov tétele ([11]) alapján ilyen eloszlás mindig létezik. Tehát az .általánosság korlátozása nélkül mindig feltehetjük, hogy létezik a végtelen elemű minta. Magát az X= végtelen sorozatot (végtelen mintát) az elméleti-valószínűség­ számítási jellegű gondolatmenetekben elemi eseménynek tekinthetjük (vö. [11]). Azokban az esetekben, amikor az Xn mennyiségen az X 00 részvektorát kell értenünk, azt fogjuk írni, hogy Xn = [X=]n,

ahol [·ln a nyilvánvalóan definiált vetítés operátor a ;?J:00 térből grn_be. Az előzőekkel összhangban az Xoo~P jelölés azt fogja jelenteni, hogy az X= a P eloszlásból vett végtelen elemű minta. Ha szükségünk van arra, hogy különösen hangsúlyozzuk azt, hogy a (;?J:00 , ~~) téren (vagy (8r, !Bff), n < oo esetén) értelmezett eloszlásról (és nem a ( ;?J?, ~Be) téren értelmezettről) van szó, a P00 (Pn) jelöléseket fogjuk használni. Ormótlan jelölésekre vezetett volna az, ha az egész szövegben megtartottuk volna a oo és az n felső indexeket. 2. A tapasztalati eloszlás (egydimenziós eset)

Legyen adott az X =(x1, ... , Xn) ~p Xi E 8r =R minta. Vegyük az R számegyenest a ~ Borel-halmazok a-algebrájával, és az (R, ~) téren értelmezett P~ diszkrét eloszlást, amely az xi, ... , Xn pontokra koncentrálódik; az Xi érték valószínűségét 1/ n-nek vesszük. Más szavakkal, tetszőleges B E ~ esetén definíció szerint (1)

www.interkonyv.hu

P~(B) =~(B),

n

© Borovkov, Michaletzky György

© Typotex Kiadó

1.2

A tapasztalati eloszlás (egyct1menz1ós eset)

27

ahol v(B) az X minta azon elemeinek száma, amelyek a B halmazba esnek. A P~ eloszlást az X minta alapján elkészített (vagy az X mintának megfelelő) tapasztalati eloszlásnak nevezik. A következő alakban is elő lehet ezt állítani. Legyen lx(B) az x pontba koncentrált eloszlás: lx(B)={ 1, xEB, 0, x~B. n

Ekkor nyilvánvalóan v(B) =

L 1;i (B), i=l

Világos, hogy tetszőleges B Borel halmaz esetén a P7,,(B) mennyiség mint a minta függvénye valószínűségi változó. Ily módon véletlen halmazfüggvénnyel vagy véletlen eloszlással van dolgunk. Tegyük fel most, hogy X 00 ~P. Xn = [X00 ]n és n ---+ oo. · Ekkor a P~ tapasztalati eloszlások sorozatát kapjuk. Figyelemreméltó tény, hogy ez a sorozat egyre inkább megközelíti a megfigyelt valószínűségi változó P eloszlását. Ez a tény alapvető jelentőségű az elkövetkezendő fejtegetéseink szempontjából, mivel azt mutatja, hogy elegendő nagy elemszámú minta esetén tetszőleges pontossággal vissza lehet állítani az ismeretlen P eloszlást.

1. Tétel. Legyen BE Ti és Xn =[X00 ] ~P. Ekkor n- oo esetén P~(B) --+ P(B). m.m.

Az 1 valószínűségi konvergenciát az (R00 , T; 00 , P) téren értelmezett P =P 00 eloszlás szerint kell érteni. Az Xn =[X00 ]n feltevés ahhoz kell, hogy a P~(B) valószínűségi változók egy közös valószínűségi mezőn értelmezve legyenek. Bizonyítás. Térjünk vissza a (2) meghatározáshoz, és jegyezzük meg, hogy az lx/B) mennyiségek független · ázonos eloszlású valószí~űségi változók, Elxi(B) =P(lxi(B) = 1) =P(xi EB) =P(B). Mivel P~(B) ezen mennyiségek számtani közepe, már csak a nagy számok erős törvényét kell használnunk. Az 1. Tétel szerint P~(B) tetszőleges B „pontban" a P(B) mennyiséghez tart. Azonban egy ennél erősebb állítás is igaz; ez a konvergencia B szerint egyenletes. Jelöljük a véges vagy végtelen végpontokkal rendelkező [a, b] alakú intervallumok rendszerét J-vel, és ismét tegyük fel, hogy Xn =[X00 ]n,

2. Tétel. (Glivenko-Cantelli) sup \P~(B) - P(B)\ --+ 0.

BE.Y

www.interkonyv.hu

m.m.

© Borovkov, Michaletzky György

© Typotex Kiadó

28

A minta

1.2

Tulajdonképpen Glivenko és Cantelli nevéhez egy kicsit másféle állítás fű­ amely a tapasztalati eloszlásfaggvény fontos fogalmával kapcsolatos. Definíció szerint ez a P~ eloszlásnak megfelelő eloszlásfüggvény. Más szavakkal, empirikus eloszlásfüggvénynek nevezzük az ződik,

F~(x) =P~((-oo, x))

függvényt. Az nF~(x) mennyiség az x-nél kisebb megfigyelések számával egyenlő. Gyakorlatilag az F~(x) megkonstruálására gyakran használják a következő eljárást. Az x1, ... , Xn mintaelemeket nagyság szerinti sorrendbe rendezik, azaz a rendezett mintának nevezett X(l) ~ X(2) ~ . , , ~ X(n)

sorozatot képezik

belőlük.

Ekkor feltehetjük, hogy k n

F~(x)= -,

ha

ahol k végigfutja a O-tól n-ig tartó számokat, xco)=-oo, X(n+l)=oo. Az F~(x) függvény nyilván lépcsős függvény, amelynek 1/n nagyságú ugrásai vannak az Xi pontokban, ha az Xi-k mind különbözőek. Legyen F(x) = P((-oo, x)) (vagy, ami ugyanaz, az x1 eloszlásfüggvénye), és Xn = [X00 ]n, Ekkor a Glivenko-Cantelli-féle tétel az alábbit jelenti: 2A. Tétel. n ---+ oo esetén

sup IF~(x)-F(x)I-+ 0. x

m.m.

Az alábbiakban az F~ jelölésből elhagyjuk az n indexet, és egyszerűen F* et írunk. A 2A. Tétel bizonyítása. Először feltesszük az egyszerűség kedvéért, hogy az F függvény folytonos. Legyen E> 0 egy olyan előre megadott tetszőleges kicsiny szám, amelyre N = 1/ E egész. Mivel F folytonos, meg tudunk adni olyan zo = =-oo, z1, ... , zN-I, Zn =oo számokat, amelyekre

Ekkor z E [zk, Zk+I) esetén teljesülnek az (3)

F*(z) - F(z) ~ F*(zk+I) - F(zk) = F*(zk+l) - F(zk+1) + E, F*(z) - F(z) ~ F*(zk) - F(zk-1-1) =F*(zk) - F(zk) - s

összefüggések. Jelöljük Ak-val azon w =X 00 események halmazát, amelyekben F*(zk)---+ N

---+ F(zk)· Az 1. Tétel alapján P(.,--1k) =1. Ily módon tetszőleges w E A=

íl Ak k=O

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

29

A tapasztalati eloszlás (egydimenziós eset)

1.2

esetén található olyan n(w) érték, hogy minden n;?: n(w) esetén, hogy IF*(zk)-F( zk)l 0, bármely w E A és minden elég nagy n;?: n(w) esetén teljesül. Mivel P(A) =1, ezért a tételt folytonos F függvény esetére bebizonyítottuk. Tetszőleges F(x) függvény esetén a bizonyítás teljesen hasonlóan történik. A következő állítást kell csak felhasználni: tetszőleges F(x) esetén létezik véges sok olyan -oo =zo < z1 < ... < zN-l < zN =oo pont, amelyekre

k =0, 1, ... , N -1

(6)

(az egyértelműség kedvéért feltehetjük, hogy a { Zj} halmaz tartalmazza az F függvény mondjuk E /2-nél nagyobb ugráshelyeit). (3)-hoz teljesen hasonlóan azt kapjuk, hogy z E (zk, zk+il esetén F*(z) - F(z) ( F*(zk+l) - F(zk+l) + E, F*(z)-F(z) ;?: F*(zk +0)-F(zk +0)-E.

(7)

A korábban definiált Ak halmazokhoz vegyük még hozzá az Ak halmazt, k=O, 1, ... , N, amelyeken F*(zk+O)- ,F(zk+O). Ekkor az 1. Tétel alapján N

P(Ak) =P(At;) =1, és az A=

íl AkAk halmazon elég nagy n;?: w(n) esetén telk=ü

jesül (4) és az

k=O, 1, ... , N egyenlőtlenségek.

(7)-tel együtt

ezekből

az

egyenlőtlenségekből

következik

(5). D

A 2A. Tétel speciális esete a 2. Tételnek, mivel a (-oo, x) halmazok J-be tartoznak; másik oldalról a 2. Tételt könnyen meg lehet kapni, mint a 2A. Tétel következményét, mivel B =[a, b) esetén

IP~(B)-P(B )I ( IF;(b)- F(b)I + IF;(a)- F(a)I, és így sup IP~(B) -P(B)I ( sup[IF;(b) -F(b)I + 1F;(a)-F( a)I]--+ 0. BEJ

a,b

m.m.

1. Megjegyzés. Nem nehéz látni, hogy ugyanilyen fajta meggondolások alapján a 2. Tételben az .Yhalmazrendszer helyett vehetjük az (a, b) intervallumok, [a, b]

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

30

A núnta

1.3

szakaszok, illetve véges (valamilyen N-nél nem nagyobb számú) egyesítéseik: rendszerét. Más oldalról, ha a 2. Tételben az Jhelyett egy eléggé bő halmazosztályt veszünk, akkor a tétel állítása továbbá már nem marad igaz. Ha például Jtetn

szőleges véges számú intervallum egyesítését tartalmazza, akkor Bn

= LJ (xk k=l

- 1/n2 , Xk + 1/n2) EJ, és P~(Bn) =1, ugyanakkor a [O, 1] intervallumon egyenletes eloszlás esetén P(Bn)::;; 2/n, így

sup IP~(B)-P(B)I ~ P~(Bn)-P(Bn)--+ 1. BE.Y

A pont befejezéseként megjegyezzük, hogy a (2) előállítás lehetővé teszi, hogy a Glivenko-Cantelli-tételnél pontosabb állításokat kaphassunk a P~ aszinptotikus viselkedéséről (ezek a tételek szerepelnek a 4., 6. pontokban). Illusztrációképpen az ott lévő lehetőségekhez emlékeztetünk arra, hogy a (2) formulában n

szereplő

összege,

L lxi(B) mennyiség független azonos eloszlású valószínűségi változók i=l

ElxJB) =P(lx;(B) = 1) =P(B), EI2x.(B) =P(B),. i

Ezért a centrális

D2Ix-(B) =P(B)(l -P{B)).

határeloszlástételből

i

közvetlenül adódik a

következő

állítás:

3. Tétel. P~(B) előállítható (8)

P~(B) =P(B) +

(1n),

1 n alakban, ahol (n(B) = y1n tr(lxJB) - P)B)) eloszlása a (0, P(B)(l - P(B)) paraméterű

normális eloszláshoz tart.

A 6. pontban folytatjuk a P.~(B) mennyiség további ezirányú vizsgálatát. Az 1 valószínűségi konvergenciáról szóló pontosabb állítások a 4. pontban találhatóak:. 3. Tapasztalati jellemzők. A statisztikák két típusa 1. Példák a tapasztalati jellemzó'kre. Tapasztalati jellemzőknek nevezik rendszerint a tapasztalati eloszlás különféle mérhető funkcionáljait, vagy más szavakkal a minta függvényeit, amelyekről feltesszük, hogy mérhetőek. Ezek közül

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

Tapasztalati jellemzők

1.3

31

a legegyszerűbbek - a minta momentumai (vagy tapasztalati momentumok). A minta k-adrendí{ momentumainak nevezik az at=at(X)=f· xkdF~(x)=..!:_

f=x7-

n i=l mennyiséget. A minta k-adik centrális momentuma az at

=ak*o(X) = j (x -

aildF~(n) = ..!:_

f)xi -

ai)k

n i=l

.

1

mennyiséggel egyenlő. Az a és a 2° tapasztalati momentumra az irodalom az és S 2 speciális jelöléseket használja: 1

n

~Xi, -x=a *1 =- ""

n

i=l

S 2 =a2*O

=-1 ~( Xi ~

x

-)2 X .

n i=l

A statisztikai feladatokban a legkülönfélébb, a minta alapján számított jellemzőket használják. Például, a minta (* mediánja - a rendezett minta középső értéke, azaz (* = X(m), ha n =2m - 1 (páratlan) és (* = (x(m) + X(m+ 1)) /2, ha n = = 2m (páros). Emlékeztetünk arra, hogy folytonos P eloszlás esetén a ( mediánjának az F( () = 1/2 ·egyenlet 'megoldását nevezzük. Általánosabb fogalom a p-edrendű (p kvantilis fogalma. Ez az a szám, amelyre F((p)=p. Így tehát a medián az 1/2-rendű kvantilis. Ha F-nek van szakadáspontja (diszkrét összetevője), akkor ez a definíció értelmét veszti. Ezért az általános esetben a következő definíciót fogjuk használni. A P eloszlás p-edrendű (p kvantilisének nevezzük a (p=sup{x:F(x)~ p} ,

számot. A (p kvantilis mint p függvénye nem más, mint az F-1(p) függvény, F(x) inverze. A (p (vagy F-' 1(p)) ilyen meghatározásának, ellentétben az előzőtől, tetsző­ leges F(x) esetén van értelme. Világos, hogy a minta mediánjával együtt tekinthetjük a minta p-edrendű (; kvantilisét is, amely definíció szerint megegyezik X(l) értékével, ahol l = [np] + + 1, X(k) az X minta rendezett mintájának eleme, k = 1, ... , n. A p = 1/2 esetre megőrizzük a fent adott(*= (f;2 definíciót (ez csak páratlan n esetén esik egybe a korábban definiált alakkal). 2. A statisztikák két fajta típusa. Legyen adott egy n-változós S mérhető függvény. A minta alapján számított S(X) = S(x1, ... , Xn) jellemzőt gyakran statisztikának is nevezik. A fent mondottakból világos, hogy tetszőleges statisztika valószínűségi változó is egyben. Eloszlását teljes mértékben meghatározza a P(B) = P(x 1 EB) (emlékeztetünk arra, hogy S(X)-et úgy is tekinthetjük, mint a

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

32

A minta

1.3

~ge,

(&en, P) téren megadott valószínűségi változót, ahol P az x1 egydimenziós eloszlásának n-szeres direkt szorzata). A statisztikák két osztályát jelöljük most ki. Ezekkel a továbbiakban gyakran fognak találkozni. Az F tapasztalati eloszlásfüggvény következő két fajta G(F) funkcionálja segítségével épülnek fel: I. A G(F)=h

típusú funkcionál, ahol g adott

(! g(x)dF(x))

Borel-mérhető függvény,

h az a=

j g(x)dFo(x)

pontban folytonos függvény, és F0 -ra teljesül, hogy X ~F0 . II. Azok a G(F) funkcionálok, amelyek az egyenletes metrikában folytonosak az Fo pontban: G(F(n))-+ G(F'o), ha sup IFCn\x)- Fo(x)I-+ 0, továbbá az x

eloszlások tartói* az Fo tartójába esnek. Itt Fo ismét az a függvény, amelyre X~Fo. A statisztikák megfelelő osztályait az

p(n)

S(X)=G(F~) egyenlőség segítségével definiáljuk, ahol F~ a tapasztalati eloszlásfüggvény. Azt kapjuk ekkor, hogy I. Az I. osztályba tartozó statisztika előállítható

alakban. Nyilvánvaló, hogy mindegyik tapasztalati momentum

~

f

n i=l

g(xi) alakú, ·

és így az I. típusú statisztikák közé tartoznak. II. Ez a statisztikák azon osztálya, amelyeket II. típusú statisztikáknak vagy az Fo pontban folytonos statisztikáknak fogunk nevezni. · Világos, hogy például a tapasztalati medián az F pontban folytonos statisztika, ha létezik a ( medián, F(() =1/2, és F folytonos és szigorúan monoton növekvő a ( pontban. Az, hogy valamelyik funkcionál az egyik fent nevezett osztályba tartozik, nem zárja ki azt, hogy a másikba is tartozzék. Egy G(F) funkcionál egyszerre tartozhat mindkét osztályba, vagy esetleg egyikbe sem. Például, ha G I. típusú funkcionál, F tartója az [a, b] intervallumra korlátozódik (F(a) =0, F(b) =1),

* Az

N F halmaz az F eloszlásfüggvénnyel

rendelkező

P eloszlás tartója, ha

P(NF)= 1.

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

1.3

Tapasztalati jellemzők

33

és a g függvény az [a, b] intervallumon korlátos variációjú függvény, akkor G egyben II. típusú funkcionál is, mivel ebben az esetben a b

j g(x)dF(x) =g(b) - j F(x)dg(x) a

funkcionál folytonos az F szerint az egyenletes konvergencia metrikájában. A mondottak az jelentik, hogy az x és S 2 I. típusú statisztikák II. típusúak is, ha X €:;P és P véges intervallumra koncentrálódik. A 2.1 és 2.2 Tételeket kiegészítjük a tapasztalati jellemzők majdnem mindenütt való konvergenciájáról szóló következő állítással.

1. Tétel. Ugyanúgy, mint korábban, legyen Xn = [X 00 ]n €:;F. Ekkor, ha S(X) = = G(F~) I. vagy II. típusú statisztika, akkor n--+ oo esetén - - G(F). G(F~) m.m. Természetesen feltesszük, hogy a G(F) érték létezik. Ily módon, a nagy elemszámú minta nemcsak magának a P eloszlásnak a becslését teszi lehetővé, hanem ezen eloszlás funkcionáljainak is - legalábbis akkor, ha ezek a tételben megnevezett osztályok valamelyikébe tartoznak. Bizonyítás. Az állítás bizonyítása mindkét statisztika-osztály esetében majdnem nyilvánvaló. Legyen például G(F) = f S=S(X)=

(j

g(x )dF(x)). Ekkor az

J

]

n

g(x)dF1~(x)=~ Lg(xi)

n i=l

mennyiség Eg(xi)=

j g(x)dF(x)

várható értékű független valószínűségi változók összege. Ezért a nagy számok erős törvénye alapján S - - Eg(x1). Legyen most A= {X00 : S(X)--+ Eg(x1)}. m.m. Ekkor P(A) =1, és ha X 00 E A, akkor S(X)--+ Eg(x1), h(S(X))--+ h(Eg(x1)). Más szavakkal, az A halmazon G(F~)--+ G(F). A második típusú funkcionálokra vonatkozó állítás a Glivenko-Cantelli-tétel egyenes következménye. D

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

1.4

A minta

34

. Ezekből a tételekből következik, hogy a minta abszolút és centrális momentumai m.m. konvergálnak n-+ oö esetén a P eloszlás megfelelő momentumaihoz: '•. ak* = ak*(X) = -1

~ k EX1' k ~ xi - +

n.

m.m.

i=l

ak 0

=ak°(X) = _!:_n t(xi .

i=l

·

x)k -+ E(x1 - Ex1)k. m.m.

Speciálisan .

2 1~ - 2 1 ~· 2 -2 . 2 S =- ~(x.i-x) =- ~xi -x -10 x1. . n i=l n

Ily módon fontos, alapvető jelentőségű tényt állapíthattunk meg, a tapasztalati eloszlás és funkcionáljainak széles osztáiya a minta elemszámának növekedésével tetszőlegesen közel kerül a megfelelő „elméleti" értékekhez. A tapasztalati jellemzők eloszlásait pontosabban leíró tételek a 7. és 8. pontban találhatók. ·

4. Többdimenziós minták 1. Tapasztalati eloszlás. Teljesen hasonló képet mutat a többdimenziós esetben a tapasztalati eloszlás és a tapasztalati jellemzők felépítése; ekkor a megfigyelt ~ valószínűségi változó és vele együtt az x1, ... , Xn mintaelemek m > 1 dimenziós vektorok: xk =(xk 1, ... , xk m)· Most P(B) =P(~ EB) a ff =Rm téren vett P) tér lesz, ahol P az (Rm, Pi a?= Pi1 l) eloszlás, a mintatér m~st a ( ffh,

Pige,

térben vett P eloszlás n-szeres direkt szorzata. Teljességgel megőrzi jelentését az X ~p jelölés. Az X minta alapján ugyanúgy kell megszerkeszteni a P~ tapasztalati eloszlást, mint korábban; az x 1, ... , Xn pontokra J / n súlyokkal koncentrálódott diszkrét eloszlás lesz, azaz P* (B) = v(B) n

n

=_!:_n,(-, ~ Ix-(B), i

i=l

ahol v(B) a B halmazba eső pontok száma, lxi az Xí pontra koncentrált eloszlás. A P~(B)-+ P(B) konvergenciáról szóló 1. Tétel nyilván továbbra is érvém.m.

nyes lesz. A Glivenko-Cantelli-tétel általánosítása a többdime:µziós esetre minőségileg új kérdések megjelenésével jár együtt. Ezek közül az egyik - az intervallumok fogalmának általánosítása a többdimenziós esetben. Számos ilyen általánosítás lehet, például tégla alakú, vagy konvex halmazokat vagy esetleg másokat veszünk.

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

35

Többdimenziós minták

1.4

A Glivenko-Cantelli-tétel legegyszerűbb általánosítása az alábbi. Legyen y =(Y1, ... , Ym) Rm egy pontja, Bt a t =(t1, ... , tm) csúcspontú ,,témegyed": Bt={yERm:yk< tk, k=l, ... ,m}. Az F:(t) =P~(Bt) nevezik. eloszlásfüggvénynek függvényt tapasztalati

1. Tétel. Legyen Xn = [X00 ]n, X 00 €3:F. Ekkor sup IF:(t) - F(t)I _, 0, m.m.

t

ha n-+ oo.

2. A Glivenko-Cantelli- tétel még általánosabb változatai. Az iterált logaritmus tétel. A Glivenko~Cantelli-tétel egyik lehetséges általánosítása a következőben áll. Legyen 'I az Rm tér konvex részhalmazainak osztálya.

2. Tétel. Legyen Xn =[X 00 ]n, X 00 €3:P, és a P eloszlás legyen abszolút folytonos a az m-dimenziós Lebesgue-mérték szerint. Ekkor sup IP~(B)-P(B)I -

(1)

BE'X

m.m.

.

0.

Az 1. Tétel további lehetséges általánosításait lehet kapni az I. Függelék állításainak felhasználásával.

1. Megjegyzés. A P mérték abszolút folytonosságának kikötése a 2. Tételben lényeges. ElTe mutat rá a következő példa. Legyen P az R 2 egységkörén (azaz a kör határán) egyenletes eloszlás. Vegyünk egy olyan Ex zárt sokszöget, amelynek x1, ... , Xn csúcsai a körön fekszenek. Ez konvex halmaz. Ugyanakkor P(B x) =0, P~ (B x) = 1, következésképpen az (1) összefüggés, ahol 'I a konvex halmazok osztálya, nem teljesül. A Glivenko-Cantelli-típusú tételek állítását lényegesen pontosabbá lehet tenni - legalábbis a legegyszerűbb halmazosztályok esetén. Például, tetszőleges F~(t) tapasztalati eloszlásfüggvény sorozat (lásd 1. Tétel) esetén lehet találni olyan bn-+ 0 (n-+ oo) determinisztikus sorozatot, amelyre 1 valószínűséggel (majdnem minden X 00 pontban) limsupb~ 1 sup IF~(t)-F(t)I =1. n--,oo

t

. . , , Megmutathato, hogy bn nagysagrendJe megegyezik

-

ln n

·

,

.

- n - nagysagrend-

jével.

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

A minta

36

1.4

3. Tétel. (Iterált logaritmus tétel) Ha F(t) folytonos, akkor

P (lim sup n-+oo

J

2 IF~(t) - F(t)I = 1n 1nn n sup t

1) =

1.

A 3. Tétel szorosan összefügg az F~(t) (2.8) alakú normális közelítéseivel, amelyek a többdimenziós esetben is nyilvánvalóan helytállóak.* Az 1. és 2. Tétel bizonyítását az 1. Függelékre hagyjuk. A 3. Tétel bizonyítását lásd [45]-ben. 3. Tapasztalati jellemzők. A többdimenziós esetben ugyanúgy, mint az egydimenziósban, ezek a minta különféle mérhető függvényei. Közülük a legegyszerűbbek a tapasztalati momentumok (a minta momentumai). Például, az elsőrendű tapasztalati momentumok

~

* 1 a* 1,} =a 1,JCX)=-;;;, ~ xk,},

j=l, ... ,m.

k=l

A

másodrendű

tapasztalati momentumok (a közönségesek és a centrálisak)

Ln xk ·xk ,J,·

* .. =a 2* · ·(X)=-i a2 ,iJ ,iJ n

i,j=l, ... ,m,

,i

k=l a2*o,iJ ..

-= S .. =-1 iJ n

Ln.· (Xk . ,i

a1*,i.)( Xk ,J. - a1*,J.) ,

k=l

és így tovább. Ugyanúgy, mint az egydimenziós esetben,"könnyen meg lehet győződni a nagy számok erős törvényei segítségével, hogy ezek a jellemzők. 1 valószínűséggel konvergálnak a megfelelő „elméleti" momentumokhoz. Speciálisan, Si1· -+ E(x1 i - Ex1 i)(x1 J. - Ex1 J·). Nem nehéz meggyőződni arról, m.m. ' ' ' ' hogy r ··= iJ

Sí·

J -+ Q(X1 · ~mm ,i, S··S·· 2J JJ ··

x1 ·) =

E(x1 i - Ex1 i)(x1 · - Ex1 ·)

'

,J

' JDx1·Dx1' ,J

2

,J

2

,.i

,J

(részletesebben erről a következő pontban), hogy ugyanezzel a tulajdonsággal rendelkeznek a tapasztalati korrelációs együtthatók.

*A

sup IF~(x)- F(x)I mennyiség ingadozásának mértékét mutatja az alábbi iterált x

logaritmus tétel.

P

(limsu.p vn sup IF~(x)- F(x)I =sup[F(x)(l-F(x))]! ) x.

n--+oo

1

(2 log log n) 2

=l

x

(L. K. L. Chung (1949) ,,An estimate concerning the Kolmogorov limit distribution, Trans. Amer. Math. Soc. 67, 36-50.). Ford. megj.

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

Folytonossági tételek

1.5

;:)/

Igen hasznosan lesznek majd az úgynevezett folytonossági tételek abban, hogy pontosabb állításokat nyerhessünk a tapasztalati jellemzők eloszlásáról.

5. Folytonossági tételek Az elkövetkezendőkben szükségünk lesz néhány segédállításra, amelyeket igen gyakran fogunk használni, és amelyeket folytonossági tételeknek lehetne nevezni. ·Az egyszerűség kedvéért külön pontba gyűjtöttük össze őket. Egy ilyen típusú tételt már használtunk is - ez a 3.1 Tétel. Az első folytonossági tétel igen közel áll ehhez a tételhez.

1. Tétel. (Az első folytonossági tétel.) Legyen Xn = [X00 ]n €;:P. Ekkor, ha Bn =

---'--+ So = Bn(X) olyan skalár- vagy vektorértékű statisztika sorozat, amelyre Bn m.m. és H(s) az So valószínűségi változó eloszlása szerint majdnem mindenütt folytonos függvény (azaz H(s) folytonos egy B halmaz minden pontjában, P(So E ---'--+ H(So), Ha Bn sztochasztikusan konvergál SoEB)= 1), akkor H(Sn(X) ) m.m. H(So). hoz (Sn - - So) akkor ugyanazon további feltételek mellett H(Sn)---'-+ p

p

Bizonyítás. A tétel bizonyítása majdnem nyilvánvaló: Mivel az A= { X 00 : Bn(Xoo)- + So(Xoo)} és C = { Xoo: So(X00 ) EB} halmazok valószínűsége 1, ezért a P(A n C) =P(A) + P( C) - P(A U C) egyenlőség alapján az A n C esemény (amelyen H(Sn(X00 ))-+ H(So(X00 ))) is 1 valószínűségű. Ahhoz, hogy a sztochasztikus konvergencia bizonyítását leegyszerűsít­ sük, feltesszük pótlólag azt is, hogy So =állandó (nekünk csak erre az esetre van szükségünk). Adott r:: > 0 esetén található olyan 8 > 0, amelyre az An = ={Xoo: IBn - Sol < 8} eseményen IH(Sn)- H(So)I < e: is teljesül, és ezen felül P(An) > 1 - r:: elég nagy n esetén. Következésképpen ilyen n-ekre 1 - r:: < < P(An):::;; P(jH(Sn) - H(So)I < r::). D Mielőtt a következő tételeket megfogalmaznánk, bevezetünk néhány - a továbbiakban hasznos - jelölést. Legyen adott az 'f/n = ( 'f/~1), ... , 'f/~)) valószínűségi változók egy sorozata (nem feltétlenül egy ugyanazon valószínűségi mezőn). Ha 'f/n eloszlása gyengén konvergál n-+ oo esetén - egy rJ valószínűségű vektorváltözó eloszlásához, ekkor ezt az 'f/n =?-1/

(1)

*

jelet használjuk a valószínűségi változók eloszlása jellel fogjuk jelölni. A Ezt fogjuk használni a korábbiakkal megjelölésére. ciájának gyenge konvergen így az (1) összefüggés ekvivalens azzal, is, ra eloszlások egyezően magukra az hogy Qn=*Q,

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

A minta

1.5

ahol Qn és Q az T/n és az r; eloszlása. Ez a megállapodás igen kényelmes és nem vezet félreértésre. Magától értetődő, hogy a r;

TJn

'* r; (vö. [11], 133, oldal).

-----+

p

r; vagy r;

-----+

m.m.

r; relációkból következik, hogy

Így tehát ha egyforma természetű mennyiségek (valószínűségi változók vagy eloszlásaik) közötti (a gyenge konvergenciának megfelelő) viszonyról van szó, jelet fogjuk használni. Ezzel ·együtt számunkra is kényelmes, ha akkor a ugyanez a jel fejezi ki azt is, hogy „17n eloszlása gyengén konvergál - n --+ oo esetén - Q-hoz". Ezt az összefüggést így fejezzük ki: ·

'*

(2)

T/n s==}Q,

'*,

így tehát a s==} jel ugyanazt fejezi ki, mint a azonban különböző természetű mennyiségeket kapcsol össze, ugyanúgy, ahogy a ~ az r; ~Q összefüggésben ((2) bal oldalán állnak a valószínűségi változók, jobb oldalán az eloszlás). Legyenek T/n és r; s-dimenziós véletlen vektorok.

2. Tétel (második folytonossági tétel). Ha T/n függvény lE.8 -ből JE.k -ba akkor H(r;n) H(r;).

'*

'* r; és H(t), t E lE.

8

folytonos

Megjegyezzük, hogy ez a tétel valójában általánosabb formában is igaz:* Ha 17n r; és H(t) folytonos egy A E ~ 8 , P(r; E A)= 1 halmaz pontjaiban, akkor H(r;n)

'* '* H(17).

'*

A 2. Tétel bizonyítása. Legyenek Qn és Q T/n és r; eloszlásai. A Qn Q gyenge konvergencia definíció szerint azt jelenti, hogy tetszőleges folytonos és korlátos J : lE.8 --+ IP& függvény esetén teljesül, hogy

J

J(y)Qn(dy)-+ /J(y)Q(dy)

vagy, ami ugyanaz

EJ (r;n)--+ EJ (r;).

(3)

Ezzel analóg összefüggést kell kapnunk a H (17n) és H ( r;) eloszlására. Ami azt jelenti, hogy azt kell megmutatnunk, hogy tetszőleges g : JE.k --+ IP& folytonos korlátos függvény esetén teljesül, hogy E(H(r;n))--+ E(H(r;)). Ez azonban nyilvánvalóan következik (3)-ból, mivel a g=go H: lE.8 --+ IP& összetett függvény folytonos és korlátos. 1

3. Tétel (a harmadik folytonossági tétel), Tegyük fel, hogy T/n

'* r; E Iffi,

H(t),

t E IP& az a pontban differenciálható függvény. Ekkor, ha bri--+ 0 tetszőleges számsorozat, akkor (4)

*

www.interkonyv.hu

(H(a + bnr;n) - H(a))/bn Részletesebben

erről

'* r;H (a). 1

lásd [5).

© Borovkov, Michaletzky György

© Typotex Kiadó

39

Folytonossági tételek

1.5

Bizonyítás. Vegyük a h(x)= {

'f 0,

(H(a+x)-H (a))/x,

x

H 1(a)

x=O,

függvényt, amely folytonos lesz az x =0 pontban. Mivel bn r/n =} 0, ezért az első folytonosság i tétel alapján h(bnrJn) =} h(O) =H' (a). Felhasználv a a második folytonossági tételt kapjuk, hogy (H(a + bnr/n) - H(a))/bn = h(bnr/n)r/n =} H 1(a}ry.

D

Most a 3. Tétel következő két, többdimenziós általánosítását mondjuk ki ezek később hasznosak lesznek számunkra. - ( rJ (1) · , rJ ( 2) , ... , rJ (s)), H( r ) 3A . T e'tel . T,egyu··kfie l, h ogy ?)n -= (r/n(1) , ... , 1/n(s)) =} r/ = a t =(t1, ... , ts) vektor skalár értékíi függvénye, amelynek létezik az a pontban

vett H' (a)= ( :~, ... , ;~) deriváltja. Ekkor bn......, Q esetén (H(a+ bn71n)- H(a))/bn

(5)

~ öH(a) (") - 8-·-. r/ * rJ(H, (a)) T =L,

1 .

tJ

j=l

A T index a transzponál ásnak felel meg. Ha ry(H 1(a)f =0 1

valószínűséggel (például H

1(a)=0),

a

i

2

~(t) deriválti tj

tak H 11 ( t) mátrixa létezik az a pontban, akkor

(6)

?

(H(a + bn11n) - H(a))/b;

.

s

?

[)- H(a) C) (') 1 " L, 0 ·ü . rJ i rJ 1 2 r1H (ü)11 =-2 .. ti tJ l i,J= 1

*-

11

.

T

Legyen most H(t) vektorfüggvény. Ekkor nyilvánvaló; hogy minden Hj elem határeloszlá sa leírható a 3A. Tétellel, az együttes eloszlásra pedig az alábbi tétel teljesül. Tegyük fel, hogy 1/n =} rJ E R 8 , H(t) E Rh olytm vektorfüggvé ny, amelyre a Hj, j =1, ... , k deriváltak eleget tesznek a 3A. Tétel feltételeinek . Ekkor (H(a+ bnrJn) - H(a))/bn =} r](H'(a)f.

3B. Tétel.

Ha ry(H' (a)f =0 1 valószínűséggel, azonban a H;' j nek az a pontban, akkor ,

2

(H(a + bnr/n) - H(a))/bn =}

1

11

2(r1H1 (a)rJ

T

=1,

... , k mátrixok létezII

T

, ... , rJHk (a)ry ).

Ezen állítások bizonyítása lényegében semmiben sem különbözik a 3. Tétel bizonyításától, ezért feladatként az olvasóra bízzuk. Ezen kívül annak bizonyítását is feladatnak tűzzük ki, hogy a (4)-(6) képletekben a=} jelet fel lehet cserélni

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

40

A minta

1.5

a __, vagy a -+ jelre, ha ennek megfelelően teljesülnek az 7/n --, 71 vagy 7/n -+ 71 p

m.m.

m.m.

p

relációk. Az 1-3. Tétel tartalmát a következőképpen lehet összefoglalni. Jelölje a """ jel a m.m. --,, -+, ::::}- jelek valamelyikét. Ekkor ha H folytonos, akkor 7/n""'*7J-ból p következik H(71 71 )""'*H(71). Ha H deriválható az a pontban, 7/n""'*'T/, akkor bn-+ 0 esetén (H(a + bn?]n) - H(a))/bn""'*H' (a)71.

(7)

1. Megjegyzés. Nem nehéz belátni, hogy ha a függ n-től oly módon, hogy a= an = ao + o(l), és a 3.3A, 3B Tételekben szereplő deriváltak folytonosak, akkor a (7) összefüggés az alábbi alakban marad érvényben: (H(an + bn'T/n) - H(an))/bn""'*H' (ao)'TJ.

(8)

A bizonyításhoz elegendő megjegyezni, hogy (8) bal oldala előállítható H' (an)'T/n alakban, ahol x)dx-+O, ha N-+oo, n->oo

N

.

2.

P(l11n:I > x) ~ cp(x),

00

j cp(x)dx < oo, 0

3. El'T/nll+a O-ra, akkor

lim

n->oo

E71n =E71.

00

Megjegyezzük, hogy az 1. feltétel az

j P(l'T/n > x )dx integrálok n szerinti 1

N

egyenletes O-hoz tartását jelenti, N-+ oo esetén.

Bizonyítás. Az általánosított Csebisev P(l7Jnl

egyenlőtlenségből

El'T/nl l+a

> x) ~ -'--~1 X +a

következik, hogy a 3 .. feltétel maga után vonja 2.-t. A magaTés;éről a 2. feltétel pedig maga után vonja az 1. feltételt.

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

1.6

A tapasztalati eloszlásfüggvény mint sztochasztikus folyamat

41

Tegyük fel, hogy teljesül az 1. ·feltétel. A megfóntolásaink leegyszerűsítése céljából tegyük· fel először, hogy 'r/n ~ 0. Ekkor parciális integrálással· kapjuk, hogy

J 00

J 00

xdP(r,n;;:: x) = P(r,n;;:: x)dx. 0 0 Ebből az előállításból és a majdnem minden x-re teljesülő P(r,n;;:: x)--t P(r,;;:: x) Er,n =-

00

konvergenciából és a j P(r,n;;:: x)ds integrálok n szerinti egyenletes konvergen-

o

ciájából következik, hogy a határátmenetet el lehet végezni az integrál alatt,.aminek alapján 00

00

lim Er,~ ~ lim

n--+oo

n--+oo

j· P(r,n;;:: x)ds = j P(r,;;:: x)dx = Er,.

·0

0

Az általános esetben az 'r/n = r,~ - r,:;; előállítást kell használni, ahol r,~ = == max(r,n, 0), r,:;; = rhax(-r,n, 0). Megjegyezzük, hogy'az 1. feltételnerh más, mint az 'r/nc.;ek egyenletes integrálhatóságának feltétele, amelyből azonnal adódik a kívánt E1Jn --+ Er, konvergencia (lásd például [11], [53]). ·'

6. A tapaszbdati eloszlásfüggvény mint sztochasztikus folyamat. Konvergenciája a Brown-hídhoz Ebben a pontban ismertnek tételezzük fel a sztochasztikus folyamat fogalmát (lásd, mondjuk [11]), és speciálisan a Wiená- és a Poisson-folyamai definícióját és legegyszerűbb tulajdonságait. 1. Az nF~(t) folyamat eloszlása. A flP=R egydimenziós eset vizsgálatára korlátozódunk. Legyen - ugyanúgy, mint korábban - F~(t) =P~((-oo, t)) az X = Xn ~p mintának megfelelő tapasztalati eloszlásfüggvény. Az F~(t) függvény kétváltozós: t és X, vagy ami ugyanez, t-től függő véletlen függvény vagy másképpen sztochasztikus folyamat. Ezen folyamat végesdimenziós eloszlásait keressük. Legyen t1 < t2 < ... < < tm. a számegyenes tetszőleges m számú pontja. Tegyük fel, hogy to = -oo, tm+'1 = oo, és jelölje f}.j g =g(tj;l) -'g(tj ). a g(t) függvény növekményét a !!.j = [tj, tj+1), j =0, 1, ... , m félig nyílt inter' · vailumokon. Vegyük a 7rn(t)= nF~(t)

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

42

1.6

A minta

folyamat f::..j7rn növekményét. Világos, hogy ez nem más, mint a t::..j-be eső. mintaelemek száma, A' minta tetszőleges eleme (mondjuk az x1) Pj = P(t::..j) .valószínűséggel esik t::..j-be. Ezek az események - t::..j-be esik a mintaelem értéke, m

kizáróak, és így a ff::..01rn, ... , !::..m7rn) vektor Po, ... , Pm, L,Pj = 1 paraméterű /

.

j=O

polinomiális eloszlású (lásd [ 11], 111. old.). Mint ismeretes (1) m

ahol L,kj =n. j=O . ........ · __

Legyen most rJ(u), u E [O, 1] balról folytonos Poisson-folyamat (lásd [11], 304. old.) >.-paraméterrel, rJ(Ü}=Ü. Ezen folyamat növekményei függetlenek, P( ( )- k)- -,\u (>.1t)k TJU- -e k!.

Ha az F(t) =P((-oo, t)) eloszlásfüggvény folytonos, akkor végrehajthatunk egy folytonos időtranszformációt, elvégezve az u = F(t) helyettesítést, -oo < t < < oo, ezzel meghatároztuk a 1r(t) = rJ(F(t)) folyamatot az egész számegyenesen. Tekintsük ezen folyamat növekményeit a t::..j intervallumokon: f::..j1r =1r(tj+1)- 1r(tj) =rJ(F(tj+1)- r7(F(tj)).

Ekkor m

)kj

()..

- - IT e P(f::..01r-ko,···,t::..m1r-km)-

-,\pj

j=O

Pj

k·'

pkj IT -k-i' j m

-

-,\, n

-e"

j=O

J.

J.

m

és a 1r( oo) =

L !::..j1r = n feltétel melletti feltételes valószínűségi ugyanezen esej=O

ménynek éppen

P ( flo,c= ko, ... , lim,c = km

L.m tiJ·1r=n )

J=Ü

=

P(f::..01r = ko, . .. , .6.m 7r = km) = (1r(oo)=n) · e,\n!

(2)

=P(f::..01r=ko,···,t::..m1r=km)

,n

"

k·

P: 1 =n!IT-k\· j=O J. m

Tetszőleges)..> 0

esetén ugyanazt a kifejezést kaptuk, mint ami (1) jobb oldalán van. Ily módon beláttuk a következő állítást.

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

1.6

A tapasztalati eloszlásfüggvény mint sztochasztikus folyamat

43

1. Tétel. Ha F(t) folytonos, akkor az nFJ(t)folyamat eloszlása megegyezik az

1r(t) =rJ(F(t)) folyamat 1r(oo) =n (rJ(l) =n) feltétel melletti feltételes eloszlásá-

val. A tétel azt mutatja, hogy az n(FJ(t) - F(t)) elté!'ések eloszlásai ugyanazok, mint az rJ(F(t)) - nF(t) 17(1) =n feltétel melletti eloszlásai, és a feladat egy u = =F(t) időtranszformáció erejéig a [O, l] intervallumon vett feltételes (rJ(l) =n) Poisson-folyamat 17(u) - nu eltéréseinek vizsgálatára vezet, vagy ami ugyanaz, az n(FJ(t) - t) eltéréseire, ahol FJ(t) a [O, 1] intervallumon egyenletes eloszlásnak felel meg. Hasznos szokott lenni az nFJ(t) folyamat egy másik előállítása. Legyenek ( 1 , ( 2 , ... az rJ(t) Poisson-folyamat ugráspontjai, ahol 17((k + 0) =k. Mint ismeretes [11], a ~k = (k - (k-1 ((o =0) k = 1, 2, ... különbségek függetlenek és exponenciális eloszlásúak, P(~k

(k gamma eloszlású, amelynek

> x) =e.\x,

sűrűségfüggvénye

,k "

(lásd ~ég a 2.2. pontot)

>.x k-l

'Y.\,k(x) = í(k) e

x

.

Az egyszerűség kedvéért feltesszük, hogy F(t) =t, t E [O, 1), to =0, tm+l rJ(t) =1r(t). .

=1, így

2. Tétel. Az nF1~(t) folyamat eloszlása tetszőleges v > 0 esetén egybeesik a 1r(tv), 0 < t < 1 folyamat (n+l =v feltétel melletti feltételes eloszlásával. Más szavakkal az 1. Tétel állításai érvényben maradnak, ha a 1r(l) =n feltételt felcseréljük a szigorúbb 1r( 1) =n, 1r(l + 0) =n + 1 feltétellel (feltettük, hogy 1r(t) trajektóriái balról folytonosak). Mivel ez utóbbi esemény valószínűsége 0, ezért lehet, hogy ki kell egészítenünk az eddigieket azzal (lásd 4., 8. pontokat [l l] ben, amelyek a feltételes várható értékről szólnak, és még a 2.9 pontot), hogy a feltételes valószínűségen az P(A; (n+l E dv) P(A/(n+1=v)= P((n+1Edv)' 0

valószínűséget. értjük, ahol A= { L101r(tv)

=1r(tj+l v) -

=ko, ... , L1m1r(tv) =km},

L1j1r(tv) =

1r(tjv).

Bizonyítás. A { (n+l E dv} eseményt B

={1r(v) =n}

és

előállítjuk,

mint a

C ={1r( v +dv) - 1r( v) =1}.

események metszetét. A B és AB események függetlenek C-től, mivel egyfelől a B és az AB események, másfelől a C esemény a 1r folyamat diszjunkt

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

1.6

A minta

44

intervallumokon vett növekményeivel kapcsolatosak. Ezért P(ABC) . P(AB) · P=(A/(n+1=v)= P(BC) = P(B) =P(A/1r(v)=n). (3) Ugyanúgy, mint (2)-ben, meggyőződhetünk arról, hogy ez a kifejezés nem függ v (és a >.) értékétől, és egybeesik (1)-gyel. D

1. Következmény. Az nF;(t) folyamat eloszlása megegyezik 1r(t(11+1) eloszlásával, 0 ~ t ~ 1. Ez abból következik, hogy a B = {Ao1r(t(11+1) = ko, ... , Am1r(t(11+1) = km} eseményre (3) alapján tudjuk, hogy P(B)=

j P(A/(n+l =v)P((n+l

E dv)=n!

IJ

A~j k:!.

J

Az 1. Következményből következik a

2. Következmény. Az egyenletes eloszlásból vett X minta zett mintájának együttes eloszlása megegyezik a

X(l), ... , X(n)

rende-

(1 (n --, ... ,-(n+l

(n+l

együttes eloszlásával, vagy, ami ugyanaz, az együttes eloszlása egybeesik a

X(l), X(2) - X(l), ... , X(n) - X(n-1)

~1 ~n+l --, ... ,--

(n+l

(n+l

együttes eloszlásával. Ezen rész befejezéseképpen kiszámítjuk az n(F;(t) - F(t)) folyamat növekményeinek második momentumát. Kényelmesebb lesz a wn(t) = vn(F~(t) - F(t))

folyamattal dolgoznunk. Világos, hogy EAj wn = 0, E(Ajwn)2 = Aj F(l - Aj F). A keresztbe vett momentumok kiszámításához megjegyezzük, hogy (i '/: j) E(Aiwn · Ajwn) = 2_

n

t

E(lxk (AiJ - P(Ai))(lx 1{Aj) - P(Aj )) =

h,l=l

-1 L!!:..., {Elxh (AJlx (Aj)-P(Ai)P(Aj)}. 1

n

h,l=I

Mivel

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

1.6

A tapasztalati eloszlásfüggvény mint sztochasztikus folyamat

45

így E(~wn · !),,.jwn) =-P(~)P(!),,.j ) =-!),,.iF · !),,.jF. Ily módon tehát a wn folyamat növekményei negatívan korreláltak. 2. A wn(t) folyamat aszimptotikus viselkedése. Feltesszük, hogy F(t) folytonos. Ekkor az 1. pontból következik, hogy korlátozódhatunk a [O, 1] intervallumon egyenletes eloszlás vizsgálatára, F(t) =t, 0 ~ t ~ 1. Jelölje w(t) a standard Wiener-folyamatot, azaz azt a független növekményű folyamatot, amelyre w(t) normális eloszlású, paraméterei (0, t). A w 0 (t) = w(t) - tw(l)

folyamatot Brown-hídnak nevezzük (azon az alapon, hogy mindkét vége rögzített: w0 (0) =w0 (1) =0). Ezen folyamat eloszlása egybeesik a w(t) folyamat w(l) = 0 feltétel melletti feltételes eloszlásával (pontosabban, a lw(l)I < e feltételt kell venni, és képezni a határértéket E-'--+ 0 esetéri). Megmutatható, hogy a tE[O,l]

folyamat végesdimenziós eloszlásai n-'--+ oo esetén a w 0 (t) Brown-híd megfelelő véges dimenziós eloszlásaihoz tartanak. Ez a tény lehetővé teszi, hogy a wn(t) folyamatokat, amelyeket néha tapasztalati folyamatokn ak neveznek, közelítsük a w 0 (t) folyamattal. Nevezetesen úgy vehetjük, hogy nagy n értékek esetén teljesül a ,/n(F:;(t) - F(t)) ~ w0 (t),

(4)

amely az Fn(t) és az F(t) eltérésének eloszlását írja le (emlékeztetünk arra, hogy feltettük, hogy F(t) =t, t E [O, l]). Azonban a (4) típusú állításra erősebb formában van szükségünk. Tekintsup(F:;(t) - F(t)) statisztikát. A most kimondott állítás sük például az U =

közelítő egyenlőség,

vn

t

természetessé teszi annak feltételezését, hogy nagy n értékek esetén az U valószínűségi változó körülbelül olyan eloszlású, mint sup w0 (t). Azonban ez 0:(t:(l

a mi állításunkból sehogy sem következik, mivel U nem állítható elő mint a wn(t) =,/n(F:;(t) - F(t)) folyamat valamilyen véges sok pontban felvett értékének függvénye. Ezért lényegesen erősebb a következő állítás. Jelölje D(a, b) az [a, b] intervallumon balról (az a pontban jobbról) folytonos függvények terét, amelyeknek csak véges sok ugráshelye van, és C(a, b) pedig az [a, b] intervallumon folytonos függvények terét. Nyilvánvaló, hogy a wn(t) trajektóriái D(O, 1)-hez tartoznak. Emellett ismert (lásd [11], 13. Fejezet), hogy w 0 (t) trajektóriái 1 valószínűséggel a C(O, 1) térbe tartoznak. Az egyszerűség kedvéért úgy vesszük, hogy w(t), következésképpen w0 (t) összes trajektóriája C(O, 1)-ben van (lásd [11]). Mivel C(O, 1) e D(O, 1), ezért a (D(O, 1), o-D) teret,

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

46

A minta

1.6

ahol o- D a cilinderhalmazok* által generált o--algebra a D(O, 1)-ben tekinthetjük a wn és a w 0 folyamatok mintaterének**.

3. Tétel (a tapasztalati folyamatok funkcionális határeloszlás-tétele). Legyen f a D(O, 1) téren meghatározott funkcionál, amely rendelkezik a következő tulajdonságokkal: 1. f(wn) és f(w 0 ) valószínűségi változók (azaz f(y) mérhető leképezést valósít meg D(O, 1)-ből (R, '13)-be); 2. f(y) a C(O, 1) tér pontjaiban az egyenletes metrikában véve folytonos funkcionál, azaz f(yn)-+ f(y), n-+ oo esetén, ha y E C(O, 1) és r2CYn, y) = = sup Jyn(t) - y(t)J-+ 0. 0,(t,( 1

Ha ezek a feltételek teljesülnek, akkor

f(wn)

=}

f(wo).

Ha ez a funkcionál folytonos a D(O, 1) tetszőleges y pontjában az egyenletes metrika szerint, akkor az 1. feltétel automatikusan teljesül.

Nyilvánvaló, hogy a fent vizsgált U funkcionál kielégíti a tétel feltételeit, így n -+ oo esetén U ::::;,- sup w 0 (t). 0,(t,(1

Mivel a fenti összefüggésben jobb oldalán álló tag eloszlását zárt alakban meg lehet kapni (lásd pl. [5], [70]);

P(

sup.w 0 0,(t,(l

(t)>z)==e·

222 ,

ezért az U eloszlásának egy közelítését kapjuk. A következő pontokban fogjuk yizsgálni, hogy a 3. Tételt hogyan lehet felhasználni más statisztikák határeloszlásának kiszámítására. A 3. Tétel bizonyítását a II. Függelékre hagyjuk.

* Azaz az {y(t1)EB1, ... , y(tm)EBm}.alakú halmazok, ahol B1, ... , Bm Borelhalmazok. ** (Do, O") a t(t) sztochasztikus folyamat mintatere, ha értelmezhető rajta a l folyamat eloszlása, így tehát l(t) trajektóriái Do-ba tartoznak.

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

Az

1.7

7. Az Mint említettük,

első

első

első

47

típusú statisztikák határeloszlása

típusú statisztikák határeloszlása

típusú statisztikáknak nevezzük az Sn(X) =G(F~) sta-

tisztikát, ahol a G funkcionál G(F) =h

Sn(x)=h (

(j

g(x)dF(x)) alakú. Más szavakkal

~ tg(x;)) .

Már láttuk, hogy ha (3.1. Tétel) X ÉFo és h folytonos az a= ban, akkor Sn __, h(a).

1. Tétel. Ha X ÉFo, h deriválható az a pontban,

f

g(x)dF0 (x) pont-

j g2(x)dFo(x) < oo, akkor

fa(Sn(X) - h(a)) =} h1(a)~,

ahol

~ Éo,a-2'

j

cr 2 = (g(x) - a 2 )dFo(x:). o,a-2 a (0, tr2)

paraméterű normális

eloszlást jelöli.

Bizonyítás. Az Sn(X) statisztikát h

(a+ -fo1 [fo1- t. g(xi) - a)] ) i=l

alakban állítjuk elő, ahol a centrális határeloszlás tétel alapján (lásd [11]) 1

n

7/n = r;;; I::(g(Xi - a) ~cpO a-2, '

yn i=l

j

cr 2 =E(g(x 1 - a) 2 = (g(x) - a)2dFo(x).

Nem marad más hátra, mint hogy a harmadik folytonossági tételt használjuk a bn = l / fa választással. 0 Az első típusú funkcionálokat néha kényelmesebb G(F)= h

(!

g(x)d(F-F o))

alakban venni. Nyilvánvalóan minden, amit korábban mondottunk, érvényben marad ezekre is, azzal a különbséggel, hogy a értékét O-nak kell vennünk. Megadjuk az 1. Tétel analóg tételét arra az esetre, amikor g =(g1, ... , g8 ) vektor (azaz G(F) =h

www.interkonyv.hu

(j

91 (x)dF(x), .. ., gs(x)dF(x) ) ).

© Borovkov, Michaletzky György

© Typotex Kiadó

A minta

48

1.7

lA. Tétel. Legyen Sn(X) =G(F~), h(t) deriválható az a=

j g(x)dFo(x) pont-

ban, és a a- 2 = lluij 11 = E(g(x1) - al (g(x1)- a) második deriváltakból álló mátrix véges. Ekkor (1)

ahol

e= (l1, · · · , ls) €o,

c,2·

Ha l(h 1(a)f =0 1

valószínűséggel, és a h (t) = 11

11

at~;tj

h(t)II második deri-

váltakból álló mátrix az a pontban létezik, akkor

1

11

(Sn(X)- h(a))n ==;, -2 lh (a)(

T

=-21

~ 8 2 h(t) ~ -8 -a .li{j· . . 1 ti tJ

i,J=

Az l.A Tétel bizonyításához az 5.3A folytonossági tételt és a többdimenziós centrális határeloszlástételtkell használni. Ez utóbbi szerint

~ f)g(xi) -

vn

==;, O (lásd V. Függelék).

a)==;,

i=l

Az Sn(X) határeloszlása teljesen analóg tétel igaz akkor is, ha a h függvény, és ezzel együtt az Sn(X) statisztika vektorok. Az olvasó nehézség nélkül megfogalmazhatja és bebizonyíthatja - az 5.3B Tétel segítségével - ezt. 1. Példa. Legyen X €Po és Po olyan elószlás, amelyre(Ex1

~ü: O,)D2

x1 =d 2
.(X)=

(2)

{

a>-

>.-1 -ax

e,

r(>.)x

>.: O , x,,,.,

0,

x.) az (1)-ben definiált r-függvény. A r-eloszlás karakterisztikus függvénye ([111)

1 00

(3)

(

étxí'a,>.(x)dx= 1-

't)->.

~

0

Ha

e~ra>.,, akkor

(4)

J

J

0

0

>.oo too t >.+t-1 -axd _ a>.+t-1 -yd _ a- re>. +t) E ,:t _ ~ ',, - r(>.) x e X- r(>.) y e Yre>.) .

Egész t > 0 esetén ezt az eredményt megkaphatjuk úgy, hogy deriváljuk a karakterisztikus függvényt. Behelyettesítve a t = 1, 2 értékeket, kapjuk, hogy (5)

Ee=>./a,

De=>./a2 .

A (3), (4) formulákból látható, hogy az a paraméter a skála szerepét játssza, mivel ry/a

~ra,>.,

Emiatt a r-eloszlás számos tulajdonságát elég az a egyetlen értéke mellett tanulmányozni, például, ha a= 1 vagy a= 1/2. A második érték gyakran kényelmesebb lesz számunkra, mivel a r 1; 2 ,>. eloszlá.snak önálló szerepe van a matematikai statisztikában, ezt x2 -eloszlásnak nevezzük.

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

AZ ISMERETLEN PARAMÉTEREK BECSLÉSÉNEK ELMÉLETE

74

2.2

4. A k szabadságfokú Hk·eloszlás Így nevezik a Hk =r 1; 2,k/ 2 eloszlást egész k > 0 esetén. Mi megtartjuk a Hk eloszlás ilyen elnevezését tetszőleges k > 0 esetére is. A Hk eloszlás karakterisztikus függvénye (3) alapján (1- 2it)-hl 2 .

A Hk eloszlás

következő

három tulajdonságát említjük meg.

1. Ha rJi .független Hki eloszlásúak, í =1, ... , s, akkor

Ez a tulajdonság rögtön adódik a Hk eloszlás karakterisztikus függvényének alakjából.

e

2 2. Ha €'=a ()2, ahol a ()2 olyan k-dimenziós normális eloszlás, amelynek cr szórásmátrix~ nem elfajul6, akkor

Valóban, a Q(O

valószínűségi

változó karakterisztikus függvénye

vfo=2I Jexp (- 21Q(x)(l-2zt. ))

_ 7r)k/ Ee itQCO -( 2 2

dx1 ... dxk.

Elvégezve az Xj\lI - 2ít =yj helyettesítést, a

vfo=21j e-

1 Q(y)d

2 (1 -2't)-k/ (21r)k/2 z

2

/2 d -(l-2't)-k z Yl . . . Yk 0

kifejezést kapjuk, amit igazolnunk kellett. Itt kihasználtuk, hogy a bal oldalon álló integrál értéke nem függ az integrálási tartomány megváltoztatásától. Ez adódik abból, hogy az integrandus analitikus függvény, melynek értéke IYI - t oo esetén gyorsan csökken (vö. [11], 131. old.). A mondottakból adódik, hogy a 2

X

i:;2 i:;2 +. · .+..,k =..,1

változó Hk eloszlású, ha ej-k függetlenek és ságfok" elnevezés ezzel az előállítással van kapcsolatban.

valószínűségi

www.interkonyv.hu

ej €':o, l · A „szabad-

© Borovkov, Michaletzky György

© Typotex Kiadó

2.2

Paraméteres eloszláscsaládok és tulajdonságaik

2. Mivel Ee; =1, Eef =3, D2 tétel alapján k ---+ oo esetén

d =2, ha ei €Eo,1,

75

így a centrális határeloszlás

x2 -k

~ €E=?-o 1·

(6)

v2k

Az 1.5 pontban (6)-tal együtt

szereplő

'

folytonossági tétel alapján ·

ebből

következik, hogy

M-v2k-1 €E=?-o,l· Ez a konvergencia

alapvető

a (x) =o 1(( -oo, x ))

(nagy k és x értékek mellett)

közelítő egyenlőség

' szempontjából, amely rend-

szerint pontosabb, mint a (6)-ból adódó Hk((O,x));:::: ( ~ ) közelítés. Megemlítjük a r-eloszlás még egy speciális esetét. Az alkalmazásokban gyakran találkozunk vele.

5. Exponenciális eloszlás. Ez a r a 1 eloszlás, amelynek sűrűségfüggvénye ' ae -0:x , x>O. Az (5)

képletből

kapjuk, hogy ha

Ee =1/a,

e€Era '1, akkor 0 2 e=1/ a 2 .

Most néhány olyan - a normális és a gamma-eloszlással kapcsolatos ~ eloszlást vizsgálunk, amelyek fontos szerepet játszanak a matematikai statisztikában. Az előzőektől eltérően ezekkel korábban még nem találkoztunk. 6. A ki, k 2 szabadságfokú F ki ,k 2 Fisher-féle eloszlás. Így nevezik a

( =rJi/ T/2 valószínűségi

változó eloszlását; ahol rJj-k függetlenek, rJj €E=HkJ' j == 1, 2. A r-eloszlás tulajdonságaiból következik, hogy ( eloszlása ugyanaz marad 17) €Er a,kj 12 esetén is - tetszőleges a> 0 számot választva -, és hogy egész kJ értékek esetén előállítható

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

2.2

AZ ISMERETLEN PARAMÉTEREK BECSLÉSÉNEK ELMÉLETE

76

ej,

(k valószínűségi változók függetlenek, alakban, ahol a Keressük meg az Fk1,k2 eloszlás sűrfiségfüggvényét.

ej Éo, 1, (k Éo, 1·

j 1-;().1);(>.2)

11

>.1-l >.2-l

00 vx (dv)= r1,>./duW1,>. 2 P((.2-l

dP((< x)

r(>.1)r(>.2)

=

fco(x) =

dx

>.1-1

1

e-u-vdudv;

-v-vx vdv = e

0

(7)

-

x

- r(>.1)r(>.2)

00

0

>.1-1

e

v

r('

, )

Al +A2 x v- (1 +x)>.1+>.2 r(>.1)r(>.2)° .

>.1+>.rl -v(l+x)d -

Megkapjuk a keresett sűruségfüggvényt, ha elvégezzük a >.k =kj /2 helyettesítést. Nem nehéz megtalálni a ( valószínűségi változó momentumait is (ha ezek léteznek):

(8)

loo

x>.i+l-1 d - r(>.1 +l)r(>.2 -l) E l _ r(>.1 +>.2) . r(>.1)r(A2) ( - r(,\1)r(A2) O (1 +x)>.1+>.2 X-

Speciálisan, ha l =1, 2, azt kapjuk, hogy >.1 E(= >.2 -1'

A Fisher-féle eloszlást néha Snedecor-féle eloszlásnak is nevezzük. Ez azzal van összefüggésben, hogy Fisher javasolta az eloszlás használatát, és táb-

lázatba foglalta - tulajdonképpen nem a ( hanem az ~ ln ( valószínűségi változó eloszlását. Magának a ( változónak az eloszlását nem sokkal később Snedecor foglalta részletesen táblázatba. 7. A k-szabadságfokú Tk Student-eloszlás*. Definíció szerint ez az eloszlása a t=

fo

J:k'1 -2 Í(T)(X) =2Xf(o(X ) =2Xr(..\1)r(..\2). (1 +x2),\1+,\2 =

r(..\1+..\2) 2x2,\1-l =r(..\1)r(..\2). (l+x2),\1+,\2'

Aj=kj/2, x>O.

..\2=k/2 helyettesítéssel nyilvánvalóan megkapjuk itl/Vk sű­ Mivel t eloszlása szimmetrikus, ezért a t valószínűségi változó Í(t)(x) sűtűségfüggvényére végezetül azt kapjuk, hogy

Innen a ..\1

=1/2,

rűségfüggvényét.

(9)

x = r((k + 1)/2) -./rlr(k /2)

(1

+ x2)-(k+l)/2

fct)( ).

k

Világos, hogy t minden páratlanrendű momentuma (ha létezik) nullával A 2l párosrendű momentumokra (8) alapján azt kapjuk, hogy Et2l

=kl E(l =kl r(..\ 1 + l)r(..\2 -

egyenlő.

l)'

í(..\1)r(..\2)

ahol ..\1 = 1/2, ..\2 = k/2, 2l < k. l = 1 esetén kapjuk, hogy 2

k

Et = k-2· Az Í(t)(x) függvény az alakja alapján a normális eloszlás re emlékeztet. Sőt, k növekedésével · Í(t)(x)-+

sűrűségfüggvényé­

~e-x2/2. v21r

Ez azt jelenti, hogy t ~cI>o,1, ha k-+ oo. Azonban az Í(t)(x) függvénynek sokkal „kövérebb a farka", mivel a (9) függvény lxl növekedésével sokkal lassabban csökken, mint e -x 2 12 , így tehát b > 0 esetén (10)

Tk((-b, b))

< cI>o 1((-b, b)). '

Az eltérés a (10) összefüggés jobb és bal oldalán álló tagjai között nem nagy k értékek esetén igen lényeges lehet. Más úton is bebizonyíthatja az olvasó, hogy a t =Vkfo/ vrfi. mennyiség normális eloszláshoz tart - a folytonossági tételek segítségével. Például, elegen, · hogy . -7/2 = -1 (c2 c2) ---+ ·1, es , 1gy , t ---+ -i+l-l(l _ x)>- 2 -Idx = r(A1 + A2)r(>..1 + l). r(A1)r(A1 + A2 + l)

l = 1, 2 esetén

A1

E/3= A1 + A2' 9. Egyenletes eloszlás. AB-eloszlás speciális esete a [O, 1] intervallumon egyenletes eloszlás, amelyet akkor kapunk, ha A1 =A2 =1. Az Va b szimbólummal fogjuk jelölni az [a, b] szakaszon egyenletes eloszlást, így B1' 1 =Uo 1 · ' ' www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

2.2

Paraméteres eloszláscsaládok és tulajdonságaik

79

A E-eloszlás segítségével lehet leírni az X minta rendezett mintájának eloszlását.

1. Tétel. Ha X éP az F folytonos eloszlásfüggvénnyel rendelkezőP eloszlásából származó minta, akkor Y(k) =F(x(k)) éBk,n-k+I · Bizonyítás. Mivel Yk =K(ck) éUo,1, ezért az Yk =F(x(k)) mennyiséget úgy tekinthetjük, mint az Y éUo,1 minta rendezett mintájának elemét. P(Y(k) E (u, u + + du)) értékét határozzuk m.eg. Az {y(k) E (u, u+du)} eseményt elő lehet állítani a diszjunkt események egyesítéseként, amelyek akkor következnek be, ha y j értéke (u, u + du)-ba esik (ennek valószínűsége du), a megmaradt n - 1 megfigyelésből k - 1 a (0, u) halmazba, n - k megfigyelés pedig az (u, 1) halmazba esik. Következésképpen P(Aj) =C~=iuk-l(l - u)n--kdu,

P(Y(k) E (u, u+du)) =nC~=iuk-1(1- ur-kdu. Ez azt jelenti, hogy létezik Y(k)

sűrűségfüggvénye,

és értéke

n! k-1 n-k r(n+ 1) k-1 n-k (k-l)!(n-k)!u (1-u) =r(k)(r(n-k+l)u (l-u) .D

Az első tétel alapján nagyobb nehézség nélkül meg lehet határoz-ni a rendezett minta tagjainak határeloszlását, ha az X minta elem.szám.a nő. Mi egy eredményen időzünk csak el, amely a folytonossági tételből következik. 2. Tétel. Ha

a= _k_-+ ao E (0, 1) ri,-+ oo esetén, akkor n+l

Y(k) =a+

Jao(l - a0 )

fa"

~n,

.~n é=?-o,1 ·

Bizonyítás. Az 1. Tétel alapján Y(k) éBk,n-k+l • következésképpen - a Beloszlás tulajdonságai alapján teljesül az f/1 Y(k)=--, d T/1 + 172 előállítás.

Tegyük fel az

r;J·éHk1 ,

egyszerűség

k1=2k,

k2=2(n-k+l)

keuvéért, hogy a1

=a, a2 =1 - a, és legyen =1, 2, és a x2-eloszlás

a= a0 rögzített érték. Ekkor nyilván kj /(n + 1) =2aj, j

tulajdonságai alapján r7j

www.interkonyv.hu

=kj +fii;~~),

(~) * ~(j) éo,1; © Borovkov, Michaletzky György

© Typotex Kiadó

2.2

AZ ISMERETLEN PARAMÉTERE K BECSLÉSÉNEK ELMÉLETE

80

a + y~c(l) n+[ halmazának és az X minta lehetséges P eloszlásai . PJJ_ családjának megadása (ez lehet mond- · juk, _csak a. a 1 normális eloszlások vagy a Il>. Poisson-eloszlások halmaza; ekkor az i~meretlen a,· A paramétereket kell becsülni). · Ha semmiféle a e-ra (vagy P„re) vonatkozó korlátozás· nem szerepel,· akkor feltételezzük, hogy E> (91 egybeesik a megfelelő dimenziós euklideszi térrel (az összes eloszlás halmazával). Ha a paramétert a () helyett valamilyen másféle betűvel jelöljük, például A-val, akkor ezen paraméter becslését ugyanolyan módon fogjuk jelölni: hozzátoldva a A-hoz felső indexként egy „csillagot". Például a normális eloszlás a paraméterére természetes az

1 n a*=n i=l

LXi

becslés .. Az

Ex1 =J·xP(dx) és D2 x1 = jcx- Ex1)2P(dx) mennyiségek becslésére használt tapasztalati momentumoknak van saját tradicionális elnevezésük: · 1 n 1 n x= és 8 2 =- :~)xi - x:)2. · n i:::1 . n i=l

2:>i

Már említettük, hogy egy adott paraméter esetén számtalan különféle becslést lehet mondani, mielőtt azonban elgondolkodnánk arról, hogy egy konkrét szituációban hogyan kellene összehasonlítani a megbízhatóságukat, időz­ zünk_ el a becslések megkonstruálásának néhány általános, ,,reguláris" módszerén. Ezek a módszerek mintegy összefoglalják az egy becslési probléma megoldásakor leginkább ésszerű eljárásokat, és lehetővé teszik, hogy a továbbiakban ilyen vagy olyan értelemben legjobb. becsléseket kaphassunk. Majdnem minden becslési módszer mélyén a következő alapvető eljárás van, amelyet „a tapasztalati eloszlás helyettesítése 1'módszeréneklehetne hívni (vagy röviden „behelyettesítéses módszernek''.) · Legyen Xn ~P, és az ismeretlen() paramétert .előállítjuk mint valamilyen G funkcionálnak a P eloszlás helyen vett értékeként: · ()=

www.interkonyv.hu

G(P).

© Borovkov, Michaletzky György

© Typotex Kiadó

2.3

Pontbecslés. A becslések készítésének

alapvető

módszere

85

Továbbá legyen P~ a tapasztalati eloszlás. Ekkor a behelyettesítéses módszer szerint a B* becslésnek a B* =G(P~) függvényt kell venni. Az ilyen becsléseket a behelyettesítés módszerével kapott becsléseknek, vagy a rövidség kedvéért egyszerűen behelyettesítéses becsléseknek fogjuk nevezni. A G funkcionál néha impliciten adott csak, mint valamely H(B, P) =0, B-ra megoldható egyenlet megoldása. Ebben az esetben behelyettesítéses becslésnek fogjuk nevezni ~ összhangban a kiinduló definícióval - a H ((), P~) =0 egyenlet tetszőleges megoldását. Ha ismert, hogy a B E Rk paraméter lehetséges értékeinek halmaza része egy e Rk-beli halmaznak, amely nem esik egybe Rk-val, akkor ezt az információt figyelembe lehet venni a behelyettesítéses becslés konstruálásakor. Tegyük fel, hogy a e tartomány zárt, és legyen [!JJ az X minta lehetséges eloszlásainak halmaza, e= { G(P) }pe?J- Tetszőleges P esetén definiáljuk a G1 (P) funkcionált úgy, mint azon t érték, amelyre a min lt- G(P)I

(1)

tEE>

=IG1 (P)- G(P)I

összefüggés teljesül, így tehát G1 (P) a G(P)-hez legközelebbi 0-beli pont. Mivel G1 (P) =G(P) =(),ha P E~ ezért a

B* =G 1(P~)

(2)

becslés a G(P~) becsléssel együtt behelyettesítéses becslés lesz, ekkor azonban ()* lehetséges értékei a 8 halmazba fognak tartozni. Az (1), (2) becsléseket illetően azt fogjuk mondani, hogy őket a behelyettesítéses módszer leszűkítésével kaptuk. Tegyük fel pl., hogy a a 1 eloszlás cv paraméterét kell becsülni, azonban ismeretes számunkra, hogy cv [O, l]. Ekkor előfordulhat, hogy cv* =x ~ [O, 1)

E

(nyilván az

x=

j tdF~(t) a behelyettesítéses becslés).

A

szűkített

behelyet-

tesítéses módszer szerint a [0, l] intervallum azon pontját kell venni becslésnek, amely legközelebb van x-hez. Megjegyezzük, hogy a most megfogalmazott formában a behelyettesítéses módszernek nincs mindig értelme. A dolog lényege abban rejlik, hogy elő­ fordulhat, hogy a kiinduló G funkcionál nincs értelmezve a tapasztalati eloszlások halmazán. Tegyük fel például, hogy tudjuk előre, hogy a P eloszlás beletartozik a Lebesgue-mérték szerint abszolút folytonos eloszlások [!!Josztályába, így mindegyik P E [!!Jmértéknek van sűrűségfüggvénye. Minket a B=G(P)=

www.interkonyv.hu

j J (x)dx= j (~!) 2

2

dx

© Borovkov, Michaletzky György

© Typotex Kiadó

86

AZ ISMERETLEN PARAMÉTEREK BECSLÉSÉNEK ELMÉLETE

2.3

érték érdekel. Világos, hogy ebben az esetben G(Pri)-nak nincs értelme, mivel Pri diszkrét eloszlás. Az ilyen esetekben a behelyettesítéses módszert viszonylag természetes módon lehet úgy módosítani, hogy a lényeg változatlan maradjon. Az említett példában, ahol G(P) az f síírű­ ségfüggvény függvénye, a behelyettesítéses módszer szerint a e* becslésnek a G(Pri*) értéket kell venni, ahol Pri* a simított tapasztalati eloszlás (lásd 1.10 pont), amely biztosítja azt, hogy a tapasztalati síítűségfügg­ vény f(x)-hez konvergáljon. Előfordulhat az is, hogy bizonyos esetekben G(Pri)-nak nincsen Xn minden lehetséges értéke mellett értelme, csak Xn E An esetén, ahol P(Xn E An)--t 1, ha n --t oo. Ez a körülmény a további gondolatmenet lényegét illetően nem játszik szerepet, a meghatározottság kedvéért feltehetjük, hogy G(Pri) =0, ha Xn ~ An. Ebben a pontban az egyszeruség kedvéért feltesszük, hogy tetszőleges Xn E E gen esetén értelmes a G(Pri) mennyiség, és hogy e* valószínííségi változó, azaz a G(Pri) függvény mérhető leképzést valósít meg a flJ?n térből Rk-ba, ahol k a dimenziója. A behelyettesítéses módszer a feladat teljesen természetes megközelítése, mivel - amint azt már tudjuk - a Pri eloszlás n növekedtével egyre inkább megközelíti P-t. Legyen Xn = [Xoo]n,

e

1. Definíció. A ha

e* =O~(Xn) becslést (vagy sorozatot) konzisztensnek nevezzük;

e*-e p n --t oo esetén. A

e* becslés erősen konzisztens, ha n-t oo esetén

e*-e. m.m. Legyen most is, mint rendszerint, Fa P-nek

megfelelő

eloszlásfüggvény.

e=

1. Tétel. Legyen G(P), és. tartozzék a G funkcionál az alábbi két osztály valamelyikébe : vagy előállítható (1)

alakban, ahol h az a= vagy (11)

G(P) =h ( / g(x)dF(~)) ,

j g(x)dFo(x) pontban folytonos (1. típusú funkdonál), G(P) = G1 (F),

alakban, ahol a G 1 funkcionál, az egyenletes metrika szerint folytonos az Fo pontban (II. típusú funkcionál). Ekkor, X @Fo esetén G(Pri) erősen konzisz-

e*=

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

Pontbecslés. A becslések készítésének

2.3

alapvető

módszere

87

tens becslés: ()*--+ ().

m.m.

A tétel állítása közvetlenül adódik az 1.1.4

Tételből.

2. Aszimptotikus normalitás. Egydimenziós eset. 2. Definíció. A () paraméter ()* becslését aszimptotikusan normális eloszlásúnak - amelynek együtthatója cr2 ~ 0 - nevezzük, ha ((}* - ())/n É=}Cllo a2·

'

Az utolsó összefüggés a következő módon is olvasható: a ()* becslés a.n. a ((), cr 2 /n) paraméterekkel. Legyen ()* a () =G(P) behelyettesítéses becslése, és teljesüljön (1), azaz (3)

()*

=h

(.!._ n

t

g(Xi))

i=l

1. típusú statisztika. Ekkor az 1.7 pont eredményeiből kiadódik a következő állítás. Tegyük fel, hogy () skalárparaméter, és g skalárértékű függvény.

2. Tétel.

Tegyük fel, hogy X €;Fo, h deriválható az a= j g(x)dFo(x) pont-

ban, 0 < lh'ca)I

< oo, j g2(x)dFo(x) < oo. Ekkor

()*

a.n.

becslés, amely-

nek együtthatója

cr 2 =[h 1(a)]2 j(g(x)- a2 )dFo(x). Az 1.7 pontban vizsgált példákat a tétel illusztrációiként is tekinthetjük, mivel az ott szereplő statisztikákat becslésként is használjuk. Ehhez hasonlóan az 1.8 pont eredményeinek felhasználásával a II. típusú statisztikáknak megfelelő becslések aszimptotikus normalitására kaphatnánk feltételeket. Az olvasó felírhatja a szükséges állításokat, ha minden változtatás nélkül felhasználja az 1.8.1. Tételt, ugyanakkor megkövetelve, hogy a feltételei k = 1 értékkel teljesüljenek, és a g derivált olyan funkcionál legyen, amelyre g(Fo, w 0 ) €;Wo a2. ' 3. Aszimptotikus normalitás. A többdimenziós paraméter esete. 2A. Definíció. A ()* =(()Í, ... , ()'ic) becslést () =(()1, ... , ()k) aszimptotikusan normális eloszlású becslésének nevezzük, melynek aszimptotikus szórásmátrixa cr 2 , ha

(4)

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

88

AZ ISMERETLEN PARAMÉTEREK BECSLÉSÉNEK ELMÉLETE

2.4

ahol o,a-2 a nulla várható értékű cr 2 = llcrij II szórásmátrixú k-dimenziós normális eloszlás. Ezen eloszlás sűrűségfüggvénye (lásd 2. pont) 'Po a-2(x) = '

Mk/2 e- ,:1xAxT '

(27í)

ahol A a cr2 inverz mátrixa, x = (x1, ... , xk). Ha()* behelyettesítéses becslés, és ezen kívül L típusú statisztika (azaz elő­ állítható (3) alakban, ahol g - általánosan - ()* -gal és h··val együtt vektorértékű függvény), akkor az aszimptotikus normalitás feltételeinek tisztázásához az 1.7.lA. Tételt és a hozzáfűzött megjegyzést lehet felhasználni. A következő állítást kapjuk.·

lA. Tétel. Tegyük fel, hogy a()* becslést-()* E Rk - az (1) egyenlőség határozza meg, ahol g = (g1, ... , gs) E R 8 , a h(t) = (h 1(t), ... , hk(t)), .t ='(t1, ... ; ts) fiigg.

vény ::~ parciális deriváltjai léteznek az a= (a1, ... , a 8 ), ak = J

j 9j(x)dFo(x)

pontban, l = 1, ... , k, j = 1, ... , s. Ekkor X @Fo esetén (()* - ())fo, ..-:+ eHT,

ahol e= (6' ... 'es) @o,d2 nulla várható értékű d 2 =lldij II szórásmátrixú normális eloszlás, dij=E((gi(x1)-ai)(gj(x1)- aj), i, j=l, ... , s, H=llhijll pe. k X S meretu , ,, matrtX, , . melynek l d tg e emel. lLij = Bhi Bt . , i. = 1, ... , .k; J· = 1, ... , S. . J

Ez tulajdonképpen azt jelenti, hogy a 2A. Tétel feltételeinek teljesülése esetén ()* a.n. becslés, amelynek szórásmátrixa a 2 = H d2 HT = EHtT eHT. Megjegyezzük, hogy a a 2 és d2 mátrixok méretei általában véve különböző­ ek (k, ill. s). 4. A behelyettesítéses módszer megvalósításai a paraméteres esetben. A momentum módszer. Legyen X @Pe, ahol {Pe}eE@ a() paramétertől függő, ismert eloszláscsa. lád. A mostani vizsgálataink során a @ halmazba tartozó () ismeretlen paraméter lehet skalár-, ill. vektorértékú is. Például, ha X @Cl>a a-2, akkor() =(a, cr2 ) kétdimenziós, a e halmaza lehet maga a { < a < ex)', a ~ 0} félsík, vagy annak valamilyen része. Az S= S(X) statisztika várható értékét és szórását - a P eloszlás szerint véve - jelöljük az EeS, ill. DeS szimbólum.okkal. Most néhány becslési módszert vizsgálunk; ezek mindegyike tekinthető úgy, mint a „tapasztalati eloszlás behelyettesítése" elv megvalósítását.

-oo

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

2.4

A behelyettesítéses módszer megvalósításai a paraméteres esetben

89

1. A momentum módszer. Egydimenziós eset

Válasszuk meg a g(x) függvényt úgy, hogy az m(e) =Egg(x1) =8g(x)Pg(dx)

(1)

függvény monoton és folytonos legyen. Az m(e), eE e értékek m(8) halmazának ugyanaz a „természete", mint magának a 8-nak. Ha például e a valós számegyenes egy szakasza, akkor m(8) szintén szakasz lesz. Nyilvánvaló, hogy az m(e) =t egyenlet egyértelműen oldható meg* az m(8) tartományban, és a megoldás e szerint folytonos lesz: e= m- 1(t). (1) ekvivalens módon átírható a (2)

alakba. Tegyük fel az

egyszerűség

kedvéért, hogy

minden x E gen esetén. 1. Definíció. A momentum módszer alapján kapott becslésnek nevezzük a (3)

becsléseket. Hag (j:. m(0), akkor (3.1), (3.2)-vel összhangban feltehetjük, hogy

e* =m-1(7Jo), ahol g0 E m(8) az m(8) halmaz g-hez legközelebbi pontja. Nem nehéz látni, hogy a behelyettesítés elve húzódik meg a becslés mögött. Az m(8) függvény bevezetése lehetővé tette, hogy e-t felírjuk a (2) funkcionál alakjában. Az is világos, hogy a (3) becslés I. típusú statisztika, így a 3.1 Tétel alapján a momentum módszerrel kapott becslés erősen konzisztens. Ha ezen felül még az m függvény deriválható a

e pontban,

j

g2(x)Pg(dx)

< oo, akkor a 3.2 Tétel alap-

ján a momentum módszerrel kapott becslés a.n. lesz, amelynek együtthatója (m'(e))- 2D~g(x1): A momentum módszert K. Pearson javasolta (egy kicsit speciálisabb alakban), történetileg ez az első olyan módszer, amely becslések készítésére ad receptet.

* Ehhez tegyük fel, hogy m

www.interkonyv.hu

szigorúan monoton. Ford. megj.

© Borovkov, Michaletzky György

© Typotex Kiadó

AZ ISMERETLEN PARAMÉTEREK BECSLÉSÉNEK ELMÉLETE

90

2.4

A „momentum módszer" elnevezés onnan származik, hogy a módszer lényege a g(x 1) mennyiség „elméleti" és tapasztalati momentumainak (várható értékeinek) összehasonlítása: hiszen a (3) becslés nem más, mint az 1 n

L g(xi)

m(B) =-

(4)

n i=l egyenlet megoldása. Hozzáfűzhetjük még ehhez azt is, hogy a g(x) függvénynek gyakorta a g(x)=x vagy a g(x)=xk, k> 1 függvényt választják, és ekkor az egyenletünk a közönséges momentumokra vonatkozó egyenletté alakul. A (4) egyenlőséget úgy is felfoghatjuk, mint a g(xi) mennyiség „tér szerinti" átlagértékének és az „idő szerinti" átlagértékének összehasonlításából kapott egyenletet. A momentum módszer, ugyanúgy, mint az egész behelyettesítéses módszer nem egyértelmű volta itt különösen jól látható: hiszen azt, hogy hogyan válasszuk meg a g(x) függvényt, szinte semmi nem korlátozza.

a ismeretlen. A momentum módszer alapján készítünk becsléseket,' a g(x)-nek a két legegyszerűbb függvényt választva: 91 (x) = x és 92 (x) = x 2 . Igazak a következő egyenlősé­ gek (lásd 2. pont 5, Példa):

1. Példa. Tegyük fel, hogy X Ér a

1, és

fo ni2(0:)=Eag2(x1)= j0

00

m1(0:)=Eag1(x1)=

•OO

xra,1(dx)=l/0:, 2

2

x ra1(dx)=2/0:. ,

n

Megoldva az m1(0:)=x, m2(0:)=

_!__

LX[ egyenleteket, a momentum mód-

n i=l szer alapján kapott becslések (5)

t

a*= (x)- 1 és a**= ( _!___ 2n i=l

-1/2

x} )

Mindkét becslés I. típusú statisztika, így aszimptotikus tulajdonságaikat is megadhatjuk. A (2.4) egyenlőség alapján azt kapjuk, hogy

Mivel az első becslés esetében mi(a)=-l/0: 2, a másodikra m~(a)=-4/0:3, ezért a 3.1 és 3.2 Tételekből azt kapjuk, hogy az a*, a** mindegyike erősen · konzisztens, és a.n. a 1 . 0:4=0:2 _ (Y 2

www.interkonyv.hu

'

20 0: 6 5 4 -·-=-a ry4

16

4

© Borovkov, Michaletzky György

© Typotex Kiadó

2.4

A behelyettesítéses módszer megvalósításai a paraméteres esetben

91

együtthatókkal. Szemlátomást az a* becslést kell előnyben részesítenünk, mivel nagy n értékek esetén a valódi a paraméter körüli „szóródása", amelyet a határeloszlás szórásával mérünk, kisebb, mint a** ,,szóródása".

2. A momentum módszer. A többdimenziós eset Teljesen hasonló módon lehet vizsgálni azt az esetet, amikor e többdimenziós paraméter. Legyen, ugyanúgy, mint korábban, k a e dimenziója. Válasszunk olyan g(x) =(g1 (x ), ... , 9k(x)) vektorértékű függvényt, amelyre az m(e)=t

egyenletnek, ahol t

=(t1, ... , tk), rn(e) =(rn1 (e), ... , rnk(e)), rnj(e) = Eegj(X1) = 9j(x)Pg(dx)

J

egyértelmű e=rn-\t) megoldása van, amely folytonos az rn(e), e E rn(0) halmazán. Az egyszerűség kedvéért tegyük fel, hogy a

1

g= ( -

e értékek

n 1 n ) I: 91 (Xi, · .. , - I: 9k(Xi)

n i=l

n i=l

vektor bármely X E ll:n esetén az rn(8) halmazba tartozik.

lA. Definíció. A e*= rn - l (g) becslést momentum módszerrel kapott becslésnek nevezik. Ugyanúgy, mint korábban a 3.1 Tételből következik, hogy az ilyen e* becslések erősen konzisztensek. Ahhoz, hogy a.n. legyen e*, ezen felül még meg kellene követelni, hogy az rn függvény deriválható legyen, és

j gy(x)Pg(dx) < oo. A határeloszlásról szóló

állítást nem nehéz megkapni a 3.2A Tétel segítségével. 2. Példa. Válasszuk a {Pe} mértékcsaládnak a a Feltéve, hogy 91 (x) =x, g2(x) =x 2, a

mazát. juk a momentum

u2

normális eloszlások hal-

k~vetkező

egyenleteket kap-

módszerből:

a=x, Ezek megoldása

a * =x,

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

92

AZ ISMERETLEN PARAMÉTEREK BECSLÉSÉNEK ELMÉLETE

2.5

Feladatként tűzzük ki az olvasó elé, hogy a 2. pontban bevezetett összes paraméteres eloszláscsalád esetén keresse meg a momentum módszerrel kapott becsléseket. 3. Az általánosított momentum módszer A momentum módszert a következőképpen lehet általánosítani, amely lényegesen kibővíti a becslések fenn vizsgált osztályát. Az egyszerűség kedvéparaméterre. Tekintsük a g(x, B) kétváltoért szorítkozzunk egydimenziós tetszőleges P eloszlás esetén megoldhahogy fel, tegyük és zós függvényt, tó a

e

(6)

/ g(x, B)P(dx)

=/

g(x, B)Pe(dx)

egyenlet, melynek gyökét jelölje e= G(P). Így ezen utóbbi egyenlőség (6)-tal együtt a e= G(Pe) egyenlőségbe megy át, ha P= Pe. Az általánosított momentum módszerrel kapott becslésnek nevezzük a

e* =G(P~) becslést. Nyilvánvaló, hogy ez is, ugyanúgy, mint a momentum módszerrel kapott becslések, behelyettesítéses becslések. Az ilyen fajta becslések tulajdonságainak vizsgálata már bonyolultabb. Erről meggyőződhetünk majd a következő pontokban, mivel ki fog derülni, hogy az egyik behelyettesítéses becslés, amelyet részletesen tanulmányozni fogunk, nem más, mint általánosított momentum módszerrel kapott becslés. 5*. A minimális távolság módszere A címben jelzett módszer mélyén, ugyanúgy, mint a momentum módszer mögött, a behelyettesítés elve áll. E módszer lényege a következő. Tekintsünk valamilyen d(P, Q) funkcionált, ahol P, Q két eloszlás, amely rendelkezik azzal a tulajdonsággal, hogy mint Q függvénye a minimumát Q = = P esetén veszi fel, és d(P, Q) > d(P, P), ha P l Q. A d(P, Q) (vagy a d(P, Q) d(P, P)) mennyiséget úgy fogjuk tekinteni, mint Q és P távolságát, így P* értékét definiálhatjuk úgy, mint azon Q eloszlást, amelyre d(P, Q) felveszi a minimális értékét. · Legyen most X ~P, P ismeretlen; P E~ Jelöljük (Q)q,-vel azt a gq.beli eloszlást, amely legközelebb van a Q eloszláshoz a d távolság szerint - tegyük · fel, hogy ez létezik: d((Q)g:,, Q) = min d(II, Q). flEg'l

Így (Q)qi= Q, ha Q E~

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

2.5

A minimális távolság módszere

93

1. Definíció. A P eloszlás - a d távolság minimalizálásával nyert - becslésének nevezzük a P* = (P~)giE gl->becslést, ahol P~, ugyanúgy, mint korábban, a tapasztalati eloszlás. Ily módon Il =P* =(P~)gi minimalizálja d(Il, P~) értékét. Ha g7-> egybeesik az összes eloszlás halmazával, akkor persze P* =P~. Legyen most g>= {Pe} (}E0 olyan eloszláscsalád, amely kielégíti a következő feltételt: (Ao)

Ebben az esetben a e-Pe leképezés kölcsönösen egyértelmű, és így a P E g7-> eloszlás alapján egyértelműen megmondható az a e paraméter, amelyre P=Pe. Ezt a tényt másképpen is ki lehet fejezni: létezik olyan - a gl->halmazon definiált - G funkcionál, amelyre e= G(Pe). Vegyük szemügyre a G1 (Q) = G((Qgi)) funkcionált. Ez szemlátomást az a E 8 érték, amelyre Pe a legközelebb esik a Q eloszláshoz a d távolság szerint, így

e

(1)

2. Definíció. A e*= G 1 (P~) becslést a e paraméter ad távolság minimalizálásával kapott becslésének nevezzük. Más szavakkal, e* az a 8-beli érték, amelyre

d(Pe*, P~) = inf d(Pe, P~). (}EE>

Nyilvánvaló, hogy megint a behelyettesítés elvével van dolgunk. Ez a definícióból és (1)-ből következik. Magától értetődik, hogy a d távolságnak és g?->= {Pe} eloszláscsaládnak rendelkeznie kell bizonyos tulajdonságokkal, amelyek biztosítják a G1 (P~) funkcionál - amely a f!/;n térből hat Rk-ba - mérhetőségét, hogy e* valószínűségi változó legyen. Itt jegyezzük meg, hogy paraméteres esetben az (Ao) feltétel teljesülése esetén a leszíikített behelyettesítéses módszer (lásd (3.1), (3.2)) és a minimális távolság módszere egy és ugyanazt a becslésosztályt adja. Valóban, azt már tudjuk, hogy a minimális távolság módszerével ka~ pott e* becslés behelyettesítéses becslés, és ekkor e* E 8. Legyen most e* a behelyettesítéses becslés; e*= G(P~), ahol G(Pe) =e, e* E 8. Definiáljuk a d(P, Q) távolságot: d(P, Q) =IG(P) - G(Q)I. Ekkor nyilván e= e* esetén érjük el az inf d(Pe, P~) = inf IG(Pe) - G(P~)I = inf IB - G(P~)I =O

(}EE>

(}EE>

(}EE>

értéket. Azt is megjegyezzük, hogy a momentum módszer lényegesen szűkebb, mint a behelyettesítéses módszer, mivel nyilvánvaló, hogy nem minden olyan G

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

94

AZ ISMERETLEN PARAMÉTEREK BECSLÉSÉNEK ELMÉLETE

funkcionált, amelyre G(Pe)=B, lehet

2.5

előállítani

G(Pe)=m- 1

(j g(x)Pe(dx))

alakban. Térjünk vissza a minimális távolság módszerével konstruált becslésekre. Világos, hogy sokféle „értelmes" távolságot adhatnánk meg, amelyek mindegyikét fel lehetne használni a becslések konstrukciójakor. Vehetnénk a d(P, Q) = sup IFp(x)- FQ(x)I x

távolságot, vagy a

J

d(P, Q) = (Fp(x)- FQ(x))2dFQ(x)

távolságot, ahol Fp(x) a P eloszlásnak megfelelő eloszlásfüggvény. A minimális távolság alapján szerkesztett e* becslések azok a e értékek lesznek, amelyekre eléretnek a inf sup 1Fp8

e

(2)

F~(x)I,

-

x

t

(Fp8 (x(k))- k inf j(Fp/x)- F~(x)) 2dF~(x) =inf ..!:. n e n k=l e

I)

2

infimum ok. Bizonyos feladatokban (vö. [18]) használják a minimális x2 távolság alapján konstruált becsléseket. Ezek a

t

d(P, Q) =

(P(Lli) - Q(Lli)) 2 P(Lli) í=l

távolság minimalizálásával kapott becslések, ahol Ll1, ... , Llr az R (vagy Rm, ha r

az Xj-k m-dimenziósak) egy felbontása r számú intervallumra, r

< oo,

LJ Lli = i=l

= R. Ily módon a amelyre az (3)

x2 érték minimuma alapján kapott e* becslés az a e érték lesz, n

t

(Pe(Llí) - vi/n) 2 Pe(Lli) i=l

t

(nPe(Lli) - vi) 2

i=l

nPe(Lli)

=

kifejezés minimális. Itt Vi = nP~ (Lli) a Llí intervallumba eső Xj megfigyelések száma. (3) jobb oldalán lévő statisztika a már jól ismert x2 -statisztika - innen származik a becslés elnevezése.

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

A maximum likelihood becslés

2.6

95

majd látni fogjuk, hogy létezik olyan G funkcionál, e= G(Pe), amelyre a behelyettesítés elve alapján szerkesztett becslések, maximum likelihood becsléseknek nevezik ezeket -, valamely értelemben legjobbak lesznek. Emiatt a körülmény miatt az ebben a fejezetben vizsgált becslések általában szólva nem nagyon elterjedtek, ezért részletesebben nem foglalkozunk velünk. Később

6. A maximum likelihood becslés

Legyen ismét g> egy paraméteres eloszláscsalád - {Pe}eEe· Erről az eloszláscsaládról a továbbiakban mindig - ahol ezt meg kell követelnünk - feltesszük, hogy teljesül a (Ao)

feltétel, és emellett a

következő

feltétel is, amelyet (Aµ) feltételnek nevezünk.

(Aµ): Létezik olyan a-véges µ mérték a (2f', 'B~) mintatérben, hogy minden egyes Pe E g> eloszlásnak létezik ezen mérték szerinti sűrűségfüggvénye - fe = dP e , = dµ (x) -, igy

Pe(B) =

j fe(x)µ(dx). B

Ebben az esetben azt mondjuk, hogy a µ mérték dominálja a P e eloszlást. A 2. pontban vizsgált összes eloszlás nyilván eleget tesz az (Ao) és (Aµ) feltételeknek. Egyes eloszlások esetén a µ mértéknek a Lebesgue-mértéket kell venni (abszolút folytonos eloszlások), mások esetén a számláló mértéket (diszkrét eloszlások). A számláló mérték definíciója: Jl(B) =k, ahol k a B halmazba eső egész koordinátájú pontok száma. Az elsőhöz tartozik a ((> a (J'z normális eloszlás, az· La 0'2 lognormális eloszlás, r- és E-eloszlások, az egyenletes eloszlás, á C~uchy-eloszlás, a Student- és a Fisher-féle eloszlás.A másodikhoz a Bernoulli-féle eloszlás, a Poisson-eloszlás, a nulla pontra koncentrált elfajult eloszlás és a polinomiális eloszlás. Eze~ eloszlások f e(x) sűrűségfüggvényeit megadtuk a 2. pontban. A diszkrét esetben (amikor µ a számláló mérték) az fe(x) sűrűség egybeesik az {x 1 =x} esemény P e({x}) valószínfüégével; itt {x} azt a halmazt jelöli, amely egyedül az x pontból áll. Megjegyezzük, hogy például a ((> a,O' 2 normális eloszlás és a Poisson-eloszlás egymásra szingulárisak. A Lebesgue-mérték helyett vehettünk volna más mértékeket is, példáµl a. (1>0 1 normális eloszlást, illetve a Il 1 Poisson-eloszlást. Azonban ebben 'az esetben persze mások lennének az fe(x) sfüűségfüggvé­ nyek. Javasoljuk az olvasónak, hogy határozza meg ezeket. A fent bevezetett példák mind a ,9;' =R vagy 2f' =Rm, m > 1 esetre vonatkoz-

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

96 tak. het.

AZ ISMERETLEN PARAMÉTEREK BECSLÉSÉNEK ELMÉLETE Tetszőleges

2.6

(&c', IB8l') térben a µ mérték sokkal bonyolultabb le-

Az (Aµ) feltétel bevezetése mindenek előtt azért kényelmes, mert lehető­ vé teszi számunkra, hogy a továbbiakban egységes nézőpontból vizsgáljuk az alkalmazások szempontjából két legfontosabb eloszlás típust - az abszolút folytonosakat és a diszkréteket is. Az (Aµ) feltétel szemszögéből minőségi különbség nincsen közöttük. Ezen kívül az 8f tér dimenziója is lényegtelenné válik. Megállapodunk abban, hogy azt fogjuk írni, hogy

f (x) = g(x)

m.m.

[µ],

ha létezik olyan A halmaz, µ(A)= 0, hogy f(x) =g(x), f (x) = g(x) m.m. [µ] akkor és csak akkor, ha

x E A esetén. Nyilván

Ju 0 és az ln cp(8) függvények egy és ugyanazon pontban veszik fel szélsőértékeiket.) Ezzel analóg értelmezés adható az általános esetben is. Az Xi-k függetlensége miatt B =B1 x ... x Bn, Bi E 23 flJ: esetén

(6)

Pe(X

j fe(xn)µ(dxn),

EB)=/ fe(x1)µ(dx1) ... B1

Bn

Emlékeztetünk arra, hogy az x1 jel, eltérően az Xi mintaelemektől, változó mennyiségeket jelentenek, az (x1, ... , Xn) vektort x jelöli. Len

gyen µn aµ mérték n-szeres direkt szorzata, tehát µn(dx)= IIµ(dxi). Eki=l

kor (6) azt jelenti, hogy Po(X EB)=

f (g f,(x;))

µ"(dx),

n

TI fe(xi) függvény az X

és így következésképpen az fe(x) =

valószínűségi vál-

i=l

tozó sűrűségfüggvénye

f!é'n -ben

j

a µ n mérték szerint; fe(x)µn(dx)

=l.

fl);n

n

TI Je(xi)µn(dx)

Ily módon az fe(x) =

értéket úgy interpretálhatjuk (a diszk-

i=l

rét esettel analóg módon), mint annak valószínűségét, hogy a minta az (xi, Xi + + dxi) sávok metszete által meghatározott parallelepipedonba esik, és a maximum likelihood becslés ezt a valószínűséget maximalizálja. Az n

f e(X) =TI f e(xi) i=l

függvényt mint 8 függvényét likelihood függvénynek nevezik, az n

L(X, 8) = ln f e(X) =

L l(xi, 8) i=l

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

A maximum likelihood becslés

2.6

99

függvényt, ahol l(x, ())=ln f g(x ), pedig logaritmikus likelihood függvénynek. Az f és L függvények ezen elnevezését abban az esetben is megtartjuk, amikor az argumentumban az X helyett x változó vektor szerepel. Ilyen módon az fe(x) likelihood függvény a gen x e téren értelmezett függvény, amely minden () E e esetén sűrűségfüggvény a µ n mérték szerint, így az f e(x1) sűrűségfüggvény is likelihood függvény (az n = 1 esetre). Más oldalról, például az flE' = R esetben az f e(X) függvényt úgy is felfoghatjuk, mint valamely 1-elemű minta likelihood függvényét, amelyben flE'=Rm=Rn. Fontos észrevétel, hogy a m.l.b. nem függ a µ mérték megválasztásától, mivel ha a µ mértéket felcseréljük valamilyen vele ekvivalens µ1 mértékkel, d n akkor az fe(x) likelihood függvény csak a e-tól nem függő µ n (x) szorzóval dµl

változik. A m.l.b. becslés aszimptotikus tulajdonságait ugyanazt az utat követve tanulmányozhatjuk, amelyen haladva a momentum módszert vizsgáltuk. Nevezetesen azt a tényt használtuk ki, hogy a momentum módszerre kapott becslések 1. típusú statisztikák. Ennek alapján azonnal állíthattuk erős konzisztenciájukat és aszimptotikus normalitásukat. Bizonyos feltételek tejesülése esetén a m.l.b.-ek II. típusú statisztikák lesznek, ez lehetővé teszi, hogy (lásd 1.5, 1.8 Tételek) kimondhassuk konzisztenciájukat és aszimptotikus normalitásukat. Ugyanakkor kényelmesebb lesz, ha közvetlenül tanulmányozzuk a m.l.b. tulajdonságait (lásd 23-27. pontok), mivel ez lehetővé teszi, hogy az a vizsgálat jóval gazdaságosabb és teljesebb legyen. Néhány - a 2. pontban szereplő - eloszlás t;setében megkeressük a m.l.b.-t. Sima likelihood függvények esetében a maximumot egyszerűbb a derivált nullhelyei segítségével meghatározni. 1. Példa. Az flE' = R esetben a Cl>a u2 normális eloszlás sűrűségfüggvénye ' _ (x-ai 1 -oo2.

n i=l Nem nehéz ellenőrizni, hogy valóban ebben a pontban veszi fel maximumát az L függvény.

2. Példa. Vegyük a r-eloszlást, amelynek

sűrűségfüggvénye

.>-

.>--1 -ax ( ) a ra x = r(),) x e '

x;:::o, a>O,

Tegyük fel, hogy >. ismert. Ekkor n

n

L(X, a)= ,\nln a - nlnr(>.) +(>.- 1) Llnxi - a

öL >.n _ -=--xn, aa a

i=l

L xi, i=l

a~* = /,;\ x.

3. Példa. A Bp binomiális eloszlás. Itt X ~Bp esetén P(xi=l)=p,

P(xi=Ü)=l-p,

Jp(X)=pv(l-p)n- v,

ahol v az x 1, ... ,

Xn

számok között

szereplő

egyesek száma. Következésképpen

L(X,p) =v lnp+(n- v) ln(l - p),

aL ap

=

v n-v --;;- 1-p'

~*

v n

p =-

Feladatként tűzzük ki az olvasó elé, hogy próbálja a 2. pontban bevezetett összes paraméteres eloszláscsalád esetében megtalálni a m.1.b.-t és hasonlítsa össze őket a momentum módszerrel kapott becslésekkel. Most két másfajta példát mutatunk be, amikor is az fe függvény nem sima a fJ szerint, és így az az eljárás, hogy a m.1.b.-t deriválással keressük meg, nem megy.

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

A maximum likelihood becslés

2.6

101

4. Példa. Legyen I ÉVe I+e (a [B, 1 + B)] intervallumon egyenletes eloszlás). Itt ' fe(x) ={

1,

xE[B,l+B],

1,

[e, 1 +e], e:s; X(l) :s; X(n) :s; 1 +e,

o,

x~

fe(X)= { O, egyébként, ahol ben den ket.

X(l) :s; ... :s; X(n) a rendezett minta. A m.1. becslés ebben az esetnem egyértelmű. Valóban, fe(X)= 1 (a maximális értékével) minesetén, amely kielégíti a X(n) - 1 :s; :s; x(l) összefüggéseolyan mindig létezik. Speciálisan vehetMivel x(n) - x(l) :s; 1, ezért ilyen

jük a

B* =X(l)

e

e

e

vagy

B* =X(n) -

1 értékeket.

5. Példa. Legyen X E U 0 e· Itt ' fe(x)= fe(X) = {

e-n, 0,

{ e-1 ' 0,

x E [O, B], x~[O,B],

ha Xi E [O, e] minden i-re, i = 1, 2, ... , n, egyébként.

Ahhoz, hogy megkapjuk, hogyan függ e-tól az fe(X) függvény, az Xi E [O, B], i = =1, ... n feltételt átírjuk a vele ekvivalens e:;:: max Xi =X(n) alakba. Így f e(X) = =0, ha eE [O, X(n)) és fe(x) =e-n, ha eE (X(n), oo). A függvény grafikonját az 1. ábrán lehet látni. Itt is, mint az előző példában, az f e függvény szakadásos. j f) a maximumát a B* =X(n) pontban Veszi fel. fe(x)

1. ábra

Hasonló módon meg lehet találni a m.l.b.-t az (a, {3) kétdimenziós ismeretlen paraméter esetén, amikor is X É U 0!,(3. Ha az fe(x) függvény nem korlátos, és azon xe pontok, amelyekben fe(x) =oo függenek B-tól, akkor a maximum likelihood becslési módszer jelentős mértékben értelmét veszti (azzal a megállapodással éltünk, hogy f e(xe) = = oo, ha fe(x)---+ oo, midőn x l xe vagy x i xe). Ezt mindennél egyszerűb­ ben az eltolásparaméter példáján lehet megérteni, amikor is fe(x) = f (x - B),

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

102

AZ ISMERETLEN PARAMÉTEREK BECSLÉSÉNEK ELMÉLETE

2.6

e*

f(x)>O, f(O)=oo. Ekkor fo(X)=oo, ha B=x1, ... , B=xn, és így legalább n - a mintaelemekkel egybeeső - értéket vesz fel. A jelenség lényege abban áll, hogy ebben az esetben az f o(X) ,,zökkenői" nem teszik lehető­ vé, hogy fo(X) függvény az egész mintából származó „valódi" maximumhelyeinek elhelyezkedését vizsgálhassuk (vö. 24., 25. pont). Ahhoz, hogy ezeket megkaphassuk, valamilyen módon „ki kell simítani" az fo(X) csúcsait. Az m.1. becsléseknek megvan az a fontos tulajdonságuk, hogy invariánsak a paraméter transzformációjával szemben. 1. Tétel. Legyen j3(B) olyan függvény, amely kölcsönösen egyértelmű leképezést valósít meg a 0 halmaz és egy B halmaz között. Ekkor, ha 7J* a paraméter m.l.b.-e az X minta alapján, akkor =j3(B*) lesz a {Q,e =Po(,B)},BEB paraméteres eloszláscsalád j3 =j3(B) paraméterének m.l.b.-e az X minta alapján, ahol B(/3) a j3(B) inverzfüggvénye.

e

J*

A tétel bizonyítását nyilvánvaló volta miatt elhagyjuk. Megjegyezzük, hogy az 1. Példában már rejtetten kihasználtuk az 1. Tételt, amikor a a2 m.1.b.-e megkeresésekor az L függvény a szerinti maximumát kerestük, és aztán vettük a (62 )* =(&*)2 értéket. A tétel használatának egy másik példája: a m.1.b. megkeresése abban az esetben, amikor X ~La 0"2, azaz abban az esetben, amikor Xi eloszlása lognormális: ln xi ~a,v~2. E;ekre az Xi-kre az a várható érték és a d2 szórásnégyzet értéke a= exp{ a+ a 2 /2},

(lásd 2. pont). Ha a* és (~2)* jelöli az a és d2 m.1.b.-eit, akkor az invariancia tulajdonsága alapján azt kapjuk, hogy (a, d) 2 = j3(a, a 2 ) (lásd. 2. Példa) ( d2) *=(a*) 2 ( e5 } -

1) .

ahol n l n - ·~ 2 ~ -2 Y=(Y1, .. ·,Yn), Yi=lnxi, y=~Yi, Sy=;;-~(Yi-Y) · i=l

,1,

i=l

A 26. pontban bonyolultabb esetekre számoljuk ha m.l.b.

közelítő

értékeit.

Ezen pont befejezéseképpen megjegyezzük a következőt. Már beszéltünk arról, hogy a m.1.b. behelyettesítéses becslés. Azonban az m.1.b.-t meghatározott feltételek mellett úgy is lehet tekinteni, mint az általánosított momentum módszerével kapott becslést. Valóban, tegyük fel, hogy az fo(x) függvény deriválható e szerint, és hogy elvégezhető a szerinte vett deriválás az integráljel mö-

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

A becslések összehasonlítása

2.7

103

gött az

j

f e(x)µ(dx)

=1

egyenloségben. Ekkor

0=

j

f~(x)µ(dx)=

j

j

~:~:>eµ(dx) =

l'(x, ())fe(x)µ(dx) = Eel' 0-1. Ekkor nagy n értékek esetén a Wf - B)vn/ a-i, i =1, 2 mennyiségek eloszlása közel van Q-hoz, és e2 „szóródása" e körül kétségtelenül nagyobb lesz, mint Bi „szóródása" - a e becslést kell előnyben részesítenünk.

1

1

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

2.7

A becslések összehasonlítása

107

Ilyen módon, az aszimptotikusan módszer lényege a becslések határeloszlásainak összehasonlításában áll. Már láttuk, és a továbbiakban is meggyőződhetünk arról, hogy számos természetes módon keletkező becslés, köztük az optimálisak is (erről majd későb­ ben), aszimptotikusan normálisak, azaz fennáll a (4) összefüggés Q =o 1 esetén. Ez lehetővé teszi, hogy megfogalmazzunk egy az aszimptotikusan ~ormális becslések összehasonlítására szolgáló szabályt.

1

2

Tegyük fel, hogy adottak a B és B a.n. becslések, melyek együtthatói O"f, illetve O"i.

1

2

2. Szabály. A B becslést a B becslésnél jobb becslésnek mondjuk, ha O"f < O"l A továbbiakban, mikor ezeket vagy esetleg másféle szabályokat használunk, a „jobb" elnevezéssel együtt használni fogjuk - ahol erre szükségünk lesz - a „nem rosszabb", ,,rosszabb", ,,nem jobb" szavakat. Ezek a O"f és O"i (illetve (1)-ben E(l/ 1/) 2 és E(B B)2) közötti ~. >, ~ egyenlőt­ lenség jeleknek felelnek meg. Ha O"f =O"i, akkor a két becslést aszimptotikusan ekvivalensnek nevezzük. A javasolt megállapodás elég természetes ahhoz, hogy a további meghatározásokban már többet nem fogunk beszélni erről, mindig csak a „jobb", vagy az ezzel analóg relációk meghatározására fogunk korlátozódni. Megjegyezzük, hogy az a.n. becslések osztályában az, hogy B* -nak minimális a szóródása, azt jelenti, hogy a

1-

2-

lim P(JB* - BJ

n-+oo

< u/y'n)

mennyiség maximális tetszőleges u esetén. Emiatt tagadhatatlan, hogy a fenti szabály valóban használható az a.n. becslések összehasonlítására. Az aszimptotikus eljárásnak azonban minden természetessége mellett van egy lényeges hiányossága: csak nagy mintaelemszám esetén alkalmazható, és csak az a.n. becslések osztályán belül. Az említett két szabály persze közel áll egymáshoz - mindkét esetben szórásnégyzetek vagy hozzá közel álló mennyiségek összehasonlítására jutunk. A (4)-beli O"f /n mennyiség Q =o,1 esetén is természetesen lényegesen eltérhet E(B* - 1/) 2 értékétől. Azonban azok a példák, amelyekkel ezt illusztrálni szokták (próbáljon az olvasó készíteni ilyeneket) rendszerint igen mesterségesek. Ezen fejezet további anyaga főként olyan becslések készítésével kapcsolatos, amelyek mindkét bevezetett szabály szerint optimálisak.

3. Példa. Legyen X

~r. a ' 1. A 4. pont 1. Példájában megmutattuk, hogy a

a:i =(x)-1 www.interkonyv.hu

1 és ai = ( 2n

I: x; )-1/2

© Borovkov, Michaletzky György

© Typotex Kiadó

AZ ISMERETLEN PARAMÉTEREK BECSLÉSÉNEK ELMÉLETE

108

2.7

becslések mindketten a momentum módszer segítségével kapott becslések. Ezen kívül az ai becslés egyben m.l.b ... Továbbá azt is megmutattuk, hogy mindkét becslés a.n., amelynek együtthatója a 2 és

~a2 , így az ai becslés aszimptotikusan

2

jobb, mint az a becslés. Ugyanezt az eredményt kapjuk n;?: 2 esetén a négyzetes · középben vett eltéréssel is. Most olyan példát ismertetünk, amely azt mutatja, hogy az eloszlás tulajdonságaitól függően ugyanaz a becslés lehet jobb is, vagy rosszabb is, mint egy másik rögzített becslés.

Példa. Tekintsük a () =Ex 1 paraméter becslésének feladatát, ha ismert, hogy X ~P, és P a e pontra nézve szimmetrikus eloszlás (vö. 1. Példa). Ebben az esetben a ( eloszlásának mediánja egybeesik B-val. e kétféle becslését vizsgáljuk (mindkettő behelyettesítéses becslés): a ()i =x átlag és e =(* a tapasztalati medián. Tegyük fel a meghatározottság kedvéért, hogy n páratlan. A 2.2.1 Következményből k =(n + 1)/2 esetén következik, hogy ha az F eloszlásfüggvény deriválható a e= ( pontban, akkor 4.

2

((* -

Ovn

=}

2f~B)'

~ ~'1>o ,1,

f (x) =F' (x).

Más szavakkal, ebben az esetben(* a.n. becslés, amelynek együtthatója 17~ = =1/(41 2 (()). Más oldalról az

x a.n. becslés együtthatója (72 = (721 .

Ez azt jelenti, hogy az x statisztika az adott esetben jobb, mint (*. Azonban, mint láttuk, nem nehéz olyan eloszlásokra példát adni, amelynél a (* statisztika előnyösebb.

A mediánnal kapcsolatos példa más vonatkozásban is tanulságos. Azt mutatja, hogy a(* - ( szóródásának mértéke tetszőleges gyorsasággal csökkenhet. Ahhoz, hogy erről meggyőződjünk, elegendő visszatérnünk a 2.2.1 Megjegyzéshez. Ezen megjegyzés feltételei mellett n l/( 2--Y) az a normáló faktor, amely biz-

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

A becslések összehasonlítása

2.7

109

tosítja, hogy a (* - ( mennyiségnek legyen határeloszlása, ahol ry tetszőle­ ges nemnegatív szám (lásd (2.12)). A vn szorzó a sima eloszlás esetének felel meg. Nézzünk most egy, az o 1 normális eloszlásból vett n = 101 elemű mintát, és vizsgáljuk meg* , hogyan t~rtanak nullához az x és (* mennyiségek, n =11, 21, 51, 101 esetén. A kapott adatokat a következő táblázat tartalmazza:

n

11

21

51

101

x

-0, 283

-0,254

-0, 148

-0,072

(*

-0, 291

-0,292

-0,078

-0,044

Ebben a példában n =51, 101 esetén a (* becslés jobb, ez a véletlen ingadozásnak köszönhető. Ahhoz, hogy érzékeljük azt, hogy az x az előnyösebb becslés, sok ilyen kísérletet kellene végezni. Megnézzük most, hogyan alakul a többdimenziós esetben - amikor tehát e a (8 1 , ... , Bk) vektor - a fent megfogalmazott kétféle elv, amelyek becslések összehasonlítására szolgálnak.

3. A négyzetes eltérés és az aszimptotikus módszer a többdimenziós esetben Az aszimptotikus módszert, ugyanúgy, mint az egydimenziós esetben, csak az a.n. becslések osztályában fogjuk használni. Ebben az esetben az egész a többdimenziós normális eloszlások (a (B* - B)vn mennyiség határeloszlásai) vizsgálatára vezet, amelyeket viszont teljes mértékben jellemezni lehet a szórásmátrixukkal (lásd pl. 3.2A Tétel). Ha a B* mennyiség pontos eloszlásainak összehasonlítására a négyzetes középben vett eltérés elvét alkalmazzuk, akkor is ahhoz a problémához jutunk, hogyan lehet összehasonlítani két Rk-beli eloszlást a (B* - B) mennyiség második momentumaiból álló mátrixainak ismeretében. Ily módon, mindkét esetben a második momentumokból álló mátrix „szétszórtsági foka" alapján kell összehasonlítást végeznünk. Nézzük ezen összehasonlítás legtermészetesebb módját. Legyen Q1 és Q2 két tetszőleges Rk-beli eloszlás. Jelöljön ~1 és 6 két olyan véletlen vektort, amelyek eloszlásai éppen ezek: ~i ~Qi. 2. Definíció. Azt fogjuk mondani, hogy a Q1 eloszlás az a E Rk pont körüli négyzetes középben vett szóródása nem nagyobb, mint a Q2 szóródása, ha tetszőleges a= (a1, ... , ak) vektor esetén (5)

E(6 - a, a)2::::; E(6 - a, a) 2 ,

* Az X mintát [8] táblázataiból vett véletlen számok segítségével készítettünk el (vettük a 434. oldalon lévő első 101 számot). ·

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

110

AZ ISMERETLEN PARAMÉTEREK BECSLÉSÉNEK ELMÉLETE

2.7

k

ahol (x, a)=

L Xiai a skaláris szorzat.

i=l Azt fogjuk mondani, hogy Q1 szóródása kisebb, mint Q 2-é, ha (5)-ben legalább egy a érték esetén szigorú egyenlőtlenség teljesül. Ha a= E6 =E6, akkor az (5) egyenlőtlenség azt jelenti, hogy a Q 1 eloszlás tetszőleges a irányban vett szórása (azaz ~1 a-ra vett vetületének szórása) nem haladja meg ugyanezt a mennyiséget a Q2 eloszlás esetében.

Ha df= lld~JII a Qz, l =1, 2 második momentumaiból álló mátrix, akkor felbontva a zárójelet (5)-ben a= 0 esetén, azt kapjuk tetszőleges a1, ... , ak választás esetén, hogy k

k

'°' d(l)a·a · /' '°' d(2)a·a ·

(6)

~

ij

i

J :::::: ~

ij

i

J.

iJ=l

iJ=l

Ezt az összefüggést a mátrixok nyelvén így fogjuk jelölni:

dy~ d~.

(7)

Ez a d~ - dy mátrix pozitív szemidefinitségét jelenti. Ily módon Q 1 négyzetes középben vett szóródása a nulla körül akkor és csak akkor nem haladja meg a Q2-ből hasonlóan képzett mennyiséget, ha a második momentumokból álló mátrixokra fennállnak a (6), (7) egyenlőtlenségek., A többdimenziós esetben a következőképpen lehetne megfogalmazni annak szabályát, hogy melyik becslést részesítsük előnyben. A négyzetes eltérés elve: a Bi becslés jobb, mint a B ha a B pont körüli négyzete középben vett szóródása kisebb, mint ugyanez a mennyiség a B esetében. Ha df a Bi - Bmennyiség második momentumaiból álló mátrix, akkor a „Bi becslés jobb, mint a 0 állítás azt jelenti, hogy d} < d~.

2,

2"

2

2,

Az aszimptotikus módszer: a Bi becslés jobb, mint a B ha a (Bi - B)../n határeloszlásnak a nulla pont körüli négyzetes középben vett szóródása kisebb, mint ugyanez a mennyiség (B B)../n esetében. Más szavakkal, ha (Bi - B)../n ~0 ,0"12, akkor a „Bi becslés jobb, mint a

2-

02" állítás azt jelenti, hogy O"t < O"i. Megmutatható, hogy ha Bi és B2a.n. becslések, és Bi jobb, mint B2, akkor (8)

www.interkonyv.hu

lim P((B lim P((Bi - B)../n EB)> n---.oo

n--->oo

2- B)../n EB),

© Borovkov, Michaletzky György

© Typotex Kiadó

A becslések összehasonlítása

2.7 tetszőleges

111

B centrális ellipszoid* esetén.

Látjuk, hogy mindkét esetben a becslések összehasonlítása a második momentumokból alló mátrixok közötti egyenlőtlenségek vizsgálatára vezet. Némi különbség abban áll csak, hogy az első esetben a momentumok nem feltétlenül centrálisak. Most néhány, a (6) és (7) egyenlőtlenségekkel ekvivalens összefüggést végeztünk el. Legyen v(B*)::.: E(B* - B)V(B* - ef, és jelölje ~+ a pozitív szemidefinit V = llvij 11 mátrixok halmazát. Ha lldij 11 a e* - e második momentumaiból álló mátrix, akkor v(B*) = Vijdij.

L

1. Lemma. esetén.

dt~ d~ akkor és csak akkor, ha v(Bi) ~ v(B2) tetszőleges V E~+

Bizonyítás. Az állítás az egyik irányban nyilvánvaló, mivel a Va = llaiaj 11 mátrix ~+-be esik, és az ilyen mátrixokra

Vace'{) =E(Bz - B)Va(Bz - el=

L aiajd~j

(lásd (6)). Ahhoz, hogy bebizonyítsuk a fordított irányú állítást, megjegyezzük, hogy az (5) egyenlőtlenség segítségével definiált részbenrendezés invariáns a koordinátatengelyek forgatásával szemben. Nevezetesen, ha C egy ortogonális leképezés mátrixa, és a paraméterre vonatkozó Bi becslés jobb, mint 8 akkor a ec paraméterre vonatkozó BiC jobb, mint B2C. Ez következik a (BzC - ec, a)= ((B'/ - B)C, a)= (Bz - e, aCT) egyenlőségből és a 2. Definícióból.

2,

e

Tegyük fel most, hogy

dt< d~, azaz

L dg> aiaj < L dg) aiaj.

(9)

2)

Ez azt jelenti, hogy v(Bi) < v(B tetszőleges Va = llaiakll alakú V mátrix esetén, és így a Vctiag E~+ mátrixok esetén is, mivel ez utóbbiak előállíthatók k darab Va

k

*

A rövidség kedvéért a

L

dijXiXj

~ e tartományt Rk-beli ellipszoidnak, a

i,j=l k

L

dijCiCj =

e felületet ellipszisnek fogjuk nevezni.

i,j

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

2.7

AZ ISMERETLEN PARAMÉTEREK BECSLÉSÉNEK ELMÉLETE

112

alakú mátrix összegeként. Legyen most V tetszőleges IB+-beli mátrix, C pedig olyan ortogonális leképezés, amelyre cT V C = Vctiag. Ekkor

v(ei)= E(ei-e)V(ei-el = E(ei-e)CVctiagCT(ei-el . A fenti két megjegyzésből és oldala kisebb, mint

E(e2 - e)CVctiagCT (e2 -

(9)-ből

következik, hogy ezen

egyenlőség

jobb

el= E(e2 - e)V(e2 - e)V(e2 - el= v(e2). D

Másféle módszer is létezik a szóródás mértékének összehasonlítására (lásd [18]), amelyek feltételezik, hogy a Q1 és a Q2 eloszlás egyike sem elfajuló Rk-ban, és hogy nulla várható értékűek. Ebben az esetben a második centrális momentumokból álló df mátrix pozitív definit, és létezik az inverze: At =(df)- 1. Legyen d 2 a Q eloszlás második momentumaiból álló mátrix, és A= ( d 2)- 1.

3. Definíció. A Q eloszlás szórásellipszoidjának nevezik a tAtT ~ k+2

ellipszoidot, amelyet a következő tulajdonság jelöl ki egyértelműen az összes ellipszoid közül: ha vesszük ezen az ellipszoidon az U egyenletes eloszlást (azaz azt az Rk-beli eloszlást, amelynek sűrűségfüggvénye állandó az ellipszoid belsejében, és nulla azon kívül), akkor Q és U első és második momentumai egybeesnek (lásd [18], 333. oldal).

2. Lemma. Tegyük fel, hogy a df, l = 1, 2, mátrixok nem elfajulóak. Q1 nulla körüli négyzetes középben vett szóródása akkor és csak akkor nem nagyobb Q2 szóródásánál, ha Q1 szórásellipszoidja a Q2-ében van. Bizonyítás. Tegyük fel, hogy a tA1tT =1 ellipszoid a tA2tT =1 belsejében van. Mint ismeretes, létezik olyan nem elfajuló lineáris leképezés t = uL, amely átviszi a tA 1tT = 1 ellipszoidot az 81 egységgömbbe, a tA 2tT = 1 ellipszoidot pedig egy 82 ellipszoidba, amelynek tengelyei a koordinátatengelyek. Ez azt jelenti, hogy A1 :=.LA1LT =E (egy1, j =1, ... , k. Miségmátrix), A2 = LA2LT =diag(,\I, ... , ,\~), 0 2 2 tA--ltT ' \- ) E A--l d. (\- -l = 1 e11·1pszo1.d az S2 e1ve1 A 2 1 = , 2 = iag /\ 1 , ... , /\k , ezert a lipszoid az 8 1 egységgömbre vett inverziójával kapható meg, és így nincs 81ben. Mivel .íi21 =(LT)- 1A 2L-1, ezért elvégezve az u=tLT „inverz" leképzést, azt kapjuk, hogy a tA 11tT =tdyt= 1 ellipszoid a tA 21tT =td~tT =1 ellip~ szoidon kívül fekszik. Nyilván ugyanez az összefüggés érvényes a tdytT =e és a td~tT =e ellipszoidok esetében is. Ez azonban azt jelenti, hogy a tdytT =e egyenlőségből következik a tdytT =e ~ tditT egyenlőtlenség. A fordított állítás ugyanígy bizonyítható. D

0 esemény melletti feltételes várható értékét - E(e / B) - az E(e / B) = E(e; B)

(1)

P(B)

egyenlőség

definiálja, ahol E(e; B)=

j

edP= E(UB), IB =IB(w) a B halmaz

B

indikátor változója. Tegyük fel, hogy e és 'f/ függetlenek, B ={'f/ =x} és P(B) > 0. Ekkor tetsző­ leges cp(x, y) mérhető függvény esetén (1) szerint Ecp(e, 'f/)1{ rJ=X} (2)

E[cp(e,'f/)/'f/=X]=

P('f/=X)

=

Ecp(e, x)I{ 71=x} P('f/=X)

=Ecp(e,x).

Az utolsó egyenlőség azért igaz, mivel a cp(e,x) és az I{ry=x} tozók, minthogy és 17 függvényei, függetlenek, és így

e

Ecp(e, x)I{ry=x}

www.interkonyv.hu

valószínűségi

vál-

=Ecp(e, x)EI{ry=x} =Ecp(e, x)P('f/ =x).

© Borovkov, Michaletzky György

© Typotex Kiadó

AZ ISMERETLEN PARAMÉTEREK BECSLÉSÉNEK ELMÉLETE

122

2.9

A (2) összefüggések mutatják, hogy a f.v.é. fogalma értelmes maradhat abban az esetben is, amikor a feltétel valószínűsége 0. Hiszen maga az E[ tp(e, 1]; 1] =x J =Erp(e, x) és 17 változók esetén eléggé természetes, és egyáltalában egyenlőség független nincsen kapcsolatban a P( 17 =x) > 0 feltevéssel. valószínűségi váltoLegyen 2.l az J egy rész-a-algebrája. Most a zó 2.l-ra vett f.v.é.-ének fogalmát definiáljuk. Ezt E(e / 2.l) fogja jelölni. Elő­ ször a „diszkrét" esetre adjuk meg a definíciót - úgy, hogy könnyen lehessen átlalánosítani. ,,Diszkrétnek" azt az esetet nevezzük, amikor az 2.l a-algebrát az A 1, A2, ... diszjunkt események generálják, amelyek számossága megszámlálható, és U UAi = Q, P(Ai) > 0. Ezt a tényt ezentúl így jelöljük: 2.l = a(A 1 , A2 , ... ). Ez azt jelenti, hogy 2.l elemei az A 1, A2, ... halmazok összes lehetséges egyesítései. A valószínűségi változó és az (A 1, A 2 , ... ) eseményrendszer segítségével felépítünk egy új Z=Z(w) valószínűségi változót a következő módon:

e

e

e

~

E(e; Ak) _ e=Yk=E(e/Ak)= P(Ak),

ha wEAk,

k=l,2, ....

Más szavakkal

ahol I A az A halmaz indikátora.

e

1. Definíció. A Zvalószínűségi változót nevezzük a valószínűségi változó 2.l szerinti feltételes várható értékének, amelynek jele E(e / 2.l). Ily módon a közönséges várható értéktől eltérően, az E(e / 2.l) f.v.é. valószínűségi változó. Esetünkben konstans az Ak halmazokon, értéke éppen a e Akn vett átlaga. Ha e és 2.l függetlenek (azaz P(e EB; Ak) =P(e E B)P(Ak)), akkor nyilvánvalóan E(e; Ak) =EeP(Ak) és =Ee. Ha 2.l =J, akkor J szintén „diszkrét", e állandó az Ak halmazokon, és így

Z

Z=t Kiemeljük a f.v.é. két alaptulajdonságát: 1. 2.

Zmérhető 2.l-ra. Tetszőleges

A E 2.l esetén

E(Z; A)= E(e; A). Az

www.interkonyv.hu

első

tulajdonság nyilvánvaló. A második abból következik, hogy

tetsző-

© Borovkov, Michaletzky György

© Typotex Kiadó

A feltételes várható érték

2.9

leges A E 2l esemény előállítható A=

123

LJ Ajk alakban, és így k

E(é; A)=

L E(é; Ajk) =L YjkP(Ajk) =LE(~; Ajk) =E(~; A). k

k

k

Ez a tulajdonság elég világos: a ~ valószínűségi változó átlaga az A halmazon ugyanaz az érték, mint az Ajk halmazokon már átlagolt valószínűségi változó átlaga.

Z

1. Lemma. Az 1., 2. tulajdonságok ekvivalensek az 1. Definícióval.

egyértelműen

meghatározzák a fv.é.-t, és

Bizonyítás. A Lemma állítását egyik irányban már beláttuk. Teljesüljenek most az 1., 2. feltételek. Az, hogy Zmérhető 2l szerint, azt jelenti, hogy Zállandó az Ak halmazokon. Jelölje Yk a változó Ak-n felvett értékét. Mivel Ak E 2l, így a 2. tulajdonságból következik, hogy

Z

E(é; Ak) = YkP(Ak) = E(~; Ak),

és így w E Ak esetén -;?_ e.,,

_ E(~;Ak) D

-Yk -

P(Ak) .

Most már meg tudjuk adni a f.v.é. általános definícióját. 2. Definíció. Legyen ~ az (Q, J, P) valószínűségi mezőn értelmezett valószínű­ ségi változó, 2l C J egy rész J a-algebra. A valószínűségi változó 2l-ra vonatkozó feltételes várható értékének azt a ~ valószínűségi változót nevezzük - a jele E(~/ 2l) lesz -, amely rendelkezik az alábbi két tulajdonsággal.

i

1.

~ mérhető

2l-ra.

2. Tetszőleges A E 2l esetén fennáll az E(é; A)= E(~; A) egyenlőség. Ebben a definícióban a ~ valószínűségi változó lehet akár skalár, akár vektor. Azonnal felmerül a kérdés: létezik-e ilyen ~ valószínűségi változó, egyértelmű-e? A „diszkrét" esetben láttuk, hogy a válasz pozitív ezekre a kérdésekre. Az általánosabb esetben igaz az

1. Tétel. Ha El~I véges, akkor a 2. Definícióban szereplől =E(~/ 2l) függvény mindig létezik, és nullmértékű halmaztól eltekintve egyértelmű. Bizonyítás. Tegyük fel

először,

Q(A)=

hogy

~

skalár,

~ ~

0. Ekkor a

j ~dP=E(~;A), a

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

AZ ISMERETLEN PARAMÉTEREK BECSLÉSÉNEK ELMÉLETE

124

2.9

halmazfüggvény mérték (Q, Ql)-n, amely abszolút folytonos P szerint, miKövetkezésképvel a P(A) =0 állításból következik, hogy Q(A) =0. pen, a Radon-Nykodim-tétel szerint ([11] 3. Függelék) létezik olyan Q( mérhető =E(e / Ql) függvény, amely nullmértékű halmaztól eltekintve egyértelmű, hogy

Z

Q(A)= jtdP. A

e= e+ - e-, e+= max(O, e) ): 0, e- = e=e+-e-,

Az általános esetben tegyük fel, hogy

=max(O, -0 ): 0,

~

e± e±

ahol a f.v.é.-e. Ezzel bebizonyítottuk, hogy létezik a f.v.é., mikielégíti a 2. Definíció 1., ~2. feltételeit. Ugyancsak ebből kövel nem egyértelműségének feltételezévetkezik az egyértelműség, mivel vagy nem egyértelműségét jelentené. Vek!_?rértékű esetén a bizonyíse tás visszavezethető az egydimenziós esetre, mivel a koordinátáinak kell rendelkeznie az 1., 2. tulajdonságokkal, és ezek létezését és egyértelműségét már igazoltuk. D A most bemutatott bizonyítás lényege elég világos: hiszen a 2. felté-

Z

z+

e

z-

e

tel szerint minden egyes A E Q( halmazra adott E(Z; A)=

e

j ZdP értéke,

az-

A

Z

az adott tetszőleges A E Ql halmazon vett integráljának éttéke. Ez - nullmértékű halmaztól eltekintve - egyértelműen határozza meg a Qt-mérhető függvényt. Az E(e / Ql) jelentése ugyanaz maradt, mint korábban, - durván szólva ez nem más, mint Ql darabokra már nem bontható részein vett átlaga e-nek.

Z

Ha Ql =J, akkor nyilvánvalóan a teleket, és így E(e / J)

=e. Definíció. Legyenek e és

e= emennyiség kielégíti az 1. és 2. felté-

3. 17 az (Q, J, P) valószínűségi mezőn értelmezett valószínűségi változók, Q( =a(77) az 77 által generált a-algebra. Ekkor az E(e / Ql) mennyiséget a valószínűségi változó 77 szerinti feltételes várható értékének is nevezik. Néha az egyszerűség kedvéért E(e / a(77)) helyett E(e / 77)-t írunk. Ez nem vezet félreértésekre. Mivel E(e / 77) definíció szerint a(77)-mérhető valószínűségi változó, ezért (lásd [11] 65. oldal) létezik olyan mérhető g(x) függvény, amelyre

e

(3)

E(e / 77) =g(77).

A diszkrét eset analógiájára a g(x) mennyiséget értelmezhetjük itt úgy, mint a

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

2.9

A feltételes várható érték

125

e.változó {T/ = x} halmazon vett átlagát. (Emlékeztetünk arra, hogy a diszkrét esetben g(x) = E(e / 17 = x ).)

e=

4. Definíció. Ha Ic a X EJ halmaz indikátor változója, akkor az E(Ic / Qt) mennyiséget a C esemény 2t-ra vonatkozó P(C / Qt) feltételes valószínűségé­ nek nevezzük. Ha 2( = O"( T/ ), akkor a C esemény T/ szerinti P( C / T/) feltételes valószínűségről beszélünk. 2. A f.v.é. tulajdonságai 1. A f v.é. rendelkezik a közönséges várható érték tulajdonságaival (lásd [11], 75. oldal), azzal a különbséggel, hogy azok csak majdnem mindenütt teljesülnek (1

valószínűséggel):

la. E(ce /2t)=cE(e /Qt), ha c=állandó. lb. E(e1 +6/2t)=E(e1 /2t)+E(6/2t), le. ha e1::::; 6 m.m., akkor E(e1 /Qt)::::; E(6 / Qt).

e

2. Csebisev típusú egyenlőtlenség: ha valós, tén

e

~

0, akkor tetszőleges x > 0 ese-

~ x; 2t)::::;

E.(dy).

A 2. Tétel ezen egyszerű következményének lényeges szerepe lesz a további felépítésben. A statisztikai feladatokkal kapcsolatban ez lehető­ vé teszi, hogy a következő pontban levezessük a Bayes-képletet, amelyet az egész elmélet kiépítése során ezentúl gyakran fogunk használni.

mennyiségek kétdimenziós normális eloszlása, ahol a= (a1' a2): C\éi = Eeí, (]' 2 = IIO'íj 11, O'íj = E(ei - üéi)(ej - aj), i, j = 1, 2. A szórásmátrix determinánsa 1. Példa. Legyen a

0'2

a

6

és

6

1(]' 21=0'110-22 - O-f2 = 0'110'22(1 - /), ahol p a e 1 és 6 korrelációs együtthatója. Ily módon, ha IPI mátrix nem elfajuló, és létezik a 1 0-11

i- 1, akkor a szórásp

p

0'22

V0'1!0'22 inverz mátrix. Következésképpen e1 és Lebesgue-mérték szerint) (lásd 2. pont) 1

f(x,y)=

6 együttes

sűrűségfüggvénye

(a

x

27ro-1 10'22R x exp { -

2 [(x - a1)2 - 2p(x - a1)(y- a2) + (y - a2) ]} , 1 ) 0-22 Jo-1 !0'22 0'11 2(1 - p 2

és egydimenziós sűrűségfüggvényei -

1

f(x)=

www.interkonyv.hu

J27ro-11

e

(x-1)

2""11

2

,

1 e q(y) = ~2 V ..(dt).

e

Ez a sűrűségfüggvény a paraméter úgynevezett aposteriori (azaz a kísérlet utáni) eloszlását határozza meg - amelyet Qx fog jelölni. Az (1) egyenlő­ séget az aposteriori eloszlás sűrűségfüggvényére vonatkozó Bayes-tételnek nevezik . A továbbiakban ennek a képletnek lényeges szerepe lesz. A f.v.é. 9. tulajdonsága a Bayes-féle esetre a következőket adja: az összes 'P(X) becslés közül a paraméter legjobb (az E(B - 'P(X))2 minimumát adó) becslése a

e*=

(2)

e

eQ =E(B / X) =

J

tq(t / X)>.(dt) =

J

tQx(dt)

függvény.

1. Definíció .. Az (1), (2) képletekkel definiált eQ becslést a q(t) sűrűségfügg­ rendelkező Q apriori eloszlásra vonatkozó Bayes-féle becslésnek nevez-

vénnyel zük.

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

133

Bayes-féle és minimax becslések

2.11

Még egyszer megjegyezzük, hogy a Bayes-féle becslés esetén lesz minimális az E(B* - B) 2 = EE((B* - e)2

=j

(3)

j e)= EEe(B* -

e)2

=

Et(B* - t) 2 q(t)>.(td)

feltétel nélküli, négyzetes középben vett eltérés. A (3) összefüggés azt mutatja, hogy a Bayes-féle becslés minimalizálja az Et(B* - t)2 mennyiségek (adott q(t)>.(dt) súlyfüggvénnyel vett) átlagos értékét. Más szavakkal, ha véletlenszerűen - q(t) sűrűségfüggvényt követve - adódik, akkor a Bayes-féle becslés lesz a legjobb a négyzetes középben vett eltérés szerint. Bayes-féle becslés esetén a (3) négyzetes középben vett eltérést elő lehet állítani az alábbi alakban is (lásd (1)):

e

E(eQ - e)2

=

J

Et(BQ - t)2q(t)>.(dt)

= j j (t -

=

BQ) 2 ft(x)q(t)>.(dt)µn(dx ) =

j

(J"~J(x)µn(dx)

=EO"~x,

ahol O"~x az aposteriori Qx eloszlás szórásnégyzete: (J"~x

(4)

=

j

(t - eQ) 2 q(t / X)>.(dt) =

j (t - E(e / X))2Qx(dt).

A becslések összehasonlításának egy másik módszere- a 8. pontban már utaltunk rá- a sup Et(B* - t) 2 mennyiségek összehasonlításán alapul, ahol re e a e egy tEf

adott részhalmaza (vagy egybeesik 8-val, vagy azon részével kapcsolatban már tudtuk igazolni, hogy E r).

e

egyenlő,

amellyel

2. Definíció. A 71* becslést minimax becslésnek nevezik, ha tetszőleges másik e* becslés esetén sup E(7J* - t)2:::;:; sup Et(B* __:. t) 2 . tEf

tEf

Más szavakkal, a minimax becslés esetén teljesül az (5)

inf sup Et(B* - t)2 == sup Et(71* - t) 2

e* tEf

tEf

egyenlőség. Most néhány - a Bayes-féle és a minimax becslések között fennálló - hasznos kapcsolatra mutatunk rá.

1. Tétel. Jelöljük eQ-val a q(t) sűrűségfüggvénnyel rendelkező Q apriori eloszlás szerinti Bayes-féle becslést. Ha létezik olyan Bi becslés és olyan Q eloszlás, hogy tetszőleges t mellett

(6)

E(Bi - t) 2 :::;:;

j

Eu(BQ - u) 2 q(u)>.(du),

akkor a Bi becslés minimax.

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

134

AZ ISMERETLEN PARAMÉTEREK BECSLÉSÉNEK ELMÉLETE

Bizonyítás. Legyen

()* tetszőleges

s~p Et((J*

~ t) 2 ;;::

j

2.11

másik becslés. Ekkor

Et(()* - t)2q(t)>..(dt);;::

; : j Et((}Q- t) q(t)>..(dt);;:: Et((}i- t)2. 2

D

Megjegyezzük, hogy a Q eloszlás NQ ={t: q(t) > O} tartójához tartozó majdnem minden t értékre a (6) egyenlőtlenségben egyenlőségnek kell teljesülnie, mivel ellenkező esetben azt kapnók, hogy

j

Et((JÍ - t)2q(t)>..(dt)


..(dt).

Ez azonban ellentmond a Bayes-féle becslés definíciójának. Ez a megjegyzés lehetővé teszi, hogy megfogalmazzuk a következő - az 1. Tétellel ekvivalens - állítást, amely egy .becslés minimax voltára ad feltételt. 2. Tétel. Ha a ()* becslés 1. valamilyen Q eloszlás szerint Bayes-féle becslés, 2. Et((J* -t) 2 =c=konstans, ha tENQ, 3. Et((J* - t) 2 ~ e a többi t-re, akkor ()* minimax becslés.

Ha ()* =()Q (7)

=7J*

eleget tesznek ennek a feltételnek, akkor nyilvánvalóan s~p Et(7i* - t)2 =

j Et(7i* - t) q(t)>..(dt). 2

Így tehát a minimax becslés - olyan Bayes-féle becslés, amely „kiegyenlíti" a különböző t értékek melletti Et(7j* - t) 2 veszteségeket. Ez azt jelenti, hogy az ennek a becslésnek megfelelő Q apriori eloszlás minden egyes lehetséges () értéket egyenlő súllyal kell figyelembe vegyen, és nem célzatosan, bizonyos kiválasztott (valószínűbb) () értékekre koncentrálva, ahogyan ezt más Q f. Q apriori eloszlásoknak megfelelő ()Q Bayes-féle becslések csinálják. Mivel ez utóbbi esetben még egy plusz - {}-val kapcsolatos - információt is felhasználtunk, ezért természetes dolog, hogy Q f. Q esetén a ()Q becslésre lesz kisebb a feltétel nélküli négyzetes eltérés:

J

Et(()Q - t) 2Q(dt) ~

J

* - t) 2Et(()Q Q(dt) .. . , -*

.

Ezzel összefüggésben a 2. Tételben szereplő eloszlást - amely á () minimax becslésnek felel meg -, gyakran legrosszabb apriori eloszlásnak hívják. Mivel ilyen legrosszabb Q eloszlás nem mindig létezik (ez gyakran fordul elő), ezért érdemes megfogalmazni az előző tétel egy módosítását, amely szintén a minimax becslések megkereséséről szól.

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

135

Bayes-féle és minimax becslések

2.11

Ha létezik olyan B1 becslés és olyan - qCk) sűrűségfügg­ Tétel. vénnyel rendelkező - Q(k) eloszlássorozat, amelyre tetszőleges t érték mel-

3.

lett Et(B

akkor a

sup j 1- ti::::; lim k-+oo

Et(BQ..(dt),

er becslés minimax.

A tétel bizonyítása ugyancsak egyszerű. Tetszőleges

e* becslés esetén fenn-

áll a s~p Et(B* - ti;;?:

j Et(B* -

egyenlőtlenség. Ebből

j Et(BQ..(dt)

következik, hogy

sup Et(B* - ti;;?: lim sup k-+oo

t

tiqCk\t)>..(dt);;?:

j Et(BQ..(dt);;?: Et(B1- t) 2.

0

1. Példa. Legyen X ~a 1 . Megvizsgáljuk, hogy milyen alakú az a paraméter crQ..(dt)= dt, t2 1 q(k)ct) = - - e - 2 k .

.fiik

A Q~) aposteriori eloszlásnak létezik sűrűségfüggvénye, - qCk)(t / X) -, amely (mint t függvénye) qCk\t)ft(X), ill. exp {- ;: - } ~(xi -

ti}

konstansszorosa. A

- t22 (-kl +n) +x.nt=--21 (-kl +n) (t- x.n )2 + (xn)2 2(i+n) . i+n egyenlőségből

következik, hogy (k)

Qx = xnk

_k_· l+nk' l+nk

Mivel az a paraméter aQ(kl Bayes-féle becslése az aposteriori eloszlás várható értékével egyenlő, ezért innen azt kapjuk, hogy

a*

-

QCk) -

www.interkonyv.hu

x.nk

1 + nk

--

x

1+ ~ ·

© Borovkov, Michaletzky György

© Typotex Kiadó

136

AZ ISMERETLEN PARAMÉTEREK BECSLÉSÉNEK ELMÉLETE

2.11

k Az aposteriori eloszlás szórásnégyzete - a-i.1 /(>.1 + >-2) (lásd 2. pont, 8. Példa), ezért a Q-nak megfelelő Bayes-féle becslés

* N+xn+l

x+(N+l)/n PQ = 2N +n+2 = 1 +2(N + 1)/n. N + 1 = ../n/2 esetén ez a becslés egybeesik a (8) képletben megadott p* becsléssel, és így a 2. Tétel alapján minimax. A Q eloszlás a legrosszabb. Ez n növekedtével egyre inkább a paraméter „legrosszabb" értékére koncentrálódik - p= 1/2 -, ebben az esetben lesz ugyanis az x becslés szórásnégyzete maximális, éppen p(l -p)/n= 1/(4n). Maga az x becslés nem minimax, mivel 1 1 p(l - p) = 4n > 4(1 + Jri:) 2 · n

s?

Ugyanakkor világos, hogy a p= 1/2 közvetlen környezetén kívül fekvő p értékekre az x becslés még mindig jobb lesz, mint PQ - ez olyan p értékek esetében igaz, amelyekre p

( 1- )

1

p.(dt) mennyiség értékét, tetszőleges V pozitív szemidefinit mátrix esetén; vagy másképpen a e* - e mennyiség tetszőleges a E Rk irányba eső átlagos (q(t) súlyfüggvény szerint vett) négyzetes középbeli eltérését. 4. Definíció. A eQ becslés Bayes-féle, ha tetszőleges másik e* becslés és tetsző­ leges V pozitív szemidefinit mátrix esetén

v(eQ):::; v(e*). A ei becslés aszimptotikusan Bayes-féle, ha lim sup[nv(ei-) - nv(eQ)]::,; 0. n----+oo

www.interkonyv.hu

© Borovkov, Michaletzky György

© Typotex Kiadó

2.12

Elégséges statisztikák

139

5. Definíció. A e* becslés minimax, ha tetszőleges másik ges V pozitív szemidefinit mátrix esetén

e*

becslés és tetszőle­

sup Et(7i* - t)V(7J* - tf - sup Et(B* - t)V(B* - tf tEr