Stokastiset prosessit [version 19 Mar 2002 ed.] [PDF]

Zitiervorschau

STOKASTISET PROSESSIT Keijo Ruohonen

1990

SISÄLTÖLUETTELO Kirjallisuutta. Esipuhe 1 1 1 2 4 7 9 11 12 13 17 19 26 28 33 39 40 40 44 51 54 59 65 65 67 71 73 76 76 77 80 84 88

I TODENNÄKÖISYYSLASKENNAN KERTAUSTA JA LISÄYSTÄ 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15.

Todennäköisyyskenttä Satunnaismuuttuja ja satunnaisvektori Kertymäfunktio Ekskursio: Deltafunktio Tiheysfunktio Yhteisjakauma ja reunajakauma Ehdollinen jakauma Riippumattomuus Satunnaismuuttujien funktiot Satunnaisvektorien funktiot Odotusarvo Satunnaismatriisi ja sen odotusarvo Keskineliö ja varianssi Kovarianssi. Korrelointi. Ortogonaalisuus Toisen kertaluvun stokastiikka

II STOKASTISET PROSESSIT 1. 2. 3. 4. 5.

Peruskäsitteitä Klassisia esimerkkejä Stationäärisyys. Autokorrelaatiofunktio. Ristikorrelaatiofunktio Raja-arvot. Jatkuvuus. Integraali. Derivaatta Ergodisuus. Estimointi

III STOKASTISEN PROSESSIN TEHOSPEKTRI 1. 2. 3. 4.

Ekskursio: Fourier'n muunnos Tehospektri Tehospektrin estimointi Keskineliön “laskeminen” tehospektristä

IV LINEAARISEN SYSTEEMIN STOKASTINEN VASTE 1. 2. 3. 4.

Ekskursio: Lineaarinen systeemi Analyysi aikatasossa Analyysi taajuustasossa Suotimet

111 harjoitustehtävää

109 Hakemisto

KIRJALLISUUTTA A UMALA , O. & IHALAINEN , H. & JOKINEN, H. & KORTELAINEN, J.: Mittaussignaalien käsittely. TTKK Opintomoniste 169 (-93) BENDAT & PIERSOL: Random Data: Analysis and Measurement Procedures. Wiley (–86) GARDNER, W.A.: Introduction to Random Processes with Applications t o Signals and Systems. McGraw-Hill (-90) LARSON & SHUBERT: Probabilistic Models in Engineering Sciences. Vols. I & II. Wiley (–89) M ELSA & SAGE: An Introduction to Probability and Stochastic Processes. Prentice–Hall (–73) P APOULIS: Probability, Random McGraw-Hill (-84)

Variables,

and

Stochastic

Processes.

PAPOULIS: Probability & Statistics. Prentice-Hall (-90) PEEBLES, P.Z.: Probability, Random Variables and Random Signal Principles. McGraw-Hill (-87) SCHUSS, Z.: Theory and Applications of Stochastic Differential Equations. Wiley (-80) VIRTANEN: Stokastiset prosessit rakenteiden mekaniikassa. TTKK Opintomoniste 53 (–80) W ONG: Introduction to Random Processes. Springer-Verlag (–83)

Esipuhe Käsillä oleva moniste TTKK:n matematiikan kurssin Stokastiset prosessit luentorunko. Moniste on tarkoitus täydentää luennoilla esimerkein sekä lisäyksin. Toisaalta se sisältää paljon aineistoa (todistuksia, kaavoja, jms.), joka voidaan luennoilla sivuuttaa. Mainittu kurssi on tarkoitettu tukemaan lähinnä signaalien käsittelyyn, stokastiseen säätöön sekä rakenteiden stokastiikkaan liittyviä kursseja. Itseopiskelijalle suositellaan monisteen ohella käytettäväksi jotain runsaasti esimerkkejä sisältävää kirjaa (esim. LARSON & SHUBERT tai PAPOULIS).

I

TODENNÄKÖISYYSLASKENNAN KERTAUSTA JA LISÄYSTÄ

1. Todennäköisyyskenttä Formaalisesti todennäköisyyskenttä on kolmikko (Ω,S ,P), jossa Ω on ns. perusjoukko eli otosavaruus, S on (eräistä) Ω:n osajoukoista muodostuva joukko (matemaattisesti sen on oltava struktuuriltaan ns. σ–algebra) ja P on ns. todennäköisyysfunktio, joka liittää kuhunkin S:n alkioon sen todennäköisyyden (luku väliltä [0,1] tai prosenttiluku väliltä [0%,100%]). Ω:n alkiot ovat ns. alkeistapaukset ja S:n alkiot ovat ns. tapauksia.

2. Satunnaismuuttuja ja satunnaisvektori Satunnaismuuttuja (s.m. lyhyesti) on funktio x, joka kuvaa alkeistapaukset reaaliluvuiksi.

Ω

x

A

Ä

x = x(A) Tällöin x:n pitää olla sellainen, että {A | x(A) ≤ α} = merk.lyh. {x ≤ α} on tapaus (eli S:n alkio) jokaiselle luvulle α. Vastaavasti n–ulotteinen satunnaisvektori on vektoriarvoinen funktio x, joka kuvaa alkeistapaukset n:n vektoreiksi.

Á

Ω

A

x

n

Ä

x (A)

Sopimus: Ellei toisin mainita, ovat vektorit pystyvektoreita ja lyhennysmerkintänä käytetään alaviivaa, siis 1

 x= 

x1 x2 . . . xn

 

α12  .  ..  αn α

,

α=

,

jne..

Edelleen x:n pitää olla sellainen, että {A | x1 (A) ≤ α 1 , … , xn (A) ≤ α n } =merk.lyh. {x ≤ α } on tapaus jokaiselle

Án:n vektorille α.

Huom! Jatkossa käytetään paljolti kurssin Matematiikka 4 merkintöjä. Tietyt muutokset ovat kuitenkin paikallaan, esimerkiksi p tiheysfunktion merkintänä f:n sijasta (stokastisten prosessien yhteydessä f merkitsee usein taajuutta), jne.. Jatkossa unohdetaan paljolti taustalla oleva todennäköisyyskenttä ja käytetään vain satunnaismuuttujia ja –vektoreita. Tällöin eräs perustyökalu on kertymäfunktio.

3. Kertymäfunktio Satunnaismuuttujan x kertymäfunktio (k.f.) on F x (α) = P{x ≤ α}. Vastaavasti satunnaisvektorin x kertymäfunktio on Fx (α 1 ,…,α n ) = P{x ≤ α } =merk.lyh. Fx ( α ) . Ominaisuuksia: 1 ) lim Fx(α) = merk.lyh. Fx(∞) = 1 α→∞

2 ) lim Fx(α) = merk.lyh. Fx(–∞) = 0 α→– ∞

2

3 ) lim Fx ( α ) = merk.lyh. lim Fx ( α ) =merk.lyh. Fx ( ∞ ) = 1 α →∞

α1 →∞ ˘˘˘

αn →∞

4 ) lim αk →–∞

Fx ( α ) = merk. Fx (α 1 ,…,α k–1,–∞,α k+1 ,…,α n ) = 0

(k = 1 ,…, n)

5 ) F x (α) on kasvava, ts. α ≤ β ⇒ F x (α) ≤ F x (β). Samoin Fx ( α ) on kasvava, ts. α ≤ β ⇒ Fx ( α ) ≤ Fx ( β ) . 6 ) F x (α) on oikealta jatkuva, ts. lim

α→β+

F x (α) =merk.lyh. F x (β+) = F x (β).

Samoin Fx ( α ) on ylhäältä jatkuva, ts. lim α1 →β1 +

Fx ( α ) = merk.lyh. lim Fx ( α ) =merk.lyh. Fx ( β +) = Fx ( β ) . α → β+

˘˘˘

αn →βn+

7 ) P{α < x ≤ β} = Fx (β) – Fx (α). Satunnaismuuttuja x on jatkuva, jos a ) Fx(α) on jatkuva α:n funktio ja b ) F x (α) on derivoituva paitsi mahdollisesti tietyssä äärellisessä tai numeroituvasti äärettömässä määrässä pisteitä. Jatkuvalle satunnaismuuttujalle x on P{x = α} = 0 jokaiselle luvulle α. S.m. x on diskreetti, jos Fx(α) on porrasfunktio, ts. jotain muodoista ∞

k

∑

∑

bis(α–β i) ,

i=1

i=1

1

∞

∑

bis(α–β i)

∑

tai

i=–∞

bis(α–β i)

bis(α–β i),

i=–∞

missä b i:t ovat lukuja väliltä (0, 1], β i:t eri reaalilukuja ja s(α) on yksikköaskelfunktio 1, kun α ≥ 0 s(α) =  .  0, kun α < 0 3

Fx ( α)

1

s( α ) α

β- 2

β- 1

β

0

β1

α

β2

(Tavallisesti β i:t indeksoidaan suuruusjärjestykseen, kuten yo. kuviossa.) Diskreetille satunnaismuuttujalle x on P{x = βi} = bi ja P{x = β} = 0 muissa pisteissä β. S.m. x on sekajakautunut, jos a ) Fx(α) on jatkuvan funktion ja porrasfunktion summa ja b ) F x (α) on derivoituva paitsi mahdollisesti tietyssä äärellisessä tai numeroituvasti äärettömässä määrässä pisteitä. Huom! Lisäksi on muitakin jakautumatyyppejä, joita tarvitaan hyvin harvoin. Vastaavanlaiset määritelmät voidaan esittää satunnaisvektoreille. Toinen satunnaismuuttujien ja –vektoreiden käsittelyn perustyökalu on tiheysfunktio. Ennen siihen menoa tehdään pieni

4. Ekskursio: Deltafunktio Deltafunktiota δ(α) käytetään seuraavassa formaalisessa merkinnässä: b

 f(0), jos 0 on integrointivälillä  f(α)δ(α)dα = ⌠ ⌡  0, muuten

.

a

Tässä oletetaan, että a ≤ b. Integrointiväli voi olla myös ääretön. Merkinnän etu on se, että integraalin sisään saadaan “tavaraa”, joka ei sinne normaalisti kuulu. Näin käsittely ja notaatio yksinkertaistuu ja yhte4

näistyy. Jotta deltafunktiomerkintä olisi käyttökelpoinen, sovitaan vielä, että b

b

b

1) ⌡ ⌠ ( f(α)δ(α) + g(α) ) dα = ⌡ ⌠ f(α)δ(α)dα + ⌡ ⌠ g(α)dα (yhteenlasku) a

a

a

b f(β), jos β on integrointivälillä  2) ⌠ ⌡ f(α)δ(α–β)dα = 0, muuten  a

b– β

= ⌠ ⌡

f(β+α)δ(α)dα (translaatio)

a–β a

b

3) ⌡ ⌠ f(α)δ(α)dα = –⌡ ⌠ f(α)δ(α)dα b

(a ≠ b; rajojen vaihto)

a

Huom! On melko ilmeistä, ettei mikään “tavallinen” funktio voi käydä yo. deltafunktioksi. Tässä kurssissa deltafunktio onkin vain merkinnällinen apuväline. (Matemaattisesti toki voidaan upottaa "tavalliset" funktiot laajempaan luokkaan, ns. yleistettyihin funktioihin, joihin myös deltafunktio kuuluu.) Ilmeisesti b

b

. ⌠ ⌡ δ(α)dα = s(b), ⌡ 1 δ(α)dα = merk. ⌠ –∞

–∞

joten deltafunktio on yksikköaskelfunktion formaalinen derivaatta. Sad moin s(α–β) = δ(α–β). dα Väite: Jos f(α) on (kylliksi) derivoituva, niin b

⌠ ⌡ f(α)δ(α–β)dα = a

b

b

/

f(α)s(α–β) - ⌡ ⌠

a

a

df(α) dα

s(α–β)dα

( osittaisintegrointi), kun β ≠ min(a,b). Todistus. Rajoitutaan tapaukseen, missä a < b ja β = 0 (muut samoin). Kolme tapausta: 1 ) 0 on integrointivälillä. Silloin a < 0 ja

5

b

o.p. = f(b) – ⌡ ⌠

df(α)

0

dα

dα = f(0) = v.p..

b

/

2 ) 0 < a. Silloin o.p. =

b

f(α) –/ f(α) = 0 = v.p..

a b

3 ) b < 0. Silloin o.p. =

/

a b

0–⌡ ⌠ 0 dα = 0 = v.p.. q

a

a

Jos β on integrointivälillä, niin b

⌠ ⌡ f(α)δ(α–β)dα = f(β), a

mutta β

b

⌠ ⌠ f(α)δ(α–β)dα = 2f(β). ⌡ f(α)δ(α–β)dα + ⌡ a

β

Kaava b

β

b

“ ⌡ ⌠ =⌡ ⌠ +⌡ ⌠ a

a

“

β

ei siis aina päde deltafunktiomerkinnälle. (Se pätee, jos β ei integroin-tivälillä tai f(β) = 0.) Tästä syystä määritelläänkin joskus b

1 ⌠ ⌡ δ(α)dα = 2 , a

jos a < b ja a = 0 tai b = 0. Silloin nimittäin ko. kaava pätee. Vastaavasti voidaan määritellä monen muuttujan deltafunktio δ(α ) .

6

ole

5. Tiheysfunktio Satunnaismuuttujan x tiheysfunktioksi (t.f.) p x (α), että px (α) ≥ 0 ja

sanotaan sellaista funktiota

β

⌠ ⌡ px (α)dα = Fx (β) –∞

jokaiselle luvulle β. Jatkuvalle satunnaismuuttujalle x valitaan yleensä p x (α) =

dF x (α) dα

pisteissä, joissa Fx(α) on derivoituva. Jos sallitaan deltafunktiomerkintä, saadaan myös diskreeteille (ja sekajakautuneille) satunnaismuuttujille t.f.. Esimerkiksi, jos k

F x (α) =

∑

bis(α–β i) ,

i=1

niin p x (α) =

dF x (α) dα

k

=

∑

k d bi s(α–β i) = ∑ biδ(α–β i). dα

i=1

i=1

Deltafunktioiden summaa käsitellään merkinnällisesti tavalliseen tapaan, vaikka summattavia olisi ääretönkin määrä, ts. integroinnin ja summauksen järjestys voidaan vaihtaa. Siis esimerkiksi, jos ∞

p x (α) =

∑

biδ(α–β i),

i=1

niin β

∞

β

⌠ ⌡ px (α)dα =

∑

–∞

i=1 –∞

⌠ biδ(α–β i)dα = ⌡

∞

∑

bis(β–β i) = Fx (β).

i=1

Sekajakautuneen satunnaismuuttujan t.f. on “tavallisen” funktion ja deltafunktioiden summa. Satunnaisvektorin x tiheysfunktioksi sanotaan sellaista funktiota px ( α ), et-tä p x ( α ) ≥ 0 ja 7

β1

β2

βn

⌠ ⌡ dα2 ⌡ dα1 ⌠ –∞

β

˘˘˘ ⌠ ⌡

–∞

px (α 1 ,…,α n )dα n = merk.lyh. ⌠ ⌡ px ( α ) dα = Fx ( β ) . –∞

–∞

Pisteissä, joissa osittaisderivaatat ovat olemassa, valitaan yleensä p x( α) =

∂ n F x (α 1 ,…,α n ) ∂αn˘˘˘∂α2∂α1

=merk.lyh.

∂nFx(α ) ∂α

.

Tällöin nimittäin (iterointi) β1

βn–1

⌠ ⌡ dα1

˘˘˘

–∞

βn

⌠ dαn–1 ⌡ ⌠ dαn ⌡ ∂αn∂αn–1˘˘˘∂α1

–∞

β1

∂n F x(α )

–∞

βn–1  βn

–∞

∂n–1Fx(α)    dαn–1 ⌠ ⌡  / ∂α n–1˘˘˘∂α1  –∞ –∞

β1

βn–1

= ⌡ ⌠ dα1 ˘˘˘

= ⌠ ⌡ dα1

 ∂n–1 ⌠ Fx (α 1 ,…,α n–1,β n ) ⌡  ∂α  n–1˘˘˘∂α1

˘˘˘

–∞

–∞

– β1

βn–1

= ⌡ ⌠ dα1

˘˘˘

–∞

 F (α ,…,α n–1,–∞) dαn–1 ∂αn–1˘˘˘∂α1 x 1  ∂n–1

∂n–1

⌠ Fx (α 1,…,α n–1,βn)dα n–1 ⌡ ∂αn–1˘˘˘∂α1

–∞

sama temppuβ1

=

˘˘˘

=

∂ ⌠ Fx (α 1,β 2,…,β n ) dα 1 ⌡ ∂α1

–∞ β1

=

/ Fx(α1,β2,…,βn) = Fx( β) – Fx(–∞,β2,…,βn) = Fx( β) .

–∞

Ominaisuuksia: 1 ) p x ( α ) ≥ 0, px (α) ≥ 0 ∞

∞

–∞

–∞

2) ⌠ ⌡ px ( α ) dα = 1, ⌠ ⌡ px (α)dα = 1 8

γ

⌠ px (α)dα 3 ) P{β < x ≤ γ} = Fx (γ) – Fx (β) = ⌡ β

4 ) p x ( α ) voi olla määrittelemätön joissakin pisteissä (mahdollisesti äärettömän monessa), kunhan P {α | px ( α ) on määrittelemätön} = 0. Erityisesti, jos x:llä on jatkuva jakauma, voidaan p x ( α ) jättää määrittelemättä äärellisessä tai numeroituvasti äärettömässä määrässä pisteitä. (Vastaava pätee tietysti erikoisesti satunnaismuuttujan tiheysfunktiolle.) 5 ) Vastaten ominaisuutta 3), voidaan osoittaa, että jokaiselle (mitalliselle) n:n osajoukolle

A

Á

P {x ∈

A } = ⌡⌠

A

px ( α ) dα

(integraali on n–kertainen).

6. Yhteisjakauma ja reunajakauma x

Satunnaisvektorin x =

 .1   ..  x n 

kertymäfunktion (vast. tiheysfunktion) sano-

taan olevan sen komponenttien x1,…,xn yhteisjakauman k.f. (vast. t.f.). Täs-tä syystä merkitään usein Fx ( α ) = Fx … x (α 1 ,…,α n ) 1 n ja p x ( α ) = px … x (α 1 ,…,α n ). 1 n x

 .1  Vastaavasti, jos merkitään y =  .  x.k 

ja z =

  

xk+1 . . . xn

  

, niin x:n kertymäfunk-

tion (vast. tiheysfunktion) sanotaan olevan y:n ja z:n yhteisjakauman k.f. (vast. t.f.), ja merkitään Fx ( α ) = Fyz( β ,γ) sekä 9

p x ( α ) = pyz( β ,γ) , missä

α.1    β= . . α k 

αk+1 .    . γ=  .   αn 

,

.

Jne.. (Idea tuli kai selväksi). x

 .1  Satunnaisvektorin x =  .  x.n

joistakin komponenteista muodostettu vekto-

ri on ilmeisesti myös satunnaisvektori. (Erityisesti x:n komponentit ovat  x1 satunnaismuuttujia.) Tarkastellaan esimerkkinä satunnaisvektoria  x   3 (olettaen, että n ≥ 3). Ilmeisesti F x x (α 1,α 3) = P{x1 ≤ α 1, x3 ≤ α 3} 1 3 = P{x1 ≤ α 1, x2 < ∞, x3 ≤ α 3, x4 < ∞ , … , xn < ∞} = lim

α2 →∞ α4 →∞

Fx ( α ) = Fx (α 1 ,∞,α 3 ,∞,…,∞).

˘˘˘

αn→∞

 x1  x  :n jakauma on (eräs) x:n jakauman ns. reunajakauma eli marginaalija 3 kauma ja sen k.f. saadaan Fx ( α ):sta raja–arvoilla α2→∞, α4→∞,…, αn→∞. Reunajakauman t.f. saadaan seuraavasti. Ominaisuuden 5) nojalla β1

∞

β3

–∞

–∞

∞

F x x (β1,β3) = ⌠ ⌡ dα1 ⌠ ⌡ dα2 ⌠ ⌡ dα3 ⌠ ⌡ dα4 1 3 –∞ β1

∞

˘˘˘ ⌠ ⌡

–∞

β3

∞ ∞  ⌠ dα ⌠ ⌠ dα = ⌡ 1⌡ ⌡ 2⌠ ⌡ dα4  –∞ –∞ –∞ –∞

–∞

 px ( α )dα n  dα3.   –∞ ∞

˘˘˘ ⌠ ⌡

Näin ollen reunajakauman t.f. on ∞

∞

–∞

–∞

p x x (α 1 ,α 3 ) = ⌡ ⌠ dα2 ⌡ ⌠ dα4 1 3 10

∞

˘˘˘ ⌡ ⌠

–∞

px ( α )dα n

px ( α )dα n ,

ts. se saadaan px ( α ):sta “integroimalla pois” α2,α4,…,αn (ns. reunakomponentit). Yleisesti, jos ajatellaan x:n jakaumaa y:n ja z:n jakaumien yhteisjakaumana, on Fy ( β ) = Fyz( β ,∞ ) ,

∞

py ( β ) = ⌠ ⌡ pyz( β ,γ) dγ. –∞

7. Ehdollinen jakauma Tarkastellaan satunnaisvektorin x jakaumaa yhteisjakaumana, ts. Fx ( α ) = Fyz( β ,γ). Usein kiinnostavat vain tietyt z:n arvot. Jos rajoitutaan vain sellaisiin perusjoukon alkioihin, että z saa tietyn kiinteän arvon γ, puhutaan y:n jakaumasta ehdolla z = γ. Ehdollinen k.f. on tällöin Fy |γ ( β |γ) = P{y ≤ β | z = γ} ja ehdollinen t.f. p y |γ ( β |γ) (merkintä). Jotta ehdollinen jakauma olisi olemassa, on pz( γ):n oltava määritelty ja > 0 (ts. ei saa ehdollistaa mahdottomalla tapauksella). Johdetaan p y |γ ( β |γ) jatkuvan x:n jakauman tapauksessa (olettaen, että p z( γ) > 0). Olkoon δ vektori, jonka komponentit ovat positiivisia ja jonka dimensio on sama kuin z:n. Silloin P {y ≤ β | γ ≤ z ≤ γ + δ} =

δk+1 .  δ=  .  .  δn  =

P{y ≤ β , γ ≤ z ≤ γ + δ} P {γ ≤ z ≤ γ + δ}

P{y ≤ β, γ ≤ z ≤ γ + δ} δk+1˘˘˘δn P {γ ≤ z ≤ γ + δ} δk+1˘˘˘δn

11

γ +δ

β  ⌠  dαk+1˘˘˘dαn p … (α ,…,α )dα ˘˘˘ dα x x 1 n 1 k n ⌡ 1  -∞ 

⌠ ⌡ γ

δk+1˘˘˘δn

=

γ +δ

⌠ pz(α k+1 ,…,α n )dα k+1 ˘˘˘dα n ⌡ γ

δk+1˘˘˘δn β

⌠ ⌡ p x (α 1,…,α k,γ)dα 1 ˘˘˘dα k

δ→0

→

–∞

= Fy |γ ( β |γ) ,

p z ( γ)

joten p y |γ ( β |γ) =

p yz (β ,γ)

.

p z ( γ)

Raja–arvo saadaan käyttäen osoittajassa ja nimittäjässä iteroiden tuttua kaavaa a+h

⌠ ⌡ f(x)dx lim h→0

a

h

= f(a).

8. Riippumattomuus Satunnaisvektorit x1,…,xm ovat riippumattomat, jos (1)

Fx 1…x m ( α 1,…,α m ) = Fx 1 ( α 1)˘˘˘Fx m ( α m )

(sanoin: x1:n,…,xm:n yhteisjakauman k.f. on x1:n,…,xm :n kertymäfunktioiden tulo). Ellei (1) pidä paikkaansa, ovat x1,…,xm riippuvat. Ehdon (1) kanssa ekvivalentti ehto on p x …x ( α 1,…,α m ) = px ( α 1 )˘˘˘p x ( α m ). 1 m 1 m Tämä seuraa välittömästi siitä, että β1

Fx 1…x m ( β 1,…,β m ) = ⌠ ⌡ dα 1 –∞

12

βm ˘˘˘

⌠ ⌡ px 1…x m ( α 1,…,α m )dα m

–∞

ja

β1

βm

Fx 1 ( β 1)˘˘˘Fx m ( β m ) = ⌠ ⌡ px 1 ( α 1 )dα 1

˘˘˘

–∞

iterointi β1

=

⌠ ⌡ dα 1

–∞

⌠ ⌡ px m ( α m ) dα m

–∞

βm ˘˘˘

⌠ ⌡ px 1 ( α 1 )˘˘˘p x m ( α m ) dα m .

–∞

9. Satunnaismuuttujien funktiot Satunnaismuuttujaa x ei aina tarvita sellaisenaan, vaan kuvattuna jollakin funktiolla f. Silloin myös y = f(x) on s.m. (edellyttäen, että f on mitallinen):

Ω

f

x

A

Ä

Ä

x = x(A)

y = f(x(A))

Pisteissä, joissa px(α) = 0, f voi olla määrittelemätön. Kuinka saadaan py(β), kun px(α) ja f tunnetaan? Katsotaan eri tapauksia: x on diskreetti: Tällöin px(α) on muotoa p x (α) =

∑

biδ(α–β i),

i

missä bi = P{x = β i }. Mahdolliset y:n arvot ovat arvot f(β i ) (muiden todennäköisyys on 0). Mikäli γj on mahdollinen y:n arvo, on P{y = γ j}

erill. tapaukset

=

∑

P{x = β k } =

∑

bk = merk. cj ,

missä summataan sellaiset bk:t, että f(βk) = γj. Näin ollen 13

∑

p y (γ) =

cjδ(γ–γ j).

j x on jatkuva: Rajoitutaan tässä tapaukseen, jossa f:n määrittelyalue voidaan jakaa väleihin Ii, joilla f on derivoituva ja joko aidosti kasvava, aidosti vähenevä tai vakioarvoinen. (Muitakin tapauksia on, mutta ne ovat harvinaisia.) Välejä I i on äärellinen tai numeroituvasti ääretön määrä, joten voimme olettaa ne avoimiksi ja jättää päätepisteet käsittelemättä. Nyt F y (β) = P{y ≤ β} = P{ f(x) ≤ β } erill. tapaukset

=

∑

P {f(x) ≤ β, x ∈ Ii} = merk.

i

∑

(i)

Fy (β )

i

ja p y (β) =

dF y (β) dβ

(i)

=

∑

dFy (β ) dβ

i

Riittää siis etsiä

(i) py (β)

=merk.

∑

(i)

py (β) .

i

:t. Kolme tapausta:

a) f on aidosti kasvava välillä I i , jonka alaraja on a ja yläraja b (mahdollisesti äärettömiä). Koska f on aidosti kasvava, ovat raja–arvot lim f(α) = merk. f(a+),

α→a+

lim f(α) = merk. f(b–)

α→b–

olemassa (ainakin äärettöminä). Ilmeisesti, jos β ≤ f(a+), niin (i)

Fy (β) = P{f(x) ≤ β, a < x < b} = P{f(x) ≤ β, f(a+) < f(x) < f(b–), a < x < b} = 0. Vastaavasti, jos β ≥ f(b–), niin (i)

Fy (β) = P{ f(x) ≤ β, f(a+) < f(x) < f(b–), a < x < b} = P{f(a+) < f(x) < f(–b), a < x < b} = vakio. Siis (derivoidaan) 14

(i)

py (β) = 0, jos β ≤ f(a+) tai β ≥ f(b–). Muussa tapauksessa f(a+) < β < f(b–) eli a < f –1 (β) < b (f–1 on olemassa välillä Ii) ja (i) Fy (β) = P{f(x) ≤ β, a < x < b} = P{x ≤ f–1 (β), a < x < b}

= P{a < x ≤ f–1 (β)} = Fx (f–1 (β)) – Fx (a). Derivoimalla saadaan (i) p y (β)

df –1 (β) d –1 –1 = F ( f (β)) = px ( f (β)) dβ x dβ = px ( f –1 (β))

1 f´ ( f –1 (β) )

.

Koska f´(α) > 0 välillä a < α < b, voidaan siis kirjoittaa (i) py (β)

=

p x ( f –1 (β) )

df –1 (β)  , jos f(a+) < β < f(b–).  dβ 

Itseisarvo on mukana mukavuussyistä (ks. b)–kohta). b) f on aidosti vähenevä välillä I i , jonka alaraja on a ja yläraja b (mahdollisesti äärettömiä). Jos β ≤ f(b–), niin (i)

Fy (β) = P{f(x) ≤ β, a < x < b} = P{f(x) ≤ β, f(b–) < f(x) < f(a+), a < x < b} = 0. Jos taas β ≥ f(a+), niin (i)

Fy (β) = P{f(x) ≤ β, f(b–) < f(x) < f(a+), a < x < b} = P{f(b–) < f(x) < f(a+), a < x < b} = vakio. Siis (i)

py (β) = 0, jos β ≤ f(b–) tai β ≥ f(a+). 15

Muussa tapauksessa f(b–) < β < f(a+) eli a < f –1 (β) < b (f–1 on olemassa välillä Ii) ja (i) Fy (β) = P{f(x) ≤ β, a < x < b} = P{x ≥ f–1 (β), a< x < b}

= P{f–1 (β) ≤ x < b}

erill. tap.

=

P {x = f–1 (β)} + P{f–1 (β) < x < b}

= P{f–1 (β) < x < b} + P{x = b}

erill. tap.

=

P {f–1(β) < x ≤ b}

= Fx (b) – Fx (f–1 (β)). Derivoidaan puolittain: (i)

p y (β) = –

df –1 (β) d 1 Fx ( f –1 (β)) = px ( f –1 (β)) = – px (f –1 (β)) . dβ f´ ( f –1 (β) ) dβ

Koska f´(x) < 0 välillä a < x < b, voidaan kirjoittaa (samoin kuin a)-kohdassa!) df –1 (β)  (i) py (β) = p x ( f –1 (β) )  , jos f(b–) < β < f(a+).  dβ 

c) f saa vakioarvon c välillä Ii. Silloin (i)

Fy (β) = P{ f(x) ≤ β, x ∈ Ii} = P{c ≤ β, x ∈ Ii} 0, jos β < c   = P{x ∈ Ii }s(β–c). =  P{x ∈ I i}, jos β ≥ c Jos merkitään pi = P{x ∈ Ii}, niin derivoiden saadaan (i)

py (β) = p i δ(β–c).

x on sekajakautunut: Yhdistetään diskreetin ja jatkuvan tapauksen menettelyt.

16

10. Satunnaisvektorien funktiot

Á

Á

Tarkastellaan ensin funktiota f: n → n. (Matemaattisesti kyseessä on oltava ns. mitallinen funktio.) Jos x on s.v., niin samoin on y = f( x) :

x

f

n

Ä

Ä

Ω

A

x(A)

n

y = f (x( A))

Pisteissä, joissa p x ( α ) = 0, f voi olla määrittelemätön. Tarkastellaan vain tapausta, jossa x on jatkuva. Edelleen rajoitutaan tapaukseen, jossa f:n määrittelyalue n:ssä voidaan jakaa osa-alueisiin i, joissa f on jatkuvasti derivoituva ja joko f saa vakioarvon tai f:n käänteisfunktio on olemassa ja sen Jacobin determinantti

A

Á

      

∂f1

∂f1

∂α1

∂α2

∂f2

∂f2

∂α1

∂α2

. . .

. . .

∂fn

∂fn

∂α1

∂α2

∂f1

˘˘˘

∂αn ∂f2

˘˘˘

∂αn . . . ∂fn

˘˘˘

∂αn

      

=merk. lyh. Df

f

on ≠ 0. Tässä merkitään f =

 .1   ..  f n 

. Koska myös Df on jatkuva alueessa

A i,

on se v.m. tapauksessa koko alueessa samanmerkkinen (sillä merkinvaihto käy aina nollan kautta). Jos Df on ≠ 0 alueessa

A i, on f–1 oletuksen mukaan olemassa ko. alueessa

1 ja Df–1 pisteessä β on Df Df–1 (β ) =

pisteessä f–1 (β ), ts. 1

Df( f–1 (β ) )

.

A

Huom! Jos f on vakioarvoinen alueessa i, on tietysti Df = 0 ko. alueessa. Df voi olla = 0 i:ssä muustakin syystä (ts. jos sen komponenteilla on

A

17

mutkikkaampi funktionaalinen riippuvuus). Nämä tapaukset sivuutetaan harvinaisina ja hankalina. Osa–alueita

Ai on äärellinen tai numeroituvasti ääretön määrä. Nyt Fy ( β ) = P{y ≤ β } = P{ f( x) ≤ β } erill. tap.

=

∑

P{f( x) ≤ β , x ∈

Ai} =merk. ∑

i

(i)

Fy ( β ) ,

i

josta derivoimalla puolittain saadaan

p y ( β) =

∂ n F y (β ) ∂β

=

∑

(i)

∂nFy (β )

=merk.

∂β

∑

(i)

py ( β ) .

i

i

Samaan tapaan kuin edellisessä pykälässä voidaan osoittaa, että a ) jos Df on ≠ 0 alueessa

Ai, niin A

(i)

py ( β ) = 0, jos β ei ole f( i):ssa ja 1

(i)

py ( β ) = px ( f–1 (β ))| D f–1( β ) | = px ( f–1 (β ) )

|Df( f–1( β) ) |

A

tässä f( i) tarkoittaa aluetta, joksi f kuvaa alueen

f

n

Ä

Ai f

b ) jos f saa vakioarvon c alueessa

, jos β ∈ f(

Ai:

n

Ä

A

f ( i)

Ai, niin

(i)

py ( β ) = p i δ( β – c ), missä pi = P { x ∈

Ai} ja deltafunktio on n–muuttujainen. 18

A i);

Edellä f:n määrittelyavaruuden ja kuva-avaruuden dimensio on sama (=n).

Á

f: n →

Jos funktio on muotoa

Ám, missä m < n,

menetellään seuraa-

vasti: Lisätään f:n komponentteihin f1,...,fm “loput” komponentit fm+1,..., fn mikäli mahdollista siten, että f

g=

 .1   ..  fn 

on edellä olevaa muotoa, etsitään satunnaisvektorin g ( x) t.f. ja siitä edelleen (reunajakauma) f( x ):n t.f.. Menettely onnistuu, jos f:n komponenttien välillä ei ole alunperin mitään mutkikasta funktionaalista riippuvuutta (vrt. huomautus s. 17). Lisättävien komponenttien fm+1,...,fn valinta ei ole yhdentekevä, vaan vaikuttaa ratkaisevasti käytännön laskujen vaikeuteen.

Á

Funktion f: n →

Ám, missä m > n,

tapaus on harvinainen ja hankala.

11. Odotusarvo Satunnaisvektorin x odotusarvo eli keskiarvo on vektori

e.1    E (x) = . . en missä

,

∞

ei =⌡ ⌠ α ip x ( α ) dα

(i=1,..., n).

-∞

Lyhyesti merkitään

∞

E (x) = ⌠ ⌡ α p x ( α ) dα . -∞

( Sääntö: Vektoriarvoinen funktio integroidaan komponenteittain). Muita odotusarvon merkintöjä: E (x) = µ x = m(x) .

19

Satunnaismuuttujalle x on

∞

⌠ αp x (α)dα. E(x) = µ x = m(x) = ⌡ -∞

Huom! Kaikille jakaumille E(x) ei ole lainkaan olemassa. Esimerkiksi, jos 1 π(1 + α 2 )

p x (α) =

(ns. Cauchyn jakauma), niin ∞ ∞ αdα ⌠ αp (α)dα = ⌠ x ⌡ ⌡ π(1 + α 2 )

-∞

-∞

hajaantuu. Diskreetille satunnaismuuttujalle x t.f. on muotoa p x (α) =

∑

biδ(α–β i)

i

ja ∞

∑

-∞

i

E(x) = ⌠ ⌡ αp x (α)dα =

∞

⌠ ⌡ biαδ(α–β i)dα = -∞

∑

bi β i

i

(jos summa on äärellinen tai ääretön suppeneva). LAUSE 1. Jos satunnaisvektorin x jakauma on jatkuva ja pisteen a suhteen symmetrinen, ts. p x ( a+ α ) = px ( a–α ) niin E(x) = a (mikäli olemassa). Todistus. Oletetaan, että E(x) on olemassa. Silloin ∞

∞

-∞ ∞

-∞ ∞

-∞

∞

-∞ ∞

∞

-∞

-∞

-∞

E (x) = ⌠ ⌡ α p x ( α ) dα = ⌠ ⌡ (a + α – a) px ( α ) dα =⌠ ⌡ ap x ( α ) dα + ⌠ ⌡ (α – a) px ( α ) dα = a⌡ ⌠ p x ( α ) dα + ⌡ ⌠ (α – a) px ( α ) dα = a + ⌡ ⌠ (α - a) px ( α ) dα . 20

Tehdään integraaliin muunnos β = α – a. Integrointialue on edelleen koko n ja muunnoksen Jacobin determinantti on

Á

 0 .  ..

1 0 1 . . . 0 0

0 0 . . . 1

˘˘˘ ˘˘˘

˘˘˘

Siis

 

= 1.

∞

E (x) = a + ⌡ ⌠ β p x ( a+ β ) . 1 dβ

symm.

=

-∞

∞

a +⌡ ⌠ β p x ( a–β ) dβ . -∞

Tehdään integraaliin muunnos γ = a – β , joka säilyttää integrointialueen n:nä ja jonka Jacobin determinantti on

Á

 

–1 0 0 –1 . . . . . . 0 0

Saadaan

˘˘˘ ˘˘˘

˘˘˘

 

0 0 . . . –1

= (–1)n .

∞

E (x) = a + ⌠ ⌡ (a – γ) px ( γ) | (–1) n | d γ -∞ ∞

∞

-∞

-∞

= a +⌠ ⌡ ap x ( γ) dγ – ⌠ ⌡ γp x ( γ) dγ = 2a – E(x). ❑

LAUSE 2. Jos x on satunnaisvektori ja f (mitallinen) funktio, niin ∞

E ( f( x ) ) = ⌠ ⌡ f( α ) px ( α ) dα -∞

ja kaavan v.p. on olemassa täsmälleen silloin kun sen o.p. on olemassa, (Huom! Jos px ( α ) = 0, voi f( α ) olla määrittelemätön.) Todistus. Näytetään tulos vain tapauksessa, jossa x on s.m. ja f skalaariarvoinen. (Yleisen tapauksen todistus on samantapainen, mutta huomattavasti hankalampi.) Merkitään y = f(x).

21

1) x on diskreetti. Tällöin p x (α) =∑ biδ(α–β i) i

ja p y (γ) =∑ cj δ(γ–γ j ) i

(ks. §9). Nyt s. 20

=

E(y)

∑

c jγ j

s. 13

=

j

  ∑ ∑ b k   j  ∞

∑

=∑ bif(β i) = i ∞

γj

⌠ ⌡ bif(α)δ(α–β i)dα -∞

i

   =⌠ f(α)δ(α–β ) b i  dα ⌡ ∑ i   -∞  i  ∞

=⌡ ⌠ -∞

  f(α) ∑ b iδ(α–β i)   i 

∞

dα = ⌡ ⌠ f(α)p x (α)dα. -∞

2) x on jatkuva. Rajoitutaan tapaukseen, jonkalaista käsiteltiin §9:ssä. Nyt ∞

E(y) = ⌡ ⌠ βp y (β)dβ

s. 14 ∞

  (i) = ⌡ ⌠ β  ∑ py (β )  dβ   -∞  i 

-∞

=

∑ i

∞

(i)

⌠ ⌡ βpy (β) dβ. -∞

Kolme tapausta: a) f on välillä Ii = (a,b) aidosti kasvava. Silloin ∞

⌠ ⌡ -∞

(i) βpy (β)

s. 15 f(b–)

=

dβ

f(a+) f(b–) s. 15

=

(i)

⌠ ⌡

⌠ ⌡

βpy (β) dβ βp x (f–1 (β))

f(a+) –1 α=f (β) b

=

β=f(α)

df –1 (β) dβ

dβ

⌠ f(α)p x (α)dα = merk. ⌡ ⌠ f(α)p x (α)dα. ⌡ a

22

Ii

b) f on aidosti vähenevä välillä Ii = (a,b). Silloin ∞

(i)

⌠ ⌡ βpy (β) dβ

s. 15 f(a+)

=

⌠ ⌡

-∞ s. 16

=

(i)

βpy (β) dβ

f(b–) f(a+)

– ⌠ ⌡

βp x ( f –1 (β))

f(b–) α=f–1(β)

=

β=f(α)

df –1 (β) dβ

dβ

a

–⌡ ⌠ f(α)p x (α)dα b

b

=⌡ ⌠ f(α)p x (α)dα = merk. ⌡ ⌠ f(α)p x (α)dα. a

Ii

c) f saa vakioarvon c välillä Ii = (a,b). Silloin ∞

s. 16 ∞

(i)

⌠ ⌡ βpy (β) dβ

= ⌠ ⌡ βp iδ(β–c)dβ = cpi

-∞

-∞

= cP{x ∈ Ii} = cP{a < x < b} = cP{a < x < b} + cP{x = b} = c( P{a < x < b} + P{x = b}) erill.tap.

=

b

cP{a < x ≤ b} = c⌡ ⌠ px (α)dα a

b

b

=⌡ ⌠ cpx (α)dα =⌡ ⌠ f(α)p x (α)dα = merk. ⌡ ⌠ f(α)p x (α)dα a

a

Ii

Kaiken kaikkiaan E(y) =

∑ ⌡⌠ i

f(α)p x (α)dα.

Ii

Koska f voi olla määrittelemätön vain pisteissä α, joissa px(α) = 0, on ∞

E(y) = ⌠ ⌡ f(α)p x (α)dα. -∞

3) x on sekajakautunut. Yhdistetään tapauksien 1) ja 2) menettelyt. ❑ 23

LAUSE 3. Jos x:n jakauma on satunnaisvektorien x1,...,xm yhteisjakauma ja

x=

 x.1  . . xm 

,

niin E (x) on olemassa täsmälleen silloin, kun kaikki odotusarvot E (x1 ),... ,E(xm) ovat olemassa ja tällöin

E (x) =

 E(x. 1 )   .   .   E (xm ) 

.

Todistus. Jaetaan α samalla tavoin osiin kuin x:

α=

 α.1  . .  αm 

.

Silloin ∞

∞

⌠ ⌡ α p x ( α ) dα = –∞

 ⌠⌡ α1px(α )dα   –∞  .   . ∞ .   ⌡⌠ αmpx( α) dα –∞   ⌠⌡ α1  ⌠⌡ dα2  -∞ -∞   ∞ ∞  ⌠⌡ αm  ⌠⌡ dα1 -∞ -∞ ∞

=

∞

   . .  .  ∞    ⌠ p ( α ) d α m–1 dα m ⌡ x    -∞

˘˘˘

24

 px(α )dα m  dα 1   -∞ ∞

˘˘˘ ⌠ ⌡

∞

reunajak.

=

 ⌠⌡ α1px1(α1)dα1   -∞  .   . . ∞   ⌡⌠ αmpxm (αm ) dαm -∞ 

,

josta lause seuraa. ❑ Satunnaismuuttujan x sanotaan olevan vakio c, jos p x (α) = δ(α–c). Satunnaisvektori x on vakiovektori c , jos sen komponentit x1,...,xn ovat vakiot c1 ,...,cn (c :n komponentit). LAUSE 4. Jos x on vakiovektori c , niin E(x) = c , merkitään E (c ) = c . Todistus. Lauseen 3 nojalla riittää osoittaa tulos x:n komponenteille ja ∞

∞

⌠ α i p x i (α i )dα i = ⌡ ⌠ α iδ(α i–c i)dα i = ci ⌡ -∞

(i = 1,...,n).

❑

-∞

LAUSE 5. Odotusarvo on lineaarinen, ts. 1 ) jos c on vakio ja E(x) olemassa, niin E(cx) on olemassa ja E ( cx) = cE(x) ; 2 ) jos x ja y ovat samandimensioiset satunnaisvektorit, joilla on yhteisjakauma, ja E (x) sekä E (y) ovat olemassa, niin E (x + y) on myös olemassa ja E (x + y) = E(x) + E(y) .

25

Todistus. 1) Ilmeisesti ∞

∞

-∞

-∞

⌠ ⌡ cα p x ( α ) dα = c ⌠ ⌡ α p x ( α ) dα = E(x) , joten (Lause 2) E(cx) on olemassa ja on = cE(x) . 2) Ilmeisesti ∞

∞

-∞

-∞

⌠ dα ⌡ ⌠ (α + β ) p x y( α ,β ) dβ ⌡ ∞

∞

∞

∞

-∞

-∞

-∞

-∞

= ⌠ ⌡ dα ⌠ ⌡ α p x y( α ,β ) dα + ⌠ ⌡ dα ⌠ ⌡ β p x y( α ,β ) dβ L3

=

E(x) + E(y) ,

joten (Lause 2) E(x+ y) on olemassa ja on = E(x) + E(y). ❑

L AUSE 6. Jos A on m×n–matriisi ja x s.v., jonka odotusarvo E (x) on olemassa, niin E(Ax) on myös olemassa ja E(A x) = AE (x) . Todistus. Ilmeisesti ∞

∞

-∞

-∞

⌠ ⌡ Aα p x ( α ) dα = A ⌠ ⌡ α p x ( α ) dα = AE(x ), joten (Lause 2) E(A x) on olemassa ja on = AE(x). ❑

12. Satunnaismatriisi ja sen odotusarvo Satunnaismuuttujista voidaan muodostaa satunnaisvektorien lisäksi myös satunnaismatriiseja eli satunnaistaulukoita. Käsitteenä satunnaismatriisi on olennaisesti sama kuin satunnaisvektori (sen alkiot voitaisiin myös järjestää pystyvektoriksi).

26

Jos X on nÆm–satunnaismatriisi

 x11 21  . X=  ..  xn1 x

˘˘˘ ˘˘˘

˘˘˘

x1m x2m . . . x nm

   

,

on sen odotusarvo

 E(x11 )  .21  ..  E(xn1) E(x

)

˘˘˘ ˘˘˘

˘˘˘

E(x 1m ) E(x 2m ) . . . E(x nm )

   

= merk. lyh. E(X),

mikäli kaikki odotusarvot E(x ij ) ovat olemassa. Määritelmä on sopusoinnussa edellisen kanssa, sillä myös satunnaisvektorin odotusarvo voidaan muodostaa komponenteittain (Lause 3). Käyttäen edellisen pykälän tuloksia voidaan helposti todistaa seuraavat laskukaavat: (1)

E(A) = A, jos A on vakiomatriisi.

(2)

E(cX) = cE(X), jos c on skalaarivakio.

(3)

E(AX) = AE(X), jos A on vakiomatriisi.

(4)

E(XB) = E(X)B, jos B on vakiomatriisi.

(5)

E(X + Y) = E(X) + E(Y)

(6)

E(X T ) = E(X) T

(7)

trace E(X) = E(trace X)

(Näihin pitäisi lisätä vielä olemassaoloa koskevat toteamukset. Lienevät kuitenkin aika ilmeisiä.)

27

13. Keskineliö ja varianssi Satunnaismuuttujan x keskineliö on ∞

2 ⌠ ⌡ α p x (α)dα

L2

=

E(x2) =merk. Px,

-∞

mikäli olemassa. Jos E(x) = µx on olemassa, niin x:n varianssi on ∞

L2

⌠ ⌡ (α – µ x ) 2 p x (α)dα

=

E ((x – µx)2) =merk. Vx,

-∞

mikäli olemassa. Muita x:n varianssin merkintöjä ovat mm. 2

2

Dx , var(x), σ x . Jos Vx on olemassa, niin x:n keskihajonta on Vx =merk. σx = Dx. Diskreetin satunnaismuuttujan x t.f. on muotoa p x (α) =

∑

biδ(α–β i),

i

jolloin Px =

∑

2

bi β i

i

ja Vx =

∑

bi(β i – µ x )2 ,

i

mikäli olemassa (vrt. s. 20.) LAUSE 7. Jos Px on olemassa, niin 1 ) myös µx on olemassa, 2

2 ) myös Vx on olemassa ja V x = Px – µ x . Todistus. 1) Katsotaan ensin diskreetin x:n tapausta, jolloin t.f. on muotoa

28

p x (α) =

∑

biδ(α–β i).

i

Mikäli summaus on äärellinen (ts. mahdollisia x:n arvoja on vain äärellinen määrä), on asia selvä, sillä µx on joka tapauksessa olemassa. Jos taas summaus on ääretön, saadaan ääretön sarja. Sarja suppenee itseisesti, sillä

∑

bi = 1

ja

i

2

∑

b i β i = Px

i

suppenevat, jolloin myös sarja 2

∑ ( b i + bi β i ) i

suppenee, ja 2

|b iβi| = bi|βi| ≤ bi + biβ i (majoranttiperiaate). Siis myös sarja

∑

bi β i = µ x

i

suppenee. Todistus tapauksessa, jossa x on jatkuva, on samantapainen. Integraalit ∞

⌠ ⌡ px (α)dα = 1 -∞

∞

∞

ja

⌠ ⌡ α 2 p x (α)dα = Px -∞

suppenevat, joten myös ⌠ ⌡ (1 + α 2) px(α)dα suppenee. Toisaalta -∞

|αp x (α)| = |α|p x (α) ≤ ( 1 + α 2 ) p x (α), ∞

joten ⌠ ⌡ αp x(α)dα suppenee itseisesti ja siis myös “tavallisesti”. -∞

Sekajakauman tapaus on yhdistelmä edellisistä. 2) Jos Px on olemassa, niin samoin on µx (kohta 1)). Silloin 2 L4

2

Px – µ x = E(x2 ) – 2µ xE(x) + µ x

29

=

2

E(x2) – 2µ xE(x) + E(µ x )

L5

=

2

E(x2) + E(–2µ xx) + E(µ x )

L5

2

=

E(x2 – 2µxx + µ x ) kahdesti

= E( (x – µ x )2 ) . ❑

Huomaa myös kaava Vx = Px–µ . x Huom! Px ei ole aina olemassa, vaikka µx olisikin. Esimerkiksi jos 2/α3, kun α ≥ 1 p x (α) =  ,  0, kun α < 1 ∞

∞

∞ ∞ 2 2  2 ⌠ 2 dα hajaanα2 3 dα =⌡ niin E(x) =⌡ ⌠ α 3 dα =/  –  = 2, mutta ⌠ ⌡ α α α α 1  1 1 1 tuu. Myöskään Vx ei ole tällöin olemassa (muutoinhan P x saataisiin kaavas2

ta Px = Vx + µ x ). Satunnaisvektorin x keskineliö on nÆn–satunnaismatriisin x xT odotusarvo E (x xT ) = merk. Px (jos olemassa). Kun sovitaan, että matriisi integroidaan alkioittain, voidaan kirjoittaa ∞

P x = E(x

xT )

=⌠ ⌡ α α T p x ( α ) dα . -∞

Huomaa, että x xT ja α α T ovat muotoa pystyvektoriÆvaakavektori, siis nÆnmatriiseja. Alkioittain: ( x xT ) ij = xi x j = (x xT ) ji , ( α α T ) ij = α i α j = (α α T ) j i ja

( E (x xT ) ) ij = E(xi x j ) = ( E (x xT ) ) ji . Matriisit x xT , α α T ja E(x xT) ovat siis symmetrisiä ja 2

( E (x xT ) ) ii = E( x i ) = Px i, ts. Px :n lävistäjäalkiot ovat x:n komponenttien keskineliöt. Edelleen

30

2

2

trace Px = Px1 +˘˘˘+ Pxn = E(x 1 +˘˘˘+ x n ) = E(trace(x xT )) = E( · x · 2 ) , ts. Px :n jälki on x:n normin keskineliö. Jos E(x) = µ x on olemassa, niin satunnaisvektorin x varianssi on satunnaismatriisin (x – µx ) (x – µx )T odotusarvo E ( ( x – µx ) (x –

µx ) T )

∞

= ⌠ ⌡ (α – µx ) (α – µx ) T p x ( α ) dα = merk. Vx , -∞

mikäli olemassa. Ilmeisesti V x = Px –µx . Varianssi on symmetrinen nÆn-matriisi. V x :n lävistäjäalkiot ovat x:n komponenttien varianssit. Edelleen trace Vx = E( trace ( (x – µx ) (x – µx ) T ) ) = E(·x – µx ·2) = Vx1 +˘˘˘+ Vxn .

LAUSE 8. Jos Px on olemassa, niin 1 ) myös µx on olemassa, 2 ) myös Vx on olemassa ja Vx = Px – µx µx T . Todistus. 1) Jos P x on olemassa, niin erityisesti lävistäjäalkiot P x1,...,Pxn ovat olemassa ja siis myös µx1,...,µxn (Lause 7). Näin ollen edelleen

 x. 1  . = .   µ

µx

µx

n

on olemassa (Lause 3). 2) Jos Px on olemassa, niin samoin on µx (kohta 1)) ja (ks. s. 27) T T P x – µx µx = E(x xT ) – 2µ x E (x) T + µ x µx

31

(1)

=

T E(x xT ) – 2µ x E (x)T + E( µ x µx )

(6)

T E(x xT ) – 2µ x E (xT ) + E( µ x µx )

(3)

T E(x xT ) + E(–2µ x xT ) + E( µ x µx )

= =

(5)

=

T

kahdesti

E(x xT – 2µx xT + µ x µx ) T

= E( (x – µx ) (xT – µx )) = E( (x – µx ) (x – µx ) T ) . ❑

L AUSE 9. Px ja Vx ovat positiivisemidefiniittejä matriiseja. Todistus. Tarkastellaan Px :ää (Vx samoin). Näytetään, että mielivaltaiselle vektorille c c T P x c ≥ 0. Ensiksi c T P x c = c T E (x xT ) c s. 27

=

E(c T x xT c ) = E( ( c ˘x) 2 ) .

Toisaalta ( c ˘x) 2 on s.m., jonka t.f. on = 0 negatiivisille arvoille, joten sen odotusarvo on ≥ 0. ❑ Huom! Usein Vx :ää kutsutaan kovarianssimatriisiksi, ks. s. 34. TSEBYSHEVIN EPÄYHTÄLÖ. Jos ε > 0, niin P { · x – µx · ≥ ε } ≤

trace Vx . ε2

Todistus. Lasketaan ja arvioidaan: s. 9

⌠ ⌡

P { · x – µ x· ≥ ε} =

5)

·

px ( α ) dα

α –µx· ≥ ε

32

1 = 2 ε

·

α –µx· ≥ ε ∞

1 ≤ 2⌠ ε ⌡

-∞

1 = 2 ε

1 ε2px ( α ) dα ≤ 2 ε

⌠ ⌡

·α

⌠ ⌡ ·

·α –µx ·2px ( α ) dα

α –µx· ≥ ε

1 – µx ·2px ( α ) dα = 2 E(·x – µx ·2) ε

trace Vx . ❑

Satunnaismuuttujalle Tsebyshevin epäyhtälö on Vx P{|x – µx| ≥ ε} ≤ 2 ε ja sen todistus diskreetille ja sekajakautuneelle satunnaismuuttujalle on analoginen eo. todistuksen kanssa.

14. Kovarianssi. Korrelointi. Ortogonaalisuus Satunnaismuuttujien x ja y ns. tulomomentti on ∞

∞

–∞

–∞

L2

⌠ dα ⌠ ⌡ ⌡ αβpxy(α,β)dβ = E(xy) =merk. Pxy (mikäli olemassa). Tulomomentti esiintyy jo satunnaisvektorin x keskineliössä: ( Px ) ij = E(xi x j ) = Px x i j (ks. s. 30). (Sovitaan, että Pxx = Px .) Jos E(x) = µ x ja E(y) = µ y ovat olemassa, satunnaismuuttujien x ja y kovarianssi on ∞

∞

–∞

–∞

⌠ ⌡ dα ⌠ ⌡ (α – µ x )(β – µ y ) p xy (α,β)dβ L2

=

E ((x – µ x )(y – µ y )) = merk. cov(x,y) = Vxy

(mikäli olemassa). Huom! cov(x,y) = Px–µx,y–µy. 33

LAUSE 10. Jos P x ja P y ovat olemassa, niin samoin on P xy . Vastaavasti, jos Vx ja Vy ovat olemassa, niin samoin on cov(x,y). Todistus. Epäyhtälöstä α2 + β2 – 2|αβ| = (|α| – |β|)2 ≥ 0 seuraa, että 1

1

|αβ| ≤ 2 α2 + 2 β2. Koska integraali ∞

∞

–∞

–∞

1

1

1

1

⌠ ⌡ dα ⌠ ⌡ ( 2 α2 + 2 β 2 ) p xy(α,β)dβ = 2 Px + 2 Py suppenee, on se integraalin ∞

∞

–∞

–∞

⌠ ⌡ dα ⌠ ⌡ |αβ|p xy(α,β)dβ majorantti ja jälkimmäinenkin integraali suppenee. Pxy:n määrittelevä integraali suppenee siis itseisesti ja näin ollen myös “tavallisesti”. cov(x,y):lle todistus on analoginen. ❑ SEURAUS. 1) Jos Px ,…,Px ovat olemassa, niin samoin on Px . 1 n 2) Jos Vx1,…,Vxn ovat olemassa, niin samoin on Vx . ❑ Huom! Satunnaisvektorin x varianssin V x alkiot ovat x:n komponenttien kovariansseja: ( Vx ) ij = cov(xi ,x j ) (ks. s. 32). Juuri tästä syystä satunnaisvektorin varianssia kutsutaan usein sen kovarianssimatriisiksi. Sopimus: cov(x,x) = Vx . Satunnaisvektorien x ja y (eivät välttämättä samandimensioisia) tulomomentti on satunnaismatriisin x yT odotusarvo E (x

yT )

∞

∞

–∞

–∞

=⌠ ⌡ dα ⌠ ⌡ α β T p x y( α ,β ) dβ = merk. Px y ,

mikäli olemassa. Huomaa, että jos x on n–ulotteinen ja y on m–ulotteinen, niin x yT , α β T ja Px y ovat nÆm–matriiseja. Alkioittain: 34

( x yT ) ij = xi y j ,

(α β T ) ij = α i β j

ja ( Px y) ij = E(xi y j ) = Px y . i j Sovitaan, että Pxx = Px . Jos E (x) = µx ja E (y) = µy ovat olemassa, niin x:n ja y:n kovarianssi on satunnaismatriisin (x – µx ) (y – µy )T odotusarvo E ( ( x – µx ) (y – µy ) T ) ∞

∞

–∞

–∞

=⌠ ⌡ dα ⌠ ⌡ (α – µx ) (β – µy ) T p x y( α ,β )dβ = merk. cov(x,y) = Vx y,

jos olemassa. cov(x,y) on nÆm–matriisi, jonka (ij)–alkio on

( cov(x,y) ) ij = cov(xi,y j). Ilmeisesti cov(x,y) = Px –µ ,y –µ . x y LAUSE 11. Jos P x ja P y ovat olemassa, niin samoin on P x y. Vastaavasti, jos V x ja Vy ovat olemassa, niin samoin on cov(x,y) . Todistus. Seuraa suoraan Lauseesta 10. ❑ T

L AUSE 12. 1) Px y = Py x ja cov(x,y) T = cov(y,x) . 2) Jos x ja y ovat samandimensioiset, niin trace Px y = E(x˘y) = trace Py x ja trace cov(x,y) = E( ( x – µx ) ˘ ( y – µy )) = trace cov(y,x) . Todistus. Tarkastellaan vain tulomomenttia (kovarianssi vastaavasti). T

1) Px y = E(x yT ) T = E( ( x yT ) T ) = E(y xT ) = Py x 2) Yleisesti trace(AB) = trace(BA), jos AB ja BA ovat neliömatriiseja, joten trace Px y = trace E(x yT ) = E( trace(x yT ) ) = E(trace(yT x) ) = E( trace(y˘x) ) = E(x˘y). ❑

35

SCHWARZIN EPÄYHTÄLÖ. Jos x ja y ovat samandimensioiset ja P x ja P y ovat olemassa, niin

(trace Px y)2 ≤ (trace Px)(trace Py ) . Vastaavasti, jos Vx ja Vy ovat olemassa, niin

(trace cov(x,y))2 ≤ (trace Vx)(traceVy ) . Huom! Lauseen 12 ja sivulla 31 olevien kaavojen mukaan saadaan toinen esitysmuoto Schwarzin epäyhtälölle:

( E (x˘y))2 ≤ E (·x·2)E (·y·2) ja vastaavasti

( E ( ( x – µx) ˘ ( y – µy )))2 ≤ E (· x – µx·2)E (·y – µy ·2). Todistus. Tarkastellaan vain tulomomenttia (kovarianssi vastaavasti). Jos P x ja Py ovat olemassa, niin samoin ovat E (·x·2) = Px1 +˘˘˘+ Pxn , E (·y·2 ) = Py +˘˘˘+ Py 1 n ja E (x˘y) = Px1y1 +˘˘˘+ Pxnyn

(Lause 10).

Jokaiselle luvun λ arvolle on näin ollen E (·x·2 ) - 2λE(x˘y) + λ 2 E (· y·2) = E(x˘x) - 2λE (x˘y) + λ 2 E (y˘y) L5

= E(x˘x – 2λx˘y + λ2y˘y) = E( ( x – λy) ˘ ( x – λy) ) = E( · x – λy·2)

myös olemassa ja lisäksi ≥ 0 (sillä satunnaismuuttujan ·x – λ y·2 t.f. on = 0 muuttujan negatiivisilla arvoilla). Siis diskriminantti on ≤ 0, ts.

( –2E(x˘y))2 – 4E(·x·2)E (·y·2 ) ≤ 0. ❑

36

Satunnaismuuttujille x ja y Schwarzin epäyhtälö on 2

P xy ≤ P x P y ja vastaavasti cov(x,y) 2 ≤ V x V y .

LAUSE 13. Jos Px y, µx ja µy ovat olemassa, niin myös cov(x,y) on olemassa ja T

cov(x,y) = Px y – µy µy . Todistus. Ks. s. 27: T T T P x y – µx µy = E(x yT ) – µ x E (y) T – E(x)µ y + µx µy (1)

T

T

=

E(x yT ) – µ x E (y) T – E(x)µ y + E(µx µy )

(6)

T T E(x yT ) – µ x E (yT ) – E(x)µ y + E(µx µy )

(3)

T T E(x yT ) + E(–µ x yT ) – E(x)µ y + E(µx µy )

(2)

T T E(x yT ) + E(–µ x yT ) + E( – xµy ) + E(µx µy )

= = =

(4) (5)

=

T T E(x yT – µx yT – xµy + µx µy ) T

= E((x – µx ) (yT – µy )) = E((x – µx ) (y – µy ) T ) = cov(x,y). ❑

Satunnaisvektorit x ja y ovat korreloimattomat, jos E (x), E (y) ja P x y ovat olemassa ja cov(x,y) = O (nollamatriisi) eli P x y = E(x) E (y) T (ks. Lause 13). Muussa tapauksessa x ja y korreloivat (tai E (x), E (y) ja P x y eivät kaikki ole olemassa).

37

LAUSE 14. Jos x ja y ovat riippumattomat, niin ne ovat myös korreloimattomat, mikäli E(x), E(y) ja Px y ovat olemassa. Todistus. Jos x ja y ovat riippumattomat, niin (ks. §8) p x y( α ,β ) = px ( α ) py ( β ) . Jos taas E(x), E(y) ja Px y ovat olemassa, on ∞

∞

–∞

–∞

Px y = ⌠ ⌡ dα ⌠ ⌡ α β T p x y( α ,β ) dβ riippum. ∞

∞

–∞

–∞

=

⌠ dα ⌡ ⌠ α β T p x ( α ) py ( β ) dβ ⌡

∞

∞

–∞

–∞

=⌠ ⌡ dα ⌠ ⌡ ( α p x ( α ) ) (β p y ( β ) ) T d β

iter.

=

∞

∞

–∞

–∞

⌠ α p x ( α ) dα ⌡ ⌠ β T p y ( β ) dβ = E(x) E (y) T . ❑ ⌡

LAUSE 15. 1) Jos x ja y ovat samandimensioiset ja Px sekä Py ovat olemassa, niin Px +y on myös olemassa ja P x +y = Px + Py + Px y + Py x .

2) Vastaavasti, jos x ja y ovat samandimensioiset ja V x sekä V y ovat olemassa, niin Vx +y on myös olemassa ja V x +y = Vx + Vy + cov(x,y) + cov(y,x) .

Todistus. 1) Jos Px ja Py ovat olemassa, niin samoin ovat P x y ja P y x (Lause 11). Silloin P x + Py + Px y + Py x = E(x xT ) + E(y yT ) + E(x yT ) + E(y xT ) = E(x xT + x yT + y xT + y yT ) = E( ( x + y) (xT + yT ) ) = E( ( x + y) (x + y) T ) = Px +y . 2) Kuten 1). ❑ 38

SEURAUS. Jos x ja y ovat samandimensioiset ja korreloimattomat (erityisesti riippumattomat) ja Vx sekä Vy ovat olemassa, niin myös V x +y on olemassa ja V x +y = Vx + Vy . ❑ Samandimensioiset satunnaisvektorit x ja y ovat ortogonaaliset eli kohtisuorassa toisiaan vastaan, jos E(x˘y) = 0, merkitään x ⊥ y. LAUSE 16. Jos x ja y ovat samandimensioiset korreloimattomat satunnaisvektorit ja E(x) ⊥ E(y), niin x ⊥ y. L12

Todistus.

E (x˘y)

=

korreloim.

trace Px y

=

trace (E(x) E (y) T )

=* trace( E(y) T E (x) ) = E(y) T E (x) = E(x) ˘ E (y) = 0. ❑

15. Toisen kertaluvun stokastiikka Toisen kertaluvun stokastiikalla tarkoitetaan todennäköisyyslaskennan ja tilastomatematiikan menetelmiä, joissa käytetään satunnaismuuttujista ja –vektoreista vain niiden odotusarvoja, keskineliöitä, variansseja, tulomomentteja ja kovariansseja. Riippumattomuuden korvaa heikompi käsite korreloimattomuus. Jatkossa rajoitutaan melkeinpä pelkästään 2. kertaluvun stokastiikkaan, johon liittyvät tilastolliset suureet oletetaan olemassaoleviksi (keskineliöt ja varianssit toisinaan äärettöminä).

*

trace(AB) = trace(BA), jos AB ja BA ovat neliömatriiseja.

39

II

STOKASTISET PROSESSIT

1. Peruskäsitteitä Stokastinen prosessi (lyhyesti s.p.) on indeksoitu satunnaismuuttujien tai –vektorien kokoelma x(t), t ∈ I

tai

x(t), t ∈ I.

Indeksin eli parametrin t arvot saadaan indeksijoukosta I. Tavallisimmat indeksijoukot ovat a ) I = {…,–2,–1,0,1,2,…} (kokonaisluvut) b ) I = {0,1,2,…} (luonnolliset luvut) c ) I = {0,1,…,n}

Á (reaaliluvut) I = Á + (ei-negatiiviset reaaliluvut)

d) I = e)

f ) I = (a,b) (tai jokin muu väli) Tapauksissa a), b) ja c) sanotaan stokastisen prosessin olevan diskreetti eli ns. aikasarja, tapauksissa d), e) ja f) taas jatkuva. Indeksi t on usein aikaparametri (tästä nimi aikasarja). Huomaa, että tapauksen c) aikasarja skalaarisessa tapauksessa on itse asiassa satunnaisvektori (ja vektoraalisessa tapauksessa satunnaismatriisi). Jos s.p. on indeksoitu satunnaismuuttujien kokoelma, sanotaan sen olevan skalaarinen t. skalaariarvoinen. Jos taas s.p. on indeksoitu satunnaisvektorien kokoelma, sanotaan sen olevan vektoraalinen t. vektoriarvoinen. S.p. x(t) on jatkuva–amplitudinen (vast. diskreettiamplitudinen), jos kaikki satunnaismuuttujat x(t), t ∈ I, ovat jatkuvia (vast. diskreettejä). (Vastaavasti vektoritapauksessa.) Huom! Aikasarjoja merkitään yleensä alaindeksejä käyttäen. Siis esim. x(t), t ∈ {0,1,…,n} merkitään x0,x1,…,xn. Myös jatkuvalle stokastiselle prosessille käytetään alaindeksimerkintää (eo. merkinnän lisäksi) ts. x(t) merkitään xt, jne.. 40

Usein satunnaismuuttujat x(t), t ∈ I, tulevat samasta todennäköisyyskentästä, mutta tämä ei ole välttämätöntä. Stokastisen prosessin x(t) stokastiikan hallitsemiseksi tulee tuntea satunnaismuuttujien x(t 1 ),…,x(t n ) yhteisjakaumasta tarvittavan paljon, kun t1,…,tn ovat mielivaltaisia indeksin arvoja ja n = 1,2,… . Usein riittää n = 2 ja Px(t )x(t ) ja E ( x(t) ) (ja nämäkin 1 2 ehkä vain tietyille indeksien t1,t2 ja t arvoille). Vastaava pätee vektoriarvoisillekin stokastisille prosesseille. Merkinnät ovat samat kuin Luvussa I, mutta niihin lisätään indeksi t. Luettelo: 1 ) kertymäfunktio: Fx(t)(α;t), Fx (t) ( α ;t) 2 ) tiheysfunktio: px(t)(α;t), px (t) ( α ;t) 3 ) yhteisjakauman k.f. ja t.f.: esimerkiksi Fx (t )x (t )(α 1,α 2;t1,t2), 1 2

px (t1)x (t2 )(α 1,α 2;t1,t2)

4 ) ehdollisen jakauman t.f.: esimerkiksi

px(t1)|α2(α1;t1|α2;t2) =

px(t )x(t )(α1,α2;t1,t2) 1 2 p x(t )(α 2 ;t2 ) 2

5 ) odotusarvo: ∞

E ( x(t) ) = ⌠ ⌡ α p x (t) ( α ;t)dα = µ x (t) =merk. µx ( t ) –∞

(t:n vektoriarvoinen funktio) ∞

E ( x(t) ) = ⌠ ⌡ αp x(t)(α;t)dα = µ x(t) = merk. µ x (t) –∞

(t:n tavallinen funktio) 6 ) keskineliö: P x (t) = E(x( t )x(t) T ) = merk. Px ( t ) (matriisiarvoinen t:n funktio) P x(t) = E( x(t) 2 ) = merk. Px (t) (t:n funktio) 41

7 ) varianssi: V x (t) = E((x(t) – µ x (t) )(x(t) – µ x (t) ) T ) = merk. Vx ( t ) (matriisiarvoinen t:n funktio) V x(t) = E(( x(t) – µ x (t) ) 2 ) = merk. Vx (t) (t:n funktio) Verrattaessa saman stokastisen prosessin x(t) eri indeksin arvoja (ajanhetkiä) tai kahta stokastista prosessia eri ajanhetkinä syntyy uusia käsitteitä. Nämä ovat: 8 ) autokorrelaatio: E ( x( t )x(τ) T )

∞

∞

–∞

–∞

=⌡ ⌠ dα ⌡ ⌠ α β T p x (t)x (τ) ( α ,β ;t,τ)dβ = Px (t)x (τ) = merk. P x (t,τ)

(matriisiarvoinen t:n ja τ:n funktio, huomaa että Px (t,t) = Px ( t ) ) E ( x(t)x(τ) )

∞

∞

–∞

–∞

=⌠ ⌡ dα ⌠ ⌡ αβpx(t)x (τ)(α,β;t,τ)dβ = Px(t)x(τ) = merk. P x (t,τ)

(t:n ja τ:n funktio; huomaa, että Px(t,t) = Px(t)) 9) autokovarianssi: E ((x(t) – µ x (t) ) (x(τ) – µx (τ) ) T ) ∞

∞

–∞

–∞

=⌠ ⌡ ( α – µx (t) ) (β – µx (τ) ) T p x (t)x (τ) ( α ,β ;t,τ)dβ ⌡ dα ⌠

= cov(x(t),x(τ)) = merk. V x (t,τ)

L13

(=

Px (t,τ) – µ x (t)µ x (τ) T )

(t:n ja τ:n matriisiarvoinen funktio; huomaa, että Vx (t,t) = V x (t) ja V x (t,τ) = Px (t)–µx (t),x (τ)–µx (τ) ) 42

E (( x(t) – µ x (t) )( x(τ) – µ x (τ) )) ∞

∞

–∞

–∞

=⌠ ⌡ dα ⌠ ⌡ (α – µ x (t))(β – µ x (τ)) p x(t)x(τ)(α,β;t,τ)dβ = cov( x(t),x(τ)) = merk. V x (t,τ)

L13

(=

Px (t,τ) – µ x (t)µ x (τ) )

(t:n ja τ:n funktio; huomaa, että V x (t,t) = V x (t) ja V x (t,τ) = P x(t)–µ (t),x(τ)–µ (τ)) x

x

10) ristikorrelaatio: ∞

∞

–∞

–∞

=⌠ ⌡ dα ⌠ ⌡ α β T p x (t)y (τ) ( α ,β ;t,τ)dβ

E ( x( t )y(τ) T )

= Px (t)y (τ) = merk. P x y(t,τ) (matriisiarvoinen t:n ja τ:n funktio; huomaa, että P xx(t,τ) = P x (t,τ) ja erityisesti Px y(t,t) = Px (t)y (τ) = merk. Px y( t ) ) ∞

∞

–∞

–∞

=⌠ ⌡ dα ⌠ ⌡ αβp x(t)y(τ)(α,β;t,τ)dβ

E ( x(t)y(τ) )

= Px(t)y(τ) = merk. P xy (t,τ) (t:n ja τ:n funktio; huomaa, että P xx (t,τ) = P x (t,τ) ja erityisesti P xy (t,t) = Px(t)y(t) = merk. Pxy (t)) 11) ristikovarianssi: E ((x(t) – µ x (t) ) (y(τ) – µ y (τ) ) T ) ∞

∞

–∞

–∞

=⌠ ⌡ ( α – µx (t) ) (β – µy (τ) ) T p x (t)y (τ)(α,β;t,τ)dβ ⌡ dα ⌠

= cov(x(t),y(τ)) = merk. V x y(t,τ) L13

(=

Px y(t,τ) – µ x (t)µ y (τ) T ) 43

(t:n ja τ:n matriisiarvoinen funktio; huomaa, että V xx(t,τ) = V x (t,τ), V x y(t,τ) = P x (t)–µx (t),y (τ)–µy (τ) ja erityisesti V x y(t,t) = cov (x(t),y(t) ) = merk. Vx y( t ) ) E (( x(t) – µ x (t) )( y(τ) – µ y (τ) )) ∞

∞

–∞

–∞

=⌠ ⌠ ( α – µ x (t))( β – µ y (τ)) p x(t)y(τ)(α,β;t,τ)dβ ⌡ dα ⌡

= cov( x(t),y(τ)) = merk. V xy (t,τ) L13

(=

P xy (t,τ) – µ x (t)µ y (τ) )

(t:n ja τ:n funktio; huomaa, että V xx (t,τ) = V x (t,τ), V xy (t,τ) = Px(t)–µx(t),y(τ)–µy(τ) ja erityisesti V xy (t,t) = cov ( x(t),y(t) ) = merk. V xy (t))

Autokorrelaatio ja ristikorrelaatio näyttelevät ratkaisevaa osaa stokastisten prosessien 2. kertaluvun stokastiikassa. (Vaihtoehtoisesti voitaisiin käyttää autokovarianssia ja ristikovarianssia, kuten usein tehdään.) Huom! Ihan mitkä tahansa funktiot eivät kelpaa yo. funktioiksi, vaikka ne “päällisin puolin” näyttäisivät sopivilta. Stokastisen prosessin x(t) stokastiikka katsotaan täysin määrätyksi, jos t.f. p x (t )…x(t )( α 1,…,α n ;t1 ,…,t n ) 1 n tunnetaan kaikille t1:n,…,tn:n arvoille, olipa n = 1,2,… mitä tahansa. Vastaavasti skalaariarvoiselle prosessille.

2. Klassisia esimerkkejä Poisson–prosessi: Poisson–prosessi on jatkuva diskreettiamplitudinen s.p. x(t), jonka indeksijoukko on +. x(t):n mahdolliset arvot ovat 0,1,2,… . Edelleen

Á

44

1 ) P {x(t 2 ) – x(t1 ) = k} =

(λ(t2 –t 1 ))k e –λ(t2 –t1 ) k!

,

kun t2 ≥ t1 ja k = 0,1,… (vrt. Poisson–jakauma); λ > 0 on parametri; 2 ) x(t 2 ) – x(t 1 ),x(t 4 ) – x(t 3 ),…,x(t 2n ) – x(t 2n–1 ) ovat riippumattomat, mikäli välit (t1 ,t2 ),(t3 ,t4 ),…,(t2n–1 ,t2n ) eivät leikkaa; 3 ) x(0) = 0 (x(0) on siis vakio). Ehdot 1), 2) ja 3) määräävät prosessin x(t) stokastiikan täysin: Jos 0 ≤ t1 0 on vakio. (Yhtä hyvin voisi olla I = {0,1,2,…}, mutta seuraavaa esimerkkiä ajatellen valitaan näin.) Edelleen 1 ) x(0) = 0 ja 2) x(nT) = x1 + ˘˘˘+ xn, missä x1,…,xn ovat riippumattomia satunnaismuuttujia, joiden t.f. on 1

1

p x i(α) = 2 δ(α–s) + 2 δ(α+s) (binomijakauma; s > 0 on vakio). Ehdot 1) ja 2) määräävät prosessin x(t) täysin: Jos 0 ≤ t1 < t2 < ˘˘˘< tm , niin P { x(t 1 ) = k1 ,x(t 2 ) = k2 ,…,x(t m ) = km } = P{x(t 1 ) - x(0) = k1 ,x(t 2 ) – x(t1 ) = k2 – k1 ,…, x(t m ) – x(tm–1 ) = km – km–1 }. Toisaalta, jos ti = niT, ti+1 = ni+1T ja ti+2 = ni+2T, niin ni < ni+1 < ni+2 ja x(t i+1 ) – x(ti) = xn i+1 +˘˘˘+ xn i+1 sekä x(t i+2 ) – x(ti+1 ) = xn i+1 +1 +˘˘˘+ xn i+2 . Siis x(t 1 ),x(t 2 ) – x(t 1 ),…,x(t m ) – x(t m–1 ) ovat riippumattomat, sillä x1,…,xnm ovat riippumattomat eikä erotuksissa x(t i+1 ) – x(t i ) ole yhteisiä yhteenlaskettavia. Näin ollen P {x(t 1 ) – x(0) = k1 ,x(t 2 ) – x(t1 ) = k2 – k 1 ,…, x(t m ) – x(tm–1 ) = km – km–1 } = P{x(t 1 ) – x(0) = k1 }P {x(t 2 ) – x(t1 ) = k2 – k1 }˘˘˘ P {x(t m ) – x(tm–1 ) = km – km–1 } ja tulossa esiintyvät todennäköisyydet saadaan binomijakaumasta. 47

Etsitään t.f., odotusarvo, keskineliö ja varianssi: P{x(nT) = rs} = P{Satunnaismuuttujista x1,…,xn saa arvon s.}  n  =  n+r  2 

n+r 1   2 2

n+r n– 2 1   2

n+r 2

kpl

 n  =  n+r 2–n  2 

(r = –n,–n + 2,…,n) n

px(nT) (α;nT) =

 n 

∑' n+r 2–nδ(α–rs). 2

r=–n

(Pilkku sigmassa tarkoittaa, että summausindeksi kasvaa 2:n välein.) µ x (nT) = E(x1 +˘˘˘ + xn ) = E(x1 ) +˘˘˘ + E(xn )

ehto 2)

=

0

ehto 2)

V x(nT) = Vx1 +…+x n ehto 2)

=

=

L15 Seur.

Vx1 +˘˘˘+ Vxn

1 1 n( 2 (–s) 2 + 2 s2) = ns2

P x (nT) = Vx (nT) + µ x (nT) 2 = ns2 Edellisen sivun riippumattomuustuloksen nojalla saadaan (ks. s. 46) P x (t,τ) = µ x (t) ( µ x (τ) - µ x (t) ) + Px (t) = Px (t), kun τ ≥ t. Siis P x (nT,mT) = Vx (nT,mT) = s2 min(n,m). Keskeisen raja–arvolauseen (ks. Matematiikka 4) mukaan satunnaismuuttujalla x(nT) – µ x (nT) V x (nT)

=

x(nT) s n

on suurilla n:n arvoilla asymptoottisesti standardinormaalijakauma, ts. tällöin 48

r/ n

F x(nT) (rs;nT) = P{ x(nT) ≤ rs} =

x(nT) P  s n

r ≤ n

  

1

≅

2π

2 ⌠ ⌡ e–β /2dβ.

–∞

Brownin liike: Annetaan satunnaiskulussa T → 0, s → 0, n → ∞, r→ ∞ siten, että s2 T = α (vakio), nT = t (vakio) ja rs = w (vakio). Silloin s n =

αt

= w/ αt

ja

x(nT) = P ≤  αt

w

ja r/ n

x(nT) ≤ P  s n

r   n

  αt 

w/ αt 1

→

2π

2 ⌠ ⌡ e–β /2dβ

= P{ x(t) ≤ w}

w

γ=β αt

1

=

2π

–∞

αt

⌠ ⌡ e

2 – γ 2αt

dγ.

–∞

Yleisemmin voitaisiin valita ajanhetket t1 ja t2, missä t2 > t1, ja valita n1 sekä n2 siten, että n 1 T on mahdollisimman lähellä t1:tä ja n 2 T mahdollisimman lähellä t2:ta (jos t1/t2 ei ole rationaaliluku, eivät molemmat voi osua tarkasti kohdalleen). Jälleen annetaan T → 0, s → 0, r → ∞ siten, että s2 T = α, rs = w. Silloin n1 → ∞ ja n2 → ∞ ja n1T → t1 sekä n2T → t2. Näin ollen s n2 – n1 =

s T

n2T – n1T

=

α

n2T – n1 T

→

α(t2 – t1 )

ja

w x(n 2 T) – x(n 1 T )  P ≤  →  s n2 – n 1  s n2 – n 1 49

w/ α(t2 -t1 ) 1 2π

⌠ ⌡ –∞

e–β2 /2dβ

w

γ=β α(t2 –t1 )

=

1 2π

γ2

– 2α(t –t ) 2 1 ⌠ ⌡ e

α(t2 – t1) –∞

dγ.

Vieläkin yleisemmin voitaisiin ottaa tarkasteltavaksi ajanhetket 0 ≤ t1 < t2 ε } = 0, n→∞

merkitään **) n→∞

xn →

x.

p

Suppeneminen jakaumamielessä: Jono x1,x2,… suppenee jakaumamielessä kohden satunnaisvektoria x, jos jokaisessa pisteessä α , jossa Fx ( α ) on jatkuva, lim Fx ( α ) = Fx ( α ) . n

n→∞

Merkitään ***) n→∞

xn →

x.

D

Suppenemiset seuraavat toisistaan seuraavan diagrammin mukaisesti:

*)

MS = “mean–square” l.i.m. = “limit in the mean”

**)

p = “in probability”

***)

D = “in distribution”

55

varma (Ks. Larson & Shubert tai Melsa & Sage) AS

MS

p

D Käytännössä melkein varma, neliöllinen ja stokastinen suppeneminen ovat “lähellä” toisiaan. Jatkossa käytetään vain neliöllistä suppenemista. LAUSE 18. Jos l.i.m. xn = x, niin myös lim µx n = µx . (Vastaava tulos pätee n→∞ n→∞ myös muille raja–arvotyypeille n → –∞, t → ∞, jne..) Todistus. Oletetaan, että l.i.m. xn = x. Koska trace V x n–x on varianssien n→∞

summa (ks. s. 31), se on ≥ 0. Toisaalta Lause 8

trace Vx –x n

T

=

trace(Px n–x – µx n–x µx n –x ) = trace Px n–x – ·µx n–x ·2.

Siis n→∞ ·µ x

– µx ·2 = ·µx n–x ·2 ≤ trace Px n–x → n

0,

joten lim µx = µ x . ❑ n n→∞ Jatkuva s.p. x(t) on neliöllisesti jatkuva hetkellä t = t0, jos l.i.m.

x(t) =

t→t0

x(t 0 ). x(t) on neliöllisesti jatkuva, jos se on neliöllisesti jatkuva kaikilla hetkillä t. LAUSE 19. Jos x(t) on neliöllisesti jatkuva (pisteessä t 0 ), niin µx (t) on jatkuva (pisteessä t0). Todistus. Lause 18 ❑

56

LAUSE 20. Jos trace Px (t‚τ) on jatkuva pisteessä (t0,t0), ts. lim t→t0

trace Px (t,τ) = trace Px (t 0 ),

τ→ t0

niin x(t) on neliöllisesti jatkuva pisteessä t0. Todistus. Jos trace Px (t,τ) on jatkuva pisteessä t0, niin trace Px (t)–x(t ) = E(·x(t) – x(t 0 ) · 2 ) 0 = E((x(t) – x(t 0 ) ) ˘ ( x(t) – x(t 0 ) ) ) = E(x(t) ˘ x(t) ) + E( x(t 0 ) ˘ x(t 0 ) ) - 2E( x(t) ˘ x(t 0 ) ) = trace Px (t) + trace Px (t0 ) – 2trace Px (t,t 0 ) n →∞

→

0. ❑

SEURAUS. Jos x(t) on heikosti stationäärinen ja trace Cx (τ) on jatkuva origossa, niin x(t) on neliöllisesti jatkuva. lim trace Px (t,τ) = lim trace Cx (t–τ) = lim trace Cx (τ) ❑

Todistus.

t→t0

t→t0

τ→ t0

τ→ t0

τ→0

Huom! Myös diskreettiamplitudinen s.p. voi olla neliöllisesti jatkuva. Stokastisen prosessin x(t) neliöllinen integraali yli välin [a,b] määritellään tavalliseen tapaan Riemannin summien neliöllisten raja–arvojen avulla (ks. Matematiikka 2). (Vektori integroidaan komponenteittain.) Merkitään b

⌠ x(t)dt. ⌡ a

∞ Huomaa, että tulos on satunnaisvektori. Epäoleelliset integraalit ⌠ ⌡

jne.

0

määritellään puolestaan tavalliseen tapaan oleellisten integraalien neliöllisinä raja–arvoina (ks. Matematiikka 2), esim. ∞

T

0

T→∞ 0

⌠ x(t)dt = l.i.m. ⌡ ⌠ x(t)dt. ⌡

57

Lauseesta 18 seuraa, että b E ⌠ x(t)dt ⌡ a

 b  =⌡ ⌠ µx (t)dt .   a

Useampikertaiset integraalit (ks. Matematiikka 3), esim. b

b

⌠ x( t )x(τ) T dτ, ⌠ dt⌡ ⌡ a

a

määritellään samoin Riemannin summien neliöllisten raja–arvojen avulla. (Matriisi integroidaan komponenteittain.) Edelleen b P ⌡ ⌠ x(t)dt  a

   

b = E ⌠ x(t)dt ⌡ a

=*)

b  T b    = E ⌠ T dτ  x (t)dt ⌠ x (τ) ⌡   ⌡  a   a 

b b  E ⌠ dt ⌠ x( t )x(τ) T dτ ⌡ ⌡ a a b

=

b ⌠ x(τ)dτ ⌡ a

 Lause 18  =  

b

b

⌠ dt⌠ ⌡ ⌡ E(x( t )x(τ) T ) dτ a

a

b

⌠ ⌠ Px (t,τ)dτ ⌡ dt⌡ a

a

ja vastaavasti b x(t)dt V ⌠ ⌡ a

b  b  =⌡ ⌠ dt⌡ ⌠ Vx (t,τ)dτ.  a  a

Heikosti stationäärisessä tapauksessa saadaan kaavat *)

Schwarzin epäyhtälöstä seuraa, että E ( u˘ (l.i.m. v n )) = l i m E(u˘ v n) (harjoituksen→∞ n→∞ na). Siis E (( l.i.m. um ) ˘ ( l . i . m . v n )) = l i m E(um ˘ ( l.i.m. v n ) ) m→∞ n→∞ m→∞ n→∞ Lause 18

=

= l i m E(um ˘ v n) m→∞ n→∞

Vastaava tulos pätee Riemannin summille.

58

E (l.i.m.(um ˘ v n ) ). m→∞ n→∞

b E ⌠ x(t)dt ⌡ a

  = (b – a)µx  

b P ⌠ x(t)dt ⌡ a

b  b  =⌡ ⌠ dt⌡ ⌠ Cx (t–τ)dτ  a  a

b V ⌡ ⌠ x(t)dt  a

b  b  =⌡ ⌠ dt⌡ ⌠ Rx (t–τ)dτ.  a  a

Jatkuvan stokastisen prosessin x(t) neliöllinen derivaatta pisteessä t0 on s.p. l.i.m. h→0

x(t 0 +h) – x(t 0 ) h

=merk.

dx(t 0 ) dt

= x´(t 0 ).

dµ x(t 0 )  dx(t 0 )  Lauseesta 18 seuraa, että E  dt  = . Koska derivaatta on nelidt öllinen raja–arvo, on esim. dx(t) = y( t ) dt tulkittava siten, että ko. raja–arvo on y(t). Näin voidaan kirjoittaa differentiaaliyhtälöitä, esim. dx(t) = A(t)x(t) + f(t). dt

5. Ergodisuus. Estimointi S.p. x(t) on ergodinen, jos kaikille ajanhetkille t1,…,tk ja jokaiselle funktiolle f: kn → m (x(t):n dimensio on n)

Á

Á

l.i.m. T→∞

1 T

T

⌠ f( x(t+t 1 ),…,x(t+t k ) ) dt = E( f( x(t+t 1 ),…,x(t+t k ) ) ) ⌡ 0

59

(mikäli odotusarvo on olemassa). Huomaa, että oikean puolen odotusarvo on vakio(vektori), sillä vasen puoli ei riipu t:stä (stationäärisyys!). Väljästi ottaen ergodisuus merkitsee, että pitkästä (suuri T:n arvo) näytteestä laskettu f( x(t+t 1 ),…,x(t+t k ) ) :n aikakeskiarvo on yhtäkuin sen odotusarvo, ts. pitkistä näytteistä saadaan estimoitua aikakeskiarvona E ( f( x(t+t 1 ),…,x(t+t k ) )) . Ilman ergodisuusominaisuuksia ei yhdestä näytteestä saataisi estimoitua prosessin tilastollisia suureita. Usein riittävät yo. määritelmää heikommat vaatimukset. Huom! Diskreetille prosessille integraalin paikalle tulee summa, ts. vaaditaan, että l.i.m. N→∞

1 N

N–1

∑

f( xn+n1,…,xn+n k ) = E( f( xn+n1,…,xn+n k ) ) .

n=0

Käytännössä estimoinnissa integraalikin lasketaan numeerisesti, ts. se korvautuu jollain summauslausekkeella. Prosessista on tällöin käytössä tietyin välein (esimerkiksi tasaisin ∆t:n välein) otetut näytteet x(0),x(∆t), x(2∆T),…,x( (N–1)∆t ) .

Odotusarvon aikakeskiarvoestimointi: Merkitään ^ x(T)

=

1 T

T

⌠ x(t)dt, → x = l.i.m. ^x(T) . ⌡ T→∞

0

Silloin E(^x(T) )

s. 59 1 = T

˘Tµx

= µ x ja (Lause 18)

E (→ x ) = lim E(^x(T) ) = µ x , T→∞

→ x

ts. ja ovat harhattomia µx :n estimaatteja. Estimaatin ^x(T) tark^ kuutta voidaan mitata trace V ^ x (T) :llä eli E (· x(T) – µx ·2):llä. Jotta estimaatti tarkentuisi, on oltava ^ x(T)

lim trace V^ x (T) = 0, T→∞

t.s. l.i.m. ^x(t)

= µx , merkitään → x

= µx . Prosessia x(t) kutsutaan tällöin

T→∞

keskiarvoergodiseksi. LAUSE 21. Heikosti stationäärinen s.p. x(t) on keskiarvoergodinen tarkalleen silloin, kun

60

lim T→∞

T

1 T2

⌠ ⌡ (T – |t|) trace Rx (t)dt = 0. –T

Todistus. Lasketaan: 1 T V^ ⌠ x(t)dt x (T) = V  T ⌡   0

T   = 1 V ⌡ ⌠ x(t)dt T2   0

  

s. 59 1 T = ⌠ T2 ⌡ 0

T

dt⌡ ⌠ Rx (t–τ)dτ. 0

Tehdään integraaliin muunnos t1 = t, t2 = t – τ,  1 1  = –1. Neliö 0 ≤ t ≤ T, 0 ≤ τ ≤ T jonka Jacobin determinantti on   0 –1 muuntuu ao. kuvion suunnikkaaksi.

t2 T

T

t1

–T

Siis V^ x (T)

=

1 T2 1

t2+T

0

⌠ ⌡ dt2 ⌠ ⌡ Rx (t 2 )dt 1 + –T 0

1 T2

0 1

T

T

⌠ dt2 ⌠ ⌡ ⌡ Rx (t 2 )dt 1 0 T

t2

= 2 ⌠ Rx (t 2 )(T + t2 )dt 2 + 2⌠ Rx (t 2 )(T – t2 )dt 2 T ⌡ T ⌡ –T t2=τ

=

1 T2

0 T

⌠ ⌡ Rx (τ)(T – |τ| )dτ.

❑

–T

Arvio trace V^ x (T) =

1 T2

T

⌠ ⌡ (T – |τ| ) trace Rx (τ)dτ –T

61

1

T

1

T

≤ 2 ⌠ (T – |τ|) | trace Rx(τ)| dτ ≤ T ⌠ ⌡ | trace Rx (τ) | dτ T ⌡ –T

–T

on toisinaan kätevä. Toisaalta lauseen seurauksena saadaan SEURAUS. Heikosti stationäärinen s.p. x(t) on keskiarvoergodinen täsmälleen silloin, kun lim T→∞

1 T

T

⌠ trace Rx (τ)dτ = 0. ⌡ 0

Todistus. 1o Oletetaan ensin, että x(t) on keskiarvoergodinen. Silloin 1 T  ⌠ trace Rx (τ)dτ T⌡  0

2   

T  1  = trace T ⌡ ⌠ E ((x(t+τ) - µ x ) (x(t) - µ x ) T ) dτ  0 

  T  trace E  1 ⌡ ⌠ ( x(t+τ) - µ x ) (x(t) - µ x )T dτ T    0

L18

=

Schwarz


> τ ≥ 0 (ts. T on “paljon suurempi” kuin τ), ja → ^ T (τ) . C x (τ) = l.i.m. C x T→∞

*)

Tässä käytetään l’Hospitalin sääntöä. Oikea puoli saadaan vasemmasta puolesta derivoimalla osoittaja ja nimittäjä erikseen ja sääntö sanoo, että jos oikean puolen raja-arvo on olemassa, niin samoin on vasemman puolen raja-arvo (kun T→∞) ja nämä raja-arvot ovat samat.

63

^ T (τ) on satunnaismatriisi, samoin → Huom! C C x (τ). Satunnaismatriisien nex liöllinen raja–arvo määritellään tavalliseen tapaan, ts. satunnaismatriisi tulkitaan satunnaisvektoriksi (ks. s. 26). Silloin T–τ

T–τ

0

0

^ T (τ) ) vrt.=s. 58 1 ⌠ E(x(t+τ) x(t) T ) dt = 1 ⌠ C (τ)dt = C (τ) E (C x x x T–τ ⌡ T–τ ⌡ ja → ^ T (τ) ) = C (τ) , E ( C x (τ) ) = lim E(C x x T→∞

→ ^T ts. C x (τ) ja C x (τ) ovat harhattomia Cx (τ):n estimaatteja. Skalaaritapauksessa voidaan näyttää, että (tietyin oletuksin) ∞

2

V^ T ≤ T ⌠ ⌡ Cx (λ)2 dλ, Cx (τ) –∞

kun |τ| < T. (Todistus on työläs, ks. esim. Melsa & Sage.) Diskreetille prosessille xn saadaan vastaavasti N 1 ^ Cx (n) = N–n+1

N–n

∑

T

xk+nxk ,

k=0

→ ^ N (n) . Skalaaritapauksessa kun N >> n ≥ 0, ja C x (n) = l.i.m. C x 2

V^ N ≤ N Cx (n)

∞

∑

N→∞

Cx (k)2 .

k=–∞

Huom! Näytteistä x(n∆t) (n = 0,…,N) estimoidaan Cx (k∆T) ajattelemalla x(t) korvatuksi diskreetillä prosessilla yn = x(n∆t). Ristokorrelaatiofunktion estimointi aikakeskiarvon avulla on aivan analogista.

64

III

STOKASTISEN PROSESSIN TEHOSPEKTRI

1. Ekskursio: Fourier’n muunnos Matriisiarvoisen funktion F(τ) (arvot nÆm–matriiseja) Fourier'n muunnos on ∞

⌠ ⌡ F(τ)e –jωτ dτ = merk.

F (F(τ))(ω) = lyh. F (F(τ)).

–∞

Huom! Matriisi integroidaan alkioittain. j on imaginääriyksikkö, ts. j = Euler

–1 , jolloin e–jωτ

=

cos(ωτ) – jsin(ωτ).

Reaali– ja imaginääriosiinsa jaettuna

F (F(τ)) =

∞

∞

–∞

–∞

⌠ ⌡ F(τ)cos(ωτ)dτ – j ⌠ ⌡ F(τ)sin(ωτ)dτ.

Jos F(τ) on parillinen funktio, ts. F(–τ) = F(τ), niin ∞

F (F(τ)) = ⌠⌡

∞

F(τ)cos(ωτ)dτ = 2⌡ ⌠ F(τ)cos(ωτ)dτ 0

–∞

(ns. kosinimuunnos). Tällöin myös ∞

F (F(τ))(–ω) = 2⌡⌠

F(F(τ)) on parillinen: ∞

F(τ)cos(–ωτ)dτ = 2⌡ ⌠ F(τ)cos(ωτ)dτ =

0

F (F(τ))(ω).

0

Vastaavasti, jos F(τ) on on pariton, ts. F(–τ) = –F(τ), niin ∞

F (F(τ))(ω) = – j ⌠⌡

2

0

–∞

(ns. sinimuunnos) ja

∞

F(τ)sin(ωτ)dτ = j ⌡ ⌠ F(τ)sin(ωτ)dτ

F(F(τ)) on myös pariton, ts. F(F(τ))(–ω) = –F(F(τ))(ω).

Ominaisuuksia (1)

F (cF(τ)) = cF (F(τ))

(c on vakio)

(2)

F (AF(τ)) = A F (F(τ))

(A on vakiomatriisi)

65

(3)

F (F(τ)B ) = F (F(τ))B

(4)

F (F(τ)+G(τ)) = F (F(τ)) + F (G(τ))

(5)

F (F(τ)T ) = F (F(τ))T

(6)

trace

(7)

F (F(τ)G(τ)) = 2π1 F (F(τ))∗F (G(τ)),

(B on vakiomatriisi)

F (F(τ)) = F (trace F(τ))

missä ∗ merkitsee konvoluutiota, ts. ∞

H(ω)∗K(ω) = ⌠ ⌡ H(ω–σ)K(σ)dσ. –∞

(8)

(9)

F (1) = 2πδ(ω) (formaalisesti) F

↓ liittoluku ( F(τ)) (–ω) = –————— ( F(τ) ) (ω) = (F(–τ))(ω)

F

( 1 0 ) Jos H(ω) = 1

F

F (F(τ)), niin

∞

F(τ) = 2π ⌠ ⌡ H(ω)e jωτ dω = merk.

F –1(H(ω))(τ)

–∞

 1 = 2π

F (H(ω))(–τ)

(9) 1 = 2π

F

1 –————— ( H (ω) ) (τ) = 2π

F (H(–ω))(τ)

,

ns. kääntökaava (todistus sivuutetaan). (11)

F (δ(τ)) = 1 (formaalisesti)

Ominaisuudet (1)–(6), (9) ja (11) näytetään helposti suoraan laskien. ( 8 ) seuraa (11):sta kääntökaavalla. Huomaa, että (8):n mukaan ∞

∞

–∞

0

⌠ ⌠ cos(ωτ)dτ = 2πδ(ω). ⌡ e–jωτ dτ = 2⌡

Myös (7) seuraa kääntökaavasta, sillä 1 2π

 1 ∞  ⌠ ⌡  2π ⌠ ⌡ H(ω–σ)K(σ)dσ  ejωτ dω  –∞  –∞ ∞

66

1 = 2π

ω−σ =ρ

=

 1 ∞ ⌠ ⌡  2π ⌠ ⌡ H(ω–σ)ej(ω–σ)τdω –∞  –∞ ∞

1 2π

 1 =  2π  

 1 ⌠ ⌡  2π –∞  ∞

  K(σ)ejστdσ  

 jρτ dρ  K(σ)ejστdσ ⌠ H(ρ)e ⌡   –∞ ∞

 jρτ dρ  ⌠ H(ρ)e ⌡   –∞ ∞

 1 ∞  ⌠ K(σ)e jστ dσ  2π ⌡  –∞

  .  

Huom! Numeerisesti Fourier'n muunnos voidaan suorittaa erittäin nopeasti (FFT) (ks. Integraalimuunnosten jatkokurssi tai esim. Blahut: Fast Algorithms for Digital Signal Processing. Addison-Wesley (-85)).

2. Tehospektri Heikosti stationäärisen stokastisen prosessin x(t) tehospektri eli spektrin tiheys on sen autokorrelaatiofunktion Fourier'n muunnos:

F(Cx(τ)) (ω )

∞

=⌠ ⌡ Cx (τ)e–jωτ dτ = merk. CX(ω). –∞

Kääntökaavan nojalla

Cx (τ) =

F–1(CX(ω )) (τ) = 2π1

∞

⌠ ⌡ CX(ω)e jωτ dω –∞

(ns. Wiener–Hintshinin kaava) Skalaaritapauksessa

C X (ω) =

F (C x(τ))(ω)

parill.

=

∞

2⌡ ⌠ C x(τ)cos(ωτ)dτ 0

on parillinen reaaliarvoinen funktio. Edelleen

67

C x (τ) =

F –1(C X(ω))(τ)

parill. 1 ∞ = ⌠ π ⌡ 0

CX (ω)cos(ωτ)dω.

Vastaavasti määritellään ristikorrelaatiostationääristen stokastisten prosessien x(t) ja y(t) ristitehospektri

F(Cx y(τ)) (ω )

∞

=⌠ ⌡ Cx y(τ)e–jωτ dτ = merk. CXY(ω), –∞

jolloin (kääntökaava)

Cx y(τ) =

F

–1 (C XY(ω ) ) (τ)

=

1 2π

∞

⌠ ⌡ CXY(ω)e jωτ dω. –∞

Ominaisuuksia: (1)

trace CX(ω) ≥ 0 Skalaaritapauksessa C X (ω) ≥ 0.

Todistetaan suodattimien avulla (ks. IV.4).

(2)

P x = Cx ( 0 )

Tästä (ja (1):stä) tulee nimitys “tehospektri”.

W-H 1 ∞ = 2π ⌠ ⌡ –∞

CX(ω)dω

P x :ää ajatellaan tehona.

(3)

CX(–ω) = CX(ω ) T (Ts. CX(ω) on Hermiten matriisi. )

Seuraa suoraan autokorrelaatio– funktion vastaavasta ominaisuudesta (ks. (5) ja (9)).

(4)

CXY(ω) = CYX(–ω) T

kuten (3)

Skalaaritapauksessa C XY (ω) = CYX (–ω). Huom! ω on kulmanopeusmuuttuja. Usein sen tilalla on taajuusmuuttuja f ω

= 2π . Tällöin kaavoihin tulee pieniä muutoksia (2π:tä pitää lisätä “sopiviin” paikkoihin). s missä s on ns. kompleksitaajuus, (oikeasUsein kirjoitetaan ω = j = –js, taan kompleksikulmanopeus, ks. yo. huomautus). Kompleksitaajuuden s avulla lausuttua tehospektriä ja ristitehospektriä merkitään

68

CX(s):llä

ja

CXY(s):llä.

Merkintä on hieman epätäsmällinen. CX(s) saadaan CX(ω):sta kirjoittamalla ω:n paikalle –js, vastaavasti CXY(s). CX(ω) puolestaan saadaan CX(s):stä kirjoittamalla s:n paikalle jω, vastaavasti CXY(ω).

SCHWARZIN EPÄYHTÄLÖ:

|trace CXY(ω)| 2 ≤ (trace CX(ω))(trace CY (ω ) )

Todistus. Tarkastellaan stokastista prosessia z(t) = x(t) + λ y(t+θ), missä λ ja θ ovat parametrejä. Silloin Cz(τ) = E( z(t+τ) z(t) T ) = E((x(t+τ) + λ y(t+τ+θ) )(x(t) + λ y(t+θ) ) T ) = E(x(t+τ) x(t) T ) + λE ( x(t+τ) y(t+θ) T ) + λE (y(t+τ+θ) x(t) T ) + λ 2 E ( y(t+τ+θ) y(t+θ) T ) = Cx (τ) + λC x y(τ–θ) + λC y x(τ+θ) + λ 2C y (τ) . Nyt

∞

F(Cx y(τ–θ))(ω) = ⌠⌡

∞

Cx y(τ–θ)e –jωτ dτ = ⌠ ⌡ Cx y(τ–θ)e–jω(τ–θ)dτ e–jωθ

–∞ τ−θ=σ ∞

=

–∞

⌠ ⌡ Cx y(σ)e–jωσ dσ e–jωθ = CXY(ω)e –jω θ

–∞

ja vastaavasti

F(Cy x(τ+θ))(ω) = CYX(ω)e jωθ . Siis CZ (ω) = CX(ω) + λC XY(ω)e –jωθ + λC YX(ω)ejωθ + λ 2 C Y (ω ) ja trace CZ (ω) = trace CX(ω) + λ (e -jωθ trace CXY(ω ) + ejωθtrace CYX(ω)) + λ 2 trace CY (ω )

69

(1)

= trace CX(ω) + 2λRe (e –jωθ trace CXY(ω)) + λ 2 trace CY (ω) ≥

0.

(Huom! Re tarkoittaa kompleksiluvun reaaliosaa.) Tämä pätee kaikille λ:n arvoille, joten diskriminantti on ≤ 0, ts.

(2Re (e–jωθtrace CXY(ω)))2 - 4(trace CX(ω))(trace CY (ω)) ≤ 0. Tämä puolestaan pätee kaikille θ:n arvoille. Jos ω ≠ 0, valitaan 1

θ = ω Arg(trace CXY(ω ) ) , (Arg tarkoittaa kompleksiluvun argumenttia), jolloin Re (e –jωθtrace CXY(ω)) = | trace CXY(ω) | . Toisaalta CXY(0) on reaalinen (tapaus ω = 0), joten

(Re(ej0θtrace CXY(0)))2 = (trace CXY(0))2 = | trace CXY(0) | 2 . Joka tapauksessa, olipa ω = 0 tai ei,

|trace CXY(ω)| 2 ≤ (trace CX(ω))(trace CY (ω) ) . ❑

Skalaaritapauksessa Schwarzin epäyhtälö on

| C XY(ω)| ≤

C X (ω)C Y (ω)

Usein |CXY(ω)| normeerataan ns. koherenssifunktioksi c xy (ω) =

| C XY(ω)|

,

C X (ω)C Y (ω)

jonka arvot ovat välillä [0,1]. Bendat & Piersol sisältää hyvän esityksen koherenssitekniikasta.

70

3. Tehospektrin estimointi Tavallinen tapa tehospektrin estimoimiseksi on käyttää estimaattina so^T ^T pivaa Cx (τ) :n Fourier'n muunnosta. Tällöin Cx (τ) on käytettävissä τ:n arvoilla –τmax ≤ τ ≤ τmax, missä T >> τmax ≥ 0. Merkitään ^T  C ^r x (τ), kun –τmax ≤ τ ≤ τmax  Cx (τ) = 0 muualla *) ^r Cx (τ)

on ns.suorakulmaisesti katkaistu autokorrelaatiofunktion estimaatti. ^r Se on määritelty kaikilla τ:n arvoilla. Cx (τ) voidaan kirjoittaa muotoon ^r Cx (τ)

^T = wr (τ) Cx (τ) ,

missä 1, kun –τmax ≤ τ ≤ τmax w r (τ) =   0, muualla on ns. suorakulmainen ikkuna. Katkaisun vaikutusten vähentämiseksi voidaan käyttää muutakin ikkunafunktiota. Yleisesti ikkuna(funktio) on sellainen funktio w(τ), että w(–τ) = w(τ)

(parillisuus)

ja w(τ) = 0, kun |τ| > τmax. Tehospektrin estimaatti on

F(C^wx (τ) )(ω) =merk. C^wX (ω) , ^w ^T missä Cx (τ) = w(τ) Cx (τ) . Erityisesti, jos w = wr, saadaan estimaatti ^wr ^r CX (ω) = merk. CX(ω) =

*)

r = “rectangular”

71

F (C^xr (τ)

)(ω ) .

Jos merkitään W(ω) =

F (w(τ))(ω), niin (ks. s. 66)

1 ^w ^r CX (ω) = 2π W(ω)∗CX(ω)

sillä ^w ^T ^r Cx (τ) = w(τ) Cx (τ) = w(τ) Cx (τ) . Huom! Itse asiassa ikkunafunktio kirjoitetaan usein muotoon w(τ) = u(τ)w r (τ), missä u(τ) on parillinen funktio. (u(τ) ei siis (välttämättä) toteuta ehtoa u(τ) = 0 arvoilla |τ| > τmax.) Tällöin ^w ^r Cx (τ) = u(τ)Cx (τ) , ja jos U(ω) =

F (u(τ))(ω), niin

1 ^w ^r CX (ω) = 2π U(ω)∗C X(ω) .

(u(τ) voi tällöinkin riippua τmax:sta.) ^w CX (ω)

on harhainen, sitä pahemmin mitä “epätasaisempi” CX(ω) on. ^w Edelleen CX (ω) voi olla esimerkiksi reippaasti negatiivinen! (Vrt. ominaisuus ( 1 ) s. 68.) Sopivalla ikkunoinnilla saadaan harhaisuutta ja negatiivisuutta vähennettyä. Ikkunointitekniikka: ks. Mittaussignaalien analyy-i. (Ks. myös Press & Flannery & Teukolsky & Vetterling: Numerical Recipes. Cambridge University Press (-86), Luku 12.)

Ristitehospektrin estimointi on aivan analogista, lähdetään ristikorrelaatiofunktion aikakeskiarvoestimaatista, jne.. Numeerisesti Fourier'n muunnokset ja konvoluutiot lasketaan diskreetistä datasta FFT:tä käyttäen. Valmisohjelmia on (ks. myös Press et al.: Op. cit.).

72

4. Keskineliön “laskeminen” tehospektristä Sivun 68 ominaisuuden (2) nojalla ∞

1

P x = Cx (0) = 2π ⌠ ⌡ CX(ω)dω. –∞

Siirryttäessä käyttämään kompleksitaajuutta s = jω saadaan vastaavasti kaava Px = ∞j

missä ⌠ ⌡

1 2πj

∞j

⌠ ⌡ CX(s)ds,

–∞j

tarkoittaa kompleksista integraalia imaginääriakselia pitkin al-

–∞j

haalta ylös. (Ks. Kompleksimuuttujan funktiot.) Tarkastellaan tapausta, jossa prosessi on skalaarinen ja sen tehospektri on ω:n rationaalifunktio (usein esiintyvä tilanne). Silloin C X (ω) =

p(ω 2 ) q(ω 2 )

,

missä p ja q ovat reaalikertoimisia polynomeja. (Huomaa, että C X(ω):n parillisuudesta (s. 68) johtuen se on juuri esitettyä muotoa.) Mikäli p:n aste ≥ q:n aste, on lim CX (ω) > 0 tai = ∞, jolloin 1

∞

ω→∞

P x = 2π ⌡ ⌠ CX(ω)dω = ∞. –∞

Oletetaan siis, että m =merk. p:n aste < q:n aste =merk. n. Jos p(x):n juuret ovat –r1,…,–rm (toistot mukaanlukien), niin p(x) = a(x + r1 )˘˘˘ (x + rm ), missä a > 0. Siirrytään kompleksitaajuuteen, jolloin ω2 = (–js)2 = –s2 ja p(ω 2 ) = p(–s2 ) = a(–s2 + r1 )˘˘˘(–s 2 + rm )

73

=

a( r1 + s)

˘˘˘

( rm + s)˘ a( r1 – s)

˘˘˘

( r m – s)

= merk. c(s)c(–s) missä (kompleksiset) neliöjuuret

r1 ,…, r m

valitaan siten, että niiden

re-aaliosat ovat ≥ 0. Silloin c(s) on polynomi, jonka juuret ovat – r1 ,…,– rm ja niiden reaaliosat ovat ≤ 0 (kyseessä ovat ns. CX(s):n vasemmat nollat). Huom! p(x):n johtava kerroin (eli a) oli > 0, joten q(x):n johtavan kertoimen on myös oltava > 0 (muuten kyllin suurilla ω:n arvoilla q(ω 2 ) on < 0, mikä on vastoin ominaisuutta (1) s. 68). Vastaavasti voidaan kirjoittaa q(ω 2 ) = q(–s2 ) = d(s)d(–s), missä d(s):n juurien reaaliosat ovat ≤ 0 (ns. CX(s):n vasemmat navat). Lisäämällä tarvittaessa c(s):ään nollakertoimia, voidaan kirjoittaa c(s) = cn–1sn–1 + cn–2sn–2 +˘˘˘+ c1s + c0 ja d(s) = dnsn + dn–1sn–1 +˘˘˘+ d1s + d0, missä d n ≠ 0. P x löytyy taulukoituna kerrointen cn–1,…,c0 ja dn,…,d0 lausekkeina (ei kuitenkaan kovin suurille n:n arvoille ja taulukoissa oletetaan yleensä, että dn,…,d0 ≠ 0). Taulukot on johdettu residylaskennan avulla. Residyjen käyttö integraalin j∞

j∞

–j∞

–j∞

p(s 2 ) c(s)c(–s) 1 1 P x = 2πj ⌠ ⌡ q(s 2 ) ds = 2πj ⌠ ⌡ d(s)d(–s) ds laskemiseen onkin hyvä tapa P x:n saamiseksi (ks. Kompleksimuuttujan funktiot). Myös symbolisen laskennan ohjelmistoja voi usein käyttää (esim. Maple, Mathematica ja Derive). Huom! Integraalin Px =

1 2π

∞

p(ω 2 )

⌠ ⌡ q(ω 2 ) dω

–∞

laskeminen osamurtoja tai integraalitaulukoita käyttäen on työlästä ( e i kannata). Taulukoista löytyvät esim. seuraavat kaavat, kun merkitään

74

In =

1 2πj

j∞

c(s)c(–s) ⌠ d(s)d(–s) ds ⌡

(d(s):n aste = n):

–j∞ 2

c0 I1 = 2d0d1 , 2

2

c 1 d 0 + c 0 d2 I2 = 2 d d d , 0 1 2 2

2

2

c 2 d0d 1 + (c 1 – 2c0c2)d0d 3 + c 0 d2d3 I3 = 2 d0d 3(–d0d 3 + d1d 2)

75

.

IV

LINEAARISEN SYSTEEMIN STOKASTINEN VASTE

1. Ekskursio: Lineaarinen systeemi Lineaarinen systeemi on funktioavaruuden lineaarioperaattori daan esittää konvoluution avulla: (syöttö) u(t) →

S

S,

joka voi-

→ z(t) (ulostulo)

∞

t–λ=ν

z(t) = h(t)∗ u(t) = ⌠ ⌡ h(t–λ)u(λ)dλ –∞

=

∞

⌠ ⌡ h(ν)u(t–ν)dν.

–∞

h(t) on matriisiarvoinen funktio, joka karakterisoi systeemin, ns. impulssivaste. Jatkossa oletetaan yleensä, että riisi), kun t < 0. Silloin

S on

kausaalinen, ts. h(t) = O (nollamat-

∞

t

z(t) = ⌠ ⌠ h(ν)u(t–ν)dν, ⌡ h(t–λ)u(λ)dλ =⌡ 0

–∞

ts. ulostulon nykyarvo ei riipu syötön tulevista arvoista. Impulssivasteen Fourier'n muunnos on ns. siirtomatriisi (skalaaritapauksessa siirtofunktio):  kausaal. ∞  –jωt d t = merk. H(ω). h(t)e –jωt dt  = ⌠ h(t)e ⌡   0   –∞ ∞

F (h(t))(ω) = ⌠⌡

Kausaalisessa tapauksessa käytettäessä kompleksitaajuutta s = jω saadaan ∞

H(ω) =⌡ ⌠ 0

∞

h(t)e –jωtdt

=⌡ ⌠ h(t)e–stdt = merk. H(s), 0

ts. H(s) on h(t):n Laplacen muunnos. (Huom! Merkintä H(ω) = H(s) on samalla tavoin epätäsmällinen kuin CX(ω) = CX(s), ks. s. 69.)

76

2. Analyysi aikatasossa u(t) → h (t) → z( t )

Odotusarvo:

 µz = E   

  ⌠ h(ν) u (t–ν)dν ⌡  0  ∞

s. 58 ∞

∞

0

0

=

⌠ ⌠ h(ν)µudν ⌡ E(h(ν)u(t–ν))dν = ⌡

∞

=⌠ ⌡ h(ν)dν µu 0 ∞

⌠ ⌡ h(ν)dν on ns. tasavirtavahvistus (saattaa olla skalaaritapauksessa = ∞!), jo0

ka vastaa ulostuloa vakiosyötöllä µu. Autokorrelaatiofunktio: Cz(τ) =

E(z(t+τ) z(t) T )  =E  

 = E   

∞

  ⌠ h(ν) u (t+τ–ν)dν ⌡  0 

T  ⌠ h(ρ)u(t–ρ)dρ   ⌡   0   ∞

 T h(ρ) T dρ  ⌠ h(ν) u (t+τ–ν)dν ⌠ u (t–ρ) ⌡ ⌡  0 0  ∞

∞

 E  

ks. *) s. 58

=

∞ ∞  T h(ρ) T dρ  ⌠ dν ⌠ h(ν) u (t+τ–ν) u (t–ρ) ⌡ ⌡  0 0 

Lause 18 ∞

∞

0

0

⌠ dν⌠ ⌡ ⌡ E(h(ν)u(t+τ–ν)u(t–ρ) T h(ρ) T ) dρ

=

∞

∞

0

0

=⌡ ⌠ dν⌠ ⌡ h(ν)E(u(t+τ–ν)u(t–ρ) T ) h(ρ) T dρ ∞

∞

0

0

= ⌠ ⌠ h(ν)Cu(τ-ν+ρ)h(ρ) T dρ ⌡ dν⌡

Keskineliö:

∞

∞

0

0

Pz= Cz(0) = ⌡ ⌠ dν⌡ ⌠ h(ν)Cu(ρ–ν)h(ρ) T dρ

77

Syötön ja ulostulon ristikorrelaatio:

Cuz(τ)

=

E(u(t+τ) z(t) T )

 = E  u(t+τ)  

∞  = E  u(t+τ) ⌡ ⌠ u(t–ν)T h(ν)T dν   0

=*)

 ∞ ⌡ ⌠ h(ν)u(t–ν)dν   0

T       

   

 ∞ E⌡ ⌠ u(t+τ) u(t–ν)T h(ν)T dν   0

   

∞

=⌡ ⌠ E(u(t+τ) u(t–ν) T h(ν) T ) dν 0 ∞

=⌡ ⌠

∞

E(u(t+τ) u(t–ν) T ) h(ν) T dν

= ⌠ ⌡ Cu(τ+ν)h(ν)T dν

0

Czu(τ)

0

 ∞ = Cuz(–τ) T =  ⌡ ⌠ Cu(–τ+ν)h(ν)T dν   0

∞ T  =⌡ ⌠ h(ν)Cu(ν–τ)T dν  0 

∞

= ⌠ ⌡ h(ν)Cu(τ–ν)dν 0

Vm. kaavaa käyttäen voidaan mitata impulssivasteita, sillä jos syöttö on (ainakin approksimatiivisesti) valkoista kohinaa, ts. C u (τ) = Cu (–τ) = Nδ(τ) (N > 0 on vakio, ns. intensiteetti), niin ∞

∞

0

0

⌠ h(ν)Cu(τ–ν)dν =⌡ ⌠ Nh(ν)δ(ν–τ)dν = Nh(τ). Czu(τ) =⌡ Systeemiin syötetään valkoista kohinaa (käytännössä kyllin laajakaistaista kohinaa) ja estimoidaan Czu(τ). Intensiteetti N voidaan valita hyvinkin pieneksi: *)

Schwarzin epäyhtälöstä seuraa, että E ( y ˘ ( l.i.m. x n )) = l i m E(y ˘ x n) n→∞ n→∞

Lause 18 =

Vastaava pätee Riemannin summille. Vrt. *) s. 58.

78

E(l.i.m. (y ˘ x n ) ). n→∞

u(t)

z(t)

h(t)

z(t)u(t- τ) viive τ

1 T _ T 0æ

u(t– τ)

Nh( τ)

integraattori tai alipäästösuodin

korrelaattori

Mittaus voidaan tehdä käytön aikanakin, koska N on pieni:

h(t)

+ +

korrelaattori

kohina

Nh( τ)

Ulostulon ristikorrelaatio toisen prosessin kanssa:

Cv z(τ)

= E(v(t+τ) z(t) T )

kuten

=

∞

⌠ E(v(t+τ) u(t–ν) T ) h(ν) T dν ⌡

edellä 0 ∞

=

⌠ Cvu(τ+ν)h(ν)T dν ⌡ 0

Cz v(τ)

∞

∞

0

0

= Cv z(–τ)T =⌡ ⌠ h(ν)Cvu(ν–τ)T dν = ⌠ ⌡ h(ν)Cuv(τ–ν)dν

Kaksi eri systeemiä: u1 (t) → h 1 (t) → z1 (t) u2 (t) → h 2 (t) → z2 (t) Ristikorrelaatio: 79

= E(z1 (t+τ) z2 (t) T )

Cz1z2 (τ)

 =E  

  ⌠ h (ν) u (t+τ–ν)dν 1 ⌡ 1  0  ∞

T  ⌠ h 2 (ρ)u2 (t–ρ)dρ   ⌡   0   ∞

∞  ∞ =E⌡ ⌠ h 1(ν)u1(t+τ–ν)dν⌡ ⌠ u2 (t–ρ) T h 2 (ρ) T dρ   0 0

   

∞  ∞  E ⌡ ⌠ dν⌡ ⌠ h 1(ν)u1 (t+τ–ν)u2 (t–ρ) T h 2 (ρ) T dρ  edellä 0  0

kuten

=

Lause 18 ∞

∞

∞

0 ∞

0

0

0

   

⌠ dν⌠ ⌡ ⌡ E(h1(ν)u1 (t+τ–ν)u2 (t–ρ) T h 2 (ρ) T ) dρ

=

=⌡ ⌠ dν⌠ ⌡ h1(ν)E(u1 (t+τ–ν)u2 (t–ρ) T ) h 2 (ρ) T dρ ∞

∞

0

0

= ⌠ ⌠ h1(ν)Cu1u2 (τ–ν+ρ)h 2 (ρ)T dρ ⌡ dν⌡

3. Analyysi taajuustasossa u(t) → H(s) → z( t )

Ulostulon tehospektri: CZ (ω )

=

F(Cz(τ)) (ω )

∞

∞

∞

–∞ ∞

0

0

=⌠ ⌠ dν⌠ ⌡ dτ⌡ ⌡ h(ν)Cu(τ–ν+ρ)h(ρ) T e –jωτ dρ

∞ ∞  =⌡ ⌠ dν⌡ ⌠ h(ν)  ⌠ Cu(τ–ν+ρ)e–jω(τ–ν+ρ)dτ  ⌡ 0 0  –∞ ∞   ⌠ dν ⌠ h(ν) ⌡ ⌡  0 0 

τ-ν+ρ=σ ∞

=

  h(ρ)T e –jω(ν–ρ) dρ  

∞  –jωσ  h(ρ)T e –jω(ν–ρ)dρ ⌠ C (σ)e dσ ⌡ u   –∞

80

∞

∞

0 ∞

0

=⌠⌡ dν⌠ ⌡ h(ν)CU(ω)h(ρ) T e –jω(ν–ρ)dρ ∞

=⌡ ⌠ h(ν)e–jων dν CU(ω)⌡ ⌠ h(ρ)T e –j(–ω)ρ dρ 0

=

0

H(ω)CU(ω)H(–ω) T

Kompleksitaajuuden avulla lausuttuna

CZ (s) = H(s)CU(s)H(–s) T .

Skalaaritapauksessa saadaan kaavat –—— C Z (ω) = CU (ω)H(ω)H(–ω) = CU (ω)H(ω) H(ω) = CU (ω)| H(ω)| 2 ja C z (s) = CU (s)H(s)H(–s).

|H(ω)|2 = H(s)H(–s) on ns. tehonsiirtofunktio. Ulostulon keskineliölle saadaan tästä kaavat ∞

1

1

∞

P z = 2π ⌠ ⌡ CZ (ω)dω = 2π ⌠ ⌡ H(ω)CU(ω)H(–ω)T dω –∞ ∞j

–∞ ∞j

1 1 P z = 2πj ⌠ ⌡ CZ (s)ds = 2πj ⌠ ⌡ H(s)CU(s)H(–s) T ds, –∞j

–∞j

skalaaritapauksessa 1

∞

P z = 2π ⌠ ⌡ CU (ω)| H(ω)| 2 dω –∞ ∞j

1 P z = 2πj ⌠ ⌡ CU (s)H(s)H(–s)ds. –∞j

81

Huom! Jos u(t) on valkoista kohinaa, ts. Cu(τ) = Nδ(τ), niin C U (s) = N (vakio). (u(t):tä voidaan myös approksimoida valkoisella kohinalla.) Jos lisäksi H(s) on rationaalifunktio, päästään tällöin käyttämään III.4:n menetelmää Pz:n laskemiseksi (samoin tietysti, jos myös C U (s) on rationaalifunktio). Syötön ja ulostulon ristitehospektri: CUZ(ω )

F(Cuz(τ)) (ω )

=

∞

∞

–∞

0

=⌠ ⌠ Cu(τ+ν)h(ν) T e –jωτ dν ⌡ dτ⌡

  –jω(τ+ν) dτ  h(ν) T e jων dν =⌠⌡  ⌠ C (τ+ν)e u  ⌡  0  –∞  ∞

τ+ν=σ

=

∞

∞  ∞ ⌠ ⌡  ⌠ ⌡ Cu(σ)e –jωσ dσ 0  –∞

  h(ν)T e jων dν  

∞

= CU(ω)⌡ ⌠ h(ν)e –j(–ω)ν dν = CU(ω)H(–ω) T 0

CZU(ω)

= CUZ(–ω)T = H(ω)CU(–ω) T =

H(ω)CU(ω)

Kompleksitaajuuden avulla: CUZ(s) = CU(s)H (–s) T CZU(s) = H(s)CU( s ) Ulostulon ja m uun prosessin ristitehospektri: CVZ(ω)

=

F(Cv z(τ)) (ω )

∞

∞

–∞

0

=⌠ ⌠ Cvu(τ+ν)h(ν) T e –jωτ dν ⌡ dτ⌡

 =⌠ ⌡  ⌠ ⌡ Cvu(τ+ν)e –jω(τ+ν)⊇dτ 0  –∞ ∞

∞

  h(ν) T e jων dν  

∞

= CVU(ω)⌡ ⌠ h(ν)T e –j(–ω)ν dν = 0

82

CVU(ω)H(–ω) T

= CVZ(–ω)T = H(ω)CVU(–ω) T =

CZV(ω)

H(ω)CUV(ω)

Kompleksitaajuuden avulla: CVZ(s) = CVU(s)H (–s) T CZV(s) = H(s)CUV( s ) Kaksi eri systeemiä: u1 (t) → H 1 (s) → z1 (t) u2 (t) → H 2 (s) → z2 (t)

Ristitehospektri:

CZ 1Z 2 (ω)

=

F(Cz1z2 (τ)) (ω )

∞

∞

∞

–∞

0

0

⌠ dν⌠ =⌠ ⌡ h1(ν)Cu1u2 (τ–ν+ρ)h 2 (ρ)T e –jωτ dρ ⌡ dτ⌡  ∞ ⌠ h1(ν)  ⌡ ⌠ Cu1u2 (τ–ν+ρ)e –jω(τ–ν+ρ)dτ =⌡ ⌠ dν⌡  0 0  –∞ ∞

∞

∞

∞

0

0

  h 2 (ρ)T e –jω(ν–ρ) dρ  

⌠ h 2 (ρ)T e –j(-ω)ρ dρ =⌡ ⌠ h 1(ν)e–jωνdν CU1U2 (ω) ⌡

=

H 1(ω)CU U (ω)H 2 (–ω)T 1 2

Kompleksitaajuuden avulla: CZ 1Z 2 (s) = H 1 (s)CU1U2 (s)H 2 (–s) T . 83

4. Suotimet Suodatuksella tarkoitetaan kohinan vaikutuksen vähentämistä eri kriteerien mukaisesti. Tarkastellaan esimerkkinä ns. Kalmanin suodinta. Kalmanin suodin:

S

Lineaarisesta systeemistä 1 mitataan hetkellä t sen tila x(t). Mittaukseen sekoittuu kohinaa v(t): z(t) = H (t)x(t) + v(t). H(t) on tunnettu matriisiarvoinen funktio. Systeemin käyttäytymiseen vaikuttaa toinen kohina w (t). Systeemi annetaan differentiaaliyhtälön muodossa:

S 1: dx(t) dt = F(t)x(t) + G (t)w (t)

(ns. tilayhtälö) .

F(t) ja G(t) ovat annettuja matriisiarvoisia kerroinfunktioita. Edelleen oletetaan, että 1 ) µv = 0 ja µw = 0 , 2 ) P v (t,τ) = Ψ v (t)δ(t–τ), missä funktio Ψ v (t) ei–singuläärinen matriisiarvoinen funktio valkoi-nen kohina),

on (symmetrinen) (epästationäärinen

3 ) P w(t,τ) = Ψ w(t)δ(t–τ), missä Ψ w(t) on (symmetrinen) matriisiarvoinen funktio (epästationäärinen valkoinen kohina), 4 ) P v w(t,τ) = O (nollamatriisi), 5 ) µx (0) = x0 (annettu alkuarvo), 6 ) V x (0) = V0 (annettu alkuarvo), 7 ) P xw(t,τ) = O (nollamatriisi), kun τ ≥ t ja 8 ) P x v(t,τ) = O (nollamatriisi). Tarkoitus on syöttää z(t) toiseen lineaariseen systeemiin ^ x (t) ja joka annetaan myös tilayhtälön muodossa: ^

S2: dxdt( t )

S2, jonka tila on

= A(t)^ x (t) + K (t)z(t).

x (0) = x0. A(t) ja K(t) valitaan (mikäli mahdollista) siten, että Alkuarvo on ^ 84

x (t) ) = µ x (t) (harhattomuus) E (^ ja että virheen ^ x (t) – x(t) = merk. ~ x (t) varianssin trace minimoituu. Osoittautuu, että A(t):n ja K(t):n valinta on mahdollinen ja että tällöin A(t) = F(t) – K (t)H (t) ja K(t) = V~ x (t) H (t) T Ψ v (t) –1 . Virhevarianssi V ~ puolestaan toteuttaa differentiaaliyhtälön (matriisi x (t) derivoidaan alkioittain) dV~ x (t) dt

= F(t)V~ x (t) + V~ x (t) F(t) T + G (t)Ψ w(t)G (t) T - K (t)Ψ v (t)K (t) T

( Riccatin yhtälö) alkuehdolle V~ x (0) = V 0 . (Ks. esim. Melsa & Sage.) Huom! Jos G (t) = O (nollamatriisi), ts. x(t) on deterministinen (“tavallinen”) funktio, niin Riccatin yhtälö muuntuu lineaariseksi differentiaaliyhtälöksi, kun tuntemattomaksi valitaankin V ~ x (t) –1 (olettaen, että V0 on ei–singuläärinen). Tällöin nimittäin V~ x (t) V~ x (t) –1 = I

(identiteettimatriisi),

jolloin (derivoidaan puolittain) dV~ x (t) dt

V~ x (t) –1 + V~ x (t)

d V~ x (t) – 1 = O (nollamatriisi) dt

eli dV~ d V~ x (t) – 1 x (t) ~ (t) –1 = –V V~ x x (t) – 1 dt dt ja dV~ x (t) – 1 = –V~ x (t) –1 F(t) – F(t) T V ~ x (t) –1 + L(t)Ψ v (t)L (t) T , dt missä L(t) = V~ x (t) –1 K(t) (ei riipu V~ x (t) :stä). Huom! Jos (stationäärisyyssyistä) voidaan olettaa, että F(t),G (t),H (t),Ψ v (t), Ψ w(t) ja V~ x (t) ovat vakiomatriiseja, on dV~ x (t) dt

=O 85

ja virhevarianssille saadaan 2. asteen matriisiyhtälö -1

FV~ x (t) + V~ x (t) F T + GΨ wG T – V~ x (t) H T Ψ v HV~ x (t) = O. Tällaisten yhtälöiden ratkaisu (numeerisesti) ei ole juurikaan sen helpompaa kuin yleisen Riccatin yhtälön. Kalmanin suotimesta on myös diskreetti versio (ks. Larson & Shubert). Suodatuksesta puhutaan myös poistettaessa epäsuotavia taajuusalueita. (Ideaaliset) tehonsiirtofunktiot eri lajeille ovat seuraavanlaiset:

|H( ω )|

2

(alipäästö)

1 −ω0

ω

ω0

|H( ω)|

2

(ylipäästö) 1 −ω0

ω

ω0

|H( ω)|

2

(kaistapäästö) 1 ω

ω0

−ω0

|H( ω)|

2

(kaistanesto) 1

−ω0

ω0

ω

Ideaalista kaistapäästösuodatinta käyttäen voidaan osoittaa tehospektrin ominaisuus (1) 86

trace CX(ω) ≥ 0

(ks. s. 68)

pisteissä, joissa CX(ω) on jatkuva. Koska trace CX(ω) on x(t):n komponenttien tehospektrien summa, riittää tarkastella skalaaritapausta (ja näyttää ko. komponenttien tehospektrit ei–negatiivisiksi). Tehdään vastaoletus: Pisteessä ω0 ≥ 0, jossa C X(ω) on jatkuva, on C X(ω) = C < 0. Jatkuvuudesta johtuen on sellainen väli (ω0 – ε,ω0 + ε), jolla C X(ω) on ≤ C/2 < 0. (Parillisuudesta johtuen on myös välillä (–ω0 – ε,–ω0 + ε) voimassa sama arvio.) Lasketaan x(t) sellaisen (ideaalisen) kaistapäästösuotimen läpi, jonka tehonsiirtofunktio on muotoa

|H( ω)|

1

1

– ω0 + ε

– ω0– ε

2

ω0 + ε

ω0– ε

ω

(Kyllin pienelle ε:lle –ω 0 + ε < 0 < ω 0 – ε, jos ω0 > 0. Jos ω0 = 0, käytetään alipäästösuodatinta.) Silloin

Pz =

1 2π

∞

⌠ ⌡

CX (ω)| H(ω)| 2dω

=

1 π

–∞

≤

1 π

ω 0 +ε

⌠ ⌡ –ω 0 –ε

εC C dω = < 0, 2 π

sillä keskineliö on aina ≥ 0. Siis CX(ω) ≥ 0.

87

ω 0 +ε

⌠ ⌡ ω 0 –ε

,

CX(ω)dω

111 harjoitustehtävää 1.

Satunnaismuuttujan x kertymäfunktio on F x (α). Mikä on tämän avulla lausuttuna satunnaismuuttujan -x kertymäfunktio? (Voit olettaa, että jakauma on jatkuva.)

2.

Molekyylin nopeus v termodynaamisessa tasapainotilassa olevassa homogeenisessa kaasussa on satunnaismuuttuja, jonka kertymäfunktio on α

2

Fv(α) = a⌡ ⌠ β2e-bβ dβ, 0 m

kun α> 0. Tässä b = 2kT , missä m on kaasumolekyylin massa, k on Boltzmannin vakio ja T on kaasun absoluuttinen lämpötila, ja a on vakio. a) Etsi a:n arvo. (Vihje: Normaalijakauma ja osittaisinteg1 rointi.) b) Etsi satunnaismuuttujan w= mv 2 (molekyylin liike2

energia) kertymäfunktio. (Vihje: Muuta muotoa P{w< γ} oleva todennäköisyys muotoa P{v< ...} olevaksi). 3.

4.

Kolme hirvenmetsästäjää liikkuu porukassa. Kukin heistä osuu hirveen todennäköisyydellä 0.1 (aika onnettomia metsästäjiä!). Todennäköisyys sille, että hirvi kuolee, kun siihen osuu 1, 2 tai 3 laukausta ovat 0.3, 0.6 ja 1, vastaavasti. Porukka haluaa tietysti kaataa hirven mahdollisimman suurella todennäköisyydellä. Jos ampumaetäisyydelle tulee ainakin kolme hirveä, niin kumpi on parempi strategia, se että jokainen ampuu omaa hirveään, vaiko se että kaikki ampuvat samaa hirveä? Kukin ehtii siinä sählingissä ampua vain yhden laukauksen.  x Satunnaisvektori  y  on tasan jakautunut neliöön 0 < x< 1, 0 < y< 1, ts. sen tiheysfunktio on =1 ko. neliössä ja =0 sen ulkopuolella. a )  x Etsi satunnaisvektorin  y  kertymäfunktio. b) Millä todennäköisyydellä x2>y?

5.

Satunnaismuuttujalla x on normaalijakauma ja sen tiheysfunktio on α2 2 1 p x (α) = e 2σ . Tiedetään, että P{|x|>1} = 0.5. Mikä on 2π σ P{x>2}? (Jollet saa numeerista arvoa laskimesta tai muualta, niin anna ainakin lauseke, josta kysytyn todennäköisyyden saa.)

6.

Diskreetille satunnaismuuttujalle x on P{x=n} = (1-a)an (n=0,1,...), missä a on vakio. a) Miltä väliltä vakion a arvon saa valita? b) Kirjoita x:n kertymäfunktio ja tiheysfunktio käyttäen askelfunktiota ja deltafunktiota. (x:n jakauma on ns. geometrinen jakauma eli Pascalin jakauma.)

88

7.

Rulettinuolelle annetaan satunnainen kulmanopeus väliltä [2.0,6.0] (tasajakauma, yksikkönä rad/s). Pyöriminen hidastuu vakionopeudella 0.5 rad/s2. Päävoitto on välillä 4.08 rad - 4.40 rad ja alussa nuoli on lähtöasennossa (0 rad). a) Mikä on päävoiton todennäköisyys? (Mukana on vähän fysiikkaakin, mutta olkoon nyt.) b) Jos unohdetaan muut voitot ja pelin hinta on 2 mk, niin mikä pitäisi päävoiton olla, jotta pelikerta tuottaisi ruletin pitäjälle keskimäärin 1 mk?

8.

Ympyrän kehällä on kiinteä piste O. Kehältä valitaan satunnaisesti ja toisistaan riippumatta kaksi pistettä P ja Q, jolloin kehä jakautuu kahteen kaareen. Etsi sen kaaren pituuden kertymäfunktio, jolla kiinteä piste O on. Satunnainen valinta tarkoittaa, että kaikki kehän pisteet ovat yhtä todennäköisiä (tasajakauma ympyrän kehälle).

9.

Eräs kurssi jakautuu sopivasti kymmeneen osaan. Luennoija laatii  10 tentit siten, että kysymykset (5 kpl) tulevat eri osista ja kukin  5  = 252 yhdelmästä on yhtä todennäköinen. Teekkari T.T. valitsee kurssin osista kaksi helpointa ja opettelee ne niin hyvin, että hän saa näitä osia koskevista tenttitehtävistä täydet pisteet. (Asiaa helpottavat tenttiarkistot, joista käy ilmi, että ko. osia koskevia erilaisia tehtäviä ei ole kovin monta ja osan niistä voi opetella ulkoa.) Muita osia hän ei opettele. a ) Millä todennäköisyydellä tenttiin tulee kysymys kummastakin T.T.:n osaamasta kurssin osasta? b) Luennoija vaatii kuitenkin, että tentistä pääsee läpi vain, jos saa pisteitä (ainakin) yhden enemmän kuin mitä kahdesta tehtävästä voi saada. Mutta kyllä se runosuoni yleensä sen verran pulpahtelee, että 90% todennäköisyydellä T.T. saa vaaditun yhden pisteen. Millä todennäköisyydellä T.T. läpäisee tentin vuoden aikana, kun vuodessa on ko. kurssista neljä tenttiä ja T.T. osallistuu tarvittaessa kaikkiin näistä?

10.

Laske: ∞

 π 1 a) ⌠ ⌡  cos(2α)δ ( α+ 2 ) - lnα δ(α-1) - α 2+1  -∞ ∞

 ∞ 1    dα δ(α-n) b) ⌠ ⌡ ∑ 2n   0 n=0 

∞

  dα

 ∞ 1  c) ⌡ ⌠  ∑ α δ(α-n) dα 2   0 n=0 

89

b

11.

Miten pitäisi määritellä ⌠ ⌡ f(α)g'(α)δ ( g(α) ) dα, jotta integraalilasa b

g(b)

kennan sijoitussääntö ⌠ ⌡ h(α)g'(α)dα = ⌠ ⌡ h ( g -1 (β)) dβ pitäisi paika

g(a)

kansa? Asian helpottamiseksi voidaan olettaa, että g(α) on välillä 1

[a,b] aidosti kasvava funktio. Esimerkkinä laske mitä on tällöin ⌠ ⌡ 0

α(α+1)δ(α 2 - 0.5)dα. 12.

13.

14.

Pysäkille pysähtyy kahden eri linjan busseja (bussit A ja B). Asian yksinkertaistamiseksi voidaan olettaa, että A ja B kulkevat toisistaan riippumatta, A aina 14 minuutin välein ja B puolestaan 16 minuutin välein. (Bussien “vaihe-ero” oletetaan satunnaiseksi.) Teekkari T.T. käyttää mainittua pysäkkiä. Hänelle käy kumpi bussi tahansa. T.T. kävelee pysäkille ja tällöin hän kolmen minuutin aikana voi nähdä pysäkin ohi mahdollisesti kulkevan bussin. Mainittakoon vielä, että T.T. ei periaatteesta koskaan juokse bussille. (Säveltäjämestari Jean Sibeliuksen kerrotaan vastanneen urheilusta kysyttäessä, ettei hän ole koskaan tehnyt yhtään ylimääräistä liikettä. Teekkari T.T. on samaa maata: “Aina on bussiin päässyt juoksematakin.”) a) T.T.:tä kumminkin keljuttaa nähdä pysäkille kävellessään bussin menevän ennen kun hän ehtii pysäkille. Jos T.T. lähtee satunnaiseen aikaan pysäkille, niin mikä on tämän todennäköisyys? b) Erityisesti T.T.:tä keljuttaa, jos hän näkee molempien bussien menevän tällä tavoin nenän edestä. Mikä on tämän todennäköisyys?  x Satunnaisvektorin  y  kertymäfunktio F xy (α,β) tunnetaan. Ilmoita todennäköisyys P{x< 2,2 0 ja muutoin 0. λ i:t ovat positiivisia vakioita. Mikä on kyseinen vakiokertoja? (Tällaisia jakaumia esiintyy luotettavuusteoriassa.) 15.

 x Satunnaispari  y  on tasan jakautunut origokeskiseen 2-säteiseen ympyrään, ts. tiheysfunktio pxy(α,β) on vakio ko. ympyrässä ja nolla sen ulkopuolella. Etsi reunajakauman tiheysfunktio p x (α). Jos valitaan mainitusta ympyrästä satunnaisesti piste, niin millä todennäköisyydellä sen projektio x-akselilla on välillä [-0.5,0.5] ?

90

16.

Alla on kuvattuna välin [a,b] ns. kolmiojakauman (eli Simpsonin jakauman) tiheysfunktio. Jakaumaa merkitään K(a,b):llä. Tällaista jakaumaa käytetään usein approksimapx(α) tiivisena jakaumana, kun todellisesta jakaumasta on vain vähän tietoja (arvot suurin piirtein välillä [a,b], symmetrinen, yksihuippuinen). Normaalijakautuneen satunnaismuuttujan y tiheysfunktio on α (β-0.5)2 a a+b b 8 1 2 py (β) = e . 2 2π

17.

Jos y:n jakaumaa approksimoidaan K(a,b)-jakaumalla siten, että varianssi (=4) ja keskiarvo (=0.5) säilyvät samoina, niin mitä ovat a ja b?  x Satunnaisvektori y  on tasan jakautunut neliöön, jonka kärjet ovat 1

(0,1), (1,0), (0,-1) ja (-1,0), ts. sen tiheysfunktio on = 2 ko. neliössä ja =0 neliön ulkopuolella. Etsi x:n tiheysfunktio (marginaalijakauma). ∞

18.

Näytä, että p x (α) = ⌠ ⌡ px β(α β)p y (β)dβ yhdistämällä luentojen -∞

marginaalijakauman ja ehdollisen jakauman tiheysfunktioita koskevat kaavat. (Tässä tietysti oletetaan, että yhteisjakauman tiheysfunktio p xy (α,β) on olemassa. Kaava on muuten ns. Kokonaistodennäköisyyskaava. Se on toisinaan varsin kätevä ja yleistyy ilmeisellä tavalla myös satunnaisvektoreille x ja y. ) 19.

Todennäköisyys, että tikanheittäjä saa tikan osumaan etäisyydelle α2 α tikkataulun keskipisteestä tai lähemmäksi on min (1,8000 2 ) , δ missä δ on heittäjän etäisyys taulusta (etäisyydet metreissä). Jos heittäjä asettuu satunnaiselle etäisyydelle d väliltä [4 m,6 m] (tasajakauma), niin millä todennäköisyydellä hän osuu kymppiin, jonka säde on 1 cm? (Vihje: Huomaa, että annettu todennäköisyys on osumisetäisyyden x ehdollinen kertymäfunktio ehdolla d=δ. Tästä saat vastaavan ehdollisen tiheysfunktion tavalliseen tapaan derivoimalla, jonka jälkeen voit käyttää edellisen tehtävän Kokonaistodennäköisyyskaavaa, jne..)

20.

Satunnaisvektorin x kertymäfunktio Fx ( α ) tunnetaan. Lausu sen avulla satunnaismuuttujan y = max(x1,…,xn) kertymäfunktio. (Helpompaa kuin ollenkaan luulisikaan! x1,…,xn ovat tietysti x:n komponentit.)

91

21.

Kirjoita oheisessa kuviossa annettu sekajakautuneen satunnaismuuttujan x kertymäfunktio jatkuvan funktion ja porrasfunktion summaksi sekä johda siitä derivoimalla ko. satunnaismuuttujan x tiheysfunktio. (Kuviossa on akselien skaalat valittu selvyyssyistä erilaisiksi.)

Fx(α) 1

0.75 0.55 0.45 0.3

α 1

2

2.5

22.

Ympyrän muotoiseen levyyn ammutaan kolme kiinnityskoukkua. Koukkujen paikat ovat riippumattomat ja tasan jakautuneet ympyrään. Millä todennäköisyydellä ympyrän keskipiste on koukkujen muodostaman kolmion sisällä, jolloin levy voidaan ripustaa koukuista vaaka-asentoon?

23.

Piste P valitaan satunnaisesti maapallon pinnalta. Tämä tarkoittaa sitä että todennäköisyys sille, että P osuu alueelle, jonka ala on A, A on , missä R on maapallon säde. (Millä todennäköisyydellä P 4πR2 osuu Suomeen?) Asetetaan xyz-koordinaatisto seuraavasti: Origo on maapallon keskipisteessä; z-akseli on maapallon akselilla, positiivinen suunta kohden pohjoisnapaa; x-akseli kulkee 0-meridiaanin kautta. Tulkitaan P koordinaattiensa kautta satunnaisvektoriksi r   x  θ y   ja siirrytään sylinterikoordinaatteihin   . (Siis x = r cos θ, y = z z  r sin θ, z = z.) a) Näytä, että θ on tasan jakautunut välille [0,2π). b ) Näytä, että z on tasan jakautunut välille [-R,R]. c) Näytä, että θ ja z ovat riippumattomat. d) Millä tavoin edellisten kohtien nojalla valitsisit P:n käyttäen satunnaislukugeneraattoria, joka antaa välille [0,1) tasan jakautuneita satunnaislukuja? (Entäs, jos pitäisi antaa P:n koordinaatit pituus- ja leveysasteina?)

24.

Etsi s. 14 mainitut välit Ii seuraaville funktioille y = f(x), tutki mitä tyyppiä f on kullakin väleistä ja lausu y:n tiheysfunktio x:n tiheysfunktion px(α) avulla. Tässä voidaan olettaa, että px(α) on arvoltaan positiivinen kaikille α:n arvoille. a ) y = tan x

(Tilanne: Pyörään on piirretty keskiön kautta kulkeva merkkinuoli. Pyörää pyöräytetään satunnaisen kulman x verran. y on nuolen kulmakerroin.)  1, jos x>0 b ) y = sgn x ln|x|, missä signumfunktio sgn x =  0, jos x=0 -1, jos x0), e -1 h missä a ja b ovat vakioita (b = k T , jos se mitään sanoo). Mikä on c emittoituneen säteilyn aallonpituuden = f tiheysfunktio?

l

26.

Satunnaismuuttujan x (jakauman) sanotaan olevan itseinvertoituva, 1 jos sen inverssin y = x tiheysfunktio on sama kuin x:n tiheysfunktio, ts. px (α) = p y (α). Näytä, että jos x:llä on Cauchyn jakauma, ts. 1 p x (α) = , niin se on itseinvertoituva. π(1+α 2 )

27.

Näytä, että jatkuva satunnaismuuttuja x on itseinvertoituva (ks. edellinen tehtävä) tarkalleen silloin, kun sen tiheysfunktio toteuttaa ehdon px(1/α) = α2 px(α), kun α≠0.

28.

Satunnaishälyn fysikaalisella intensiteetillä x on Rayleighin jakauma, ts. 2λαe-λα 2, jos α>0 , p x (α) =  0, jos α 0. Tällöin saadaan ns. yleistetty Chernoffin epäyhtälö  f(tx) P { x> ε} < min E   f(tε)  t>0 Soveltamalla tätä satunnaismuuttujaan |x-µx| ja valitsemalla funktion f(α) sopivasti saat Tshebyshevin epäyhtälön! Kuinka pitää f(α ) tällöin valita? (Itse asiassa ko. satunnaismuuttujalle |x-µx| kirjoitettu yleistetty Chernoffin epäyhtälö tunnetaan myös yleistettynä Tshebyshevin epäyhtälönä, toisinaan minimin sijasta otetaan vain t:n arvo t=1.)

64.

Vielä tuosta Chernoffin epäyhtälöstä. Kokeile sitä eksponenttijakaumaan, jonka tiheysfunktio on p x (α) = 2e -2α (α > 0). (Vrt. Tehtävä 61.)

65.

Jatkuvan satunnaismuuttujan x entropia (jos olemassa) on ∞

E ( -ln ( p x (x) )) = - ⌠ ⌡ ln( p x (α)) p x (α) dα =merk. H(x). -∞

Tässä sovitaan, että ln(p x(α))p x(α)=0 silloin, kun px(α) = 0. Tämä on sopusoinnussa tunnetun raja-arvon lim β ln β = 0 kanssa. Laske β→0+

a) välille [0,a] tasajakautuneen ja b) eksponenttijakautuneen (tiheysfunktio λe -λα (α > 0), missä λ>0 on parametri) satunnaismuuttujan entropiat. Entropia mittaa (subjektiivista) epävarmuutta, joka satunnaismuuttujan arvosta a priori on. Miten tämä ilmenee saamissasi entropioissa? (Eli mitäpä tapahtuu, kun a→0+ tai a→∞ tai kun λ→0+ tai λ→∞ ?) 66.

v ja w ovat satunnaismuuttujia, joiden odotusarvot, keskineliöt ja tulomomentti tunnetaan. Merkitään x(t) = vt+w (stokastinen prosessi, kuvaajaltaan “satunnaissuora”). Etsi x(t):n odotusarvo, keskineliö sekä autokorrelaatio lausuttuna mainittujen tunnettujen suureiden avulla.

67.

Etsi edellisen tehtävän “satunnaissuoran” x(t) = vt+w tiheysfunktio p x(t) (α;t), kun v=tan φ (φ on suoran t-akselin kanssa muodostama satunnainen kulma, tasan välille (-π/2,π/2) jakautunut) ja w on jakautunut tasan välille [-1,1]. Onko E(x(t)) olemassa?

100

68.

Stokastisen prosessin x(t) odotusarvo on µ x (t)=3 ja sen autokorrelaatio on P x (t,τ) = 9 + 4e-0.2|t-τ|cos 2(t-τ). Etsi x(t):n a) varianssi,  x ( 1 ) b) autokovarianssi sekä c) satunnaisparin x ( 2 ) keskineliö.

69.

Stokastisesta prosessista x(t), jonka autokorrelaatio P x (t,τ) tunnetaan, muodostetaan viipeillä vektoraalinen prosessi  x(t)  y(t) =  x(t-0.1) .  x(t-0.2) Mikä on y(t):n autokorrelaatio Py (t,τ) lausuttuna Px(t,τ):n avulla?

70.

Välien [x,x+1] ja [y,y+1] alkupisteet x ja y ovat satunnaismuuttujia, jotka ovat riippumattomia ja tasan jakautuneita välille [0,5]. Paljonko välit keskimäärin ovat päällekkäin? Tämän tapaisia päällekkäisyyssatunnaismuuttujia esiintyy monissa tilanteissa. Esimerkki tekniikan ulkopuolelta: Sanotaan, että suuria valtiomiehiä on yksi per sukupolvi. Otetaan tämä todesta siinä mielessä, että tällaisia valtiomiehiä (-naisia) on (keskimäärin) kaksi 50 vuodessa. Jos ajatellaan, että aika, jonka mainittu henkilö on johtavassa asemassa, on (keskimäärin) 10 vuotta, niin kauanko kyseiset kaksi suurta valtiomiestä keskimäärin ovat samanaikaisesti johtavassa asemassa?

71.

Merkitään θ:lla ajanhetkeä, jolloin Poisson-prosessi ensimmäisen kerran saa arvon, joka on > 1. Silloin θ on satunnaismuuttuja. Mikä on θ:n tiheysfunktio?

72.

Stokastisen prosessin x(t) odotusarvo µ x (t) sekä autokorrelaatio Px(t,τ) tunnetaan. Lausu näiden avulla stokastisen prosessin y(t) = c0 x(t) + c1 x(t-1) +˘˘˘ + ck x(t-k) (esim. painotettu liukuva keskiarvo) odotusarvo ja autokorrelaatio, kun c0,…,ck ovat vakioita.

73.

Usein heikosti stationäärisistä stokastisista prosesseista x(t) voidaan olettaa, että “äärettömän kaukaisten ajanhetkien välillä ei ole korrelaatiota”, ts. että lim Rx (τ) = O (nollamatriisi) . (Tietyssä τ→±∞

mielessä tämä tarkoittaa, että prosessissa ei ole mukana “puhtaasti värähteleviä osia”.) a) Miten tällöin saadaan µx laskettua Cx (τ):sta (ainakin “neliöjuurta vaille”). Kokeile skalaaritapauksiin sin(ωτ) +1 (ω on positiivinen b) Cx(τ) = e-|τ| cos(ωτ) ja c) C x (τ) = τ vakio).

101

74.

x(t) on Brownin liike, joka on muodostettu II.2:ssa esitetyllä tavalla raja-arvona satunnaiskulusta. a) Näytä, että myös prosessi y(t)=cx(t), missä c>0 on vakio, on Brownin liike. (Intensiteetin muuttaminen.) b) Näytä, että prosessi z(t)=x(at), missä a>0 on vakio, on myös Brownin liike. (Kiihdytys/hidastus.) (Vihje: Muodosta ko. prosessit raja-arvoina sopivista satunnaiskuluista. Minkälaisista?)

75.

Muodostetaan jatkuvasta ja jatkuva-amplitudisesta stokastisesta prosessista x(t) uusi stokastinen prosessi y(t)=x(t+φ), missä φ on satunnaismuuttuja, joka on riippumaton stokastisesta prosessista x(t). Silloin ilmeisesti x(t+φ):n tiheys ehdolla φ=γ on p x(t+φ) γ(β;t γ) = px(t+γ)(β;t+γ) ja (Kokonaistodennäköisyyskaava, ks. Tehtävä 18) ∞

py(t)(β;t) = ⌡ ⌠ px(t+γ) (β;t+γ)p φ (γ) dγ. -∞

(Tällaista temppua käytetään tekemään eräistä epästationäärisistä stokastisista prosesseista stationäärisiä. Esimerkiksi prosessi A sin(ωt) ei ole heikosti stationäärinen, itse asiassa se on deterministinen signaali. Toisaalta A sin(ωt+φ), missä φ on tasan jakautunut välille [-π,π), eli satunnaisvaiheinen sini, on heikosti stationäärinen.) ∞

a ) Näytä, että E(y(t) ) = ⌡ ⌠ E ( x(t+γ) ) p φ (γ) dγ = E ( µ x (t+φ) ) . (Tässä ole-∞

tetaan, että ko. odotusarvot ovat olemassa ja että integrointijärjestystä saa huoleti vaihtaa.) b ) Etsi p y(t) (β;t), kun x(t) on Brownin liike (varianssi αt) ja φ on tasan jakautunut välille [0,1]. (Anna nyt ainakin integraalilauseke.) 76.

Käyttäen sinin summakaavaa voidaan satunnaisvaiheinen sini x(t) = A sin(ωt+φ) (missä siis φ on tasan jakautunut välille [-π,π) ja A sekä ω ovat vakioita) kirjoittaa muotoon x(t) = a sin(ωt) + b cos(ωt), missä a ja b ovat satunnaismuuttujia. Näytä, että a ja b ovat korreloimattomat.

77.

Tarkastellaan muotoa x(t) = a sin(ωt) + b cos(ωt) olevaa stokastista prosessia, missä ω on vakio ja a sekä b ovat satunnaismuuttujia. Mitä ehtoja pitää E(a):n, E(b):n ja Pab:n toteuttaa, jotta x(t) olisi heikosti stationäärinen? (Vihje: Edellinen tehtävä.)

78.

Ystävämme teekkari T.T. kärsii valitettavasti migreenistä. Kuten tunnettua, migreenikohtauksen laukaisevat mitä erilaisimmat ärsykkeet. Oletetaanpa, että T.T.:n migreenin laukaisevien ärsykkeiden lukumäärä (jostain alkuhetkestä lukien) muodostaa Poisson-

102

2

prosessin, jonka intensiteetti on λ= 7 [vrk-1] (pari kertaa viikossa). T.T.:n migreenikohtaus kestää (noin) kaksi tuntia. a) Millä todennäköisyydellä T.T.:llä on migreenikohtaus meneillään hänet tavatessamme? (Jolloin T.T. ei tietenkään ole parhaimmillaan.) b ) T.T.:n tenttimisstrategian (ks. Tehtävä 9) johdosta hän osallistuu vuoden aikana varsin moneen tenttiin, tarkemmin sanoen 25 kolmen tunnin tenttiin. Jos T.T. kärsii migreenistä tentin aikana, niin tenttikerta menee pilalle. Montako tenttikertaa T.T. voi odottaa näin menettävänsä? 79.

x(t) on Poisson-prosessi intensiteetillä λ ja y(t) saadaan x(t):stä seuraavasti: 1, jos x(t) on pariton y(t) = 0, jos x(t) on parillinen  (Ennenvanhaan tällaista stokastista prosessia kutsuttiin satunnaistelegraafisignaaliksi. Kyseessä voisi olla esimerkiksi ON/OFF-kytkimen asento, kun käyttökertojen lukumäärä muodostaa Poissonprosessin.) Totea, että P{y(t)=0} = e-λt cosh(λt) ja P{y(t)=1} = e-λt sinh(λt). Näytä, että y(t) ei ole keskiarvostationäärinen eikä korrelaatiostationäärinen. (Vihje: Keskineliö.)

80.

(Jatkoa) Näytä, että jos y(t):hen lisätään satunnainen pariteetin vaihto eli siirrytäänkin tarkastelemaan stokastista prosessia z(t) = (1-2b)y(t)+b, missä b on y(t):stä riippumaton binäärinen satun1

naismuuttuja (P{b=0}=P{b=1}= 2 ), niin saadaan heikosti stationäärinen stokastinen prosessi.

Preamble: Stokastinen prosessi xn on diskreetti ja diskreettiamplitudinen, n=0,1,2,… . Lisäksi mahdolliset xn:n arvot ovat 0,1,…,m. Jos P {x n =i xn-1 =jn-1 & xn-2 =jn-2 &˘˘˘& x0 =j0 } = P{x n =i xn-1 =jn-1 } (n=1,2,…) ja P{x n =i xn-1 =j} =merk. π ij ei riipu n:stä, niin x(n) on Markovin prosessi*. Markovin prosessi “ei muista menneisyyttään eilistä pitemmälle”. Merkitään

*

Tarkemmin sanoen diskreetti diskreettiamplitudinen homogeeninen äärellinen Markovin prosessi. Tästä voi päätellä, että Markovin prosesseja on varsin monenlaisia. Poisson-prosessi on esimerkki jatkuvasta diskreettiamplitudisesta homogeenisesta äärettömästä Markovin prosessista, satunnaiskulku diskreetistä diskreettiamplitudisesta homogeenisesta äärettömästä Markovin prosessista j a (kuten voi arvata) Brownin liike on esimerkki jatkuvasta jatkuva-amplitudisesta homogeenisesta Markovin prosessista.

103

 π00 ˘˘˘ π0m   ˘  ˘ Π= ˘  ˘   πm0 ˘˘˘ πm m 

ja

 P{x n˘ = 0 }   pn =  ˘ P{x n = m }

(n=0,1,…).

Π on ns. stokastinen matriisi, ts. sen alkiot ovat > 0 ja sarakesummat =1. 81.

Näytä, että p n = Πnp 0. (Vihje: Muistele diskreettiä Kokonaistodennäköisyyskaavaa: Jos P{B 1 } + ˘˘˘+ P{B k } = 1 ja P{B 1 },…,P{B k }>0, niin P{A} = P{A B1 }P{B 1 } +˘˘˘ + P{A Bk }P{B k }.)

82.

Välille 0,…,Rs rajoitettu satunnaiskulku x(nT) on muuten samanlainen kuin II.2:ssa esitetty (ääretön) satunnaiskulku, mutta se “heijastuu” takaisin “seinämistä” 0 ja Rs, ts. x((n+1)T)=s, jos x(nT)=0, ja x ( (n+1)T ) =(R-1)s, jos x(nT)=Rs. Näytä, että x(nT) on Markovin prosessi ja etsi sille matriisi Π sekä vektori p . (Tässä voi ottaa 0 s=1 ja T=1.)

83.

Teekkarimme T.T. on todennut, että P {hän lähtee koululle hän 2

oli koululla edellisenä päivänä} = 3

ja P {hän lähtee koululle hän 1

ei ollut koululla edellisenä päivänä} = 3 . Kyseessä on Markovin 2/3 1/3 prosessi: m=1 ja Π =  1/3 2/3  (1=“lähtis”, 0=“ei viittis”) . Näytä, 1/2 1/2 1/2 että lim Π n =  1/2 1/2  ja lim p n = 1/2 . (Vihje: Laske muutamia n→∞ n→∞

Π :n potensseja, arvaa näistä lauseke Π n:lle ja tarkista arvauksesi oikeellisuus.) Tässä päivä=luentopäivä. 84.

a) Näytä, että Markovin prosessi on 1. kertalukua stationäärinen tarkalleen silloin, kun p 0 on ominaisarvoa 1 vastaava Π:n ominaisvektori. b) Näytä, että Π :llä on aina ominaisarvona 1. (Vihje: Kannattaisi ehkä tarkastella transpoosia Π T.) 1

85.

x(t) on Brownin liike, varianssina αt. Merkitään y(t) =⌡ ⌠ x(t)dt. 0

Laske µy ja Py . 86.

Stationäärisen stokastisen prosessin x(t) autokovarianssifunktio on R x(τ)=e-|τ|. Onko x(t) keskiarvoergodinen? Perustele vastauksesi!

87.

Keskiarvoergodisuuden käsitteeseen liittyy ns. Markovin lause. 1 ⌠T Merkitään y(T) = T ⌡ x(t) dt. Silloin (s. 58) 0

104

1

T

E ( y(T) ) = T ⌠ ⌡ µ x (t) dt =merk. m(T) 0

ja 1

T T

⌠⌡ ⌠ Vx (t,τ) dt dτ =merk. v(T). V( y(T) ) = 2 ⌡ T 0 0

Markovin lause sanoo, että jos lim m(T) = m (vakio) ja lim v ( T ) T→∞

T→∞

= 0, niin l.i.m. y(T) = m. Näytäppä tämä. (Vihje: Kirjoita ( y(T)T→∞

m )2 = (( y(T)-m(T) ) + ( m(T)-m )) 2 , avaa neliö, etc..) Soveltuukohan lause Brownin liikkeeseen? 88.

1 a) Osoita oikeaksi epäyhtälö P{|x n -x|> ε} < 2 E ( (x n -x) 2 ) (eräs ε yleistetty Tsebyshevin epäyhtälö tämäkin, ks. Tehtävä 63) ja b ) näytä sen avulla, että jos l.i.m. xn = x, niin xn → x myös stokastin→∞

sesti, kun n→∞. 89. a) Jos satunnaisvektorit x ja y ovat samandimensioisia ja P x sekä P y ovat olemassa, niin pätee ns. kolmioepäyhtälö E(|| x + y ||2 )

E(|| x ||2)


0 on vakio) . 2ω2 Laske keskineliö, kun tehospektri on 4 . ω +1 Valitse Tehtävän 102b tehospektrissä oleva vakio a siten, että vastaava keskineliö on =0.5.

103. 104.

105.

a+0.5 , + a )((-2s+1) 2 + a ) missä a>0 on säädettävä parametri. Valitsemalla a eri tavoin väliltä 0