Proiect Probabilitati Si Procese Stocastice [PDF]

Zitiervorschau

˘ MINISTERUL EDUCAT ¸ IEI, CERCETARII, TINERETULUI S ¸I SPORTULUI Universitatea ”Transilvania” din Bra¸sov Departamentul de Matematic˘ a ¸si Informatic˘ a

Drd. Mioara Alina Nicolaie

Teoreme de convergent¸˘ a ¸si monotonie pentru lant¸uri Markov finite Convergence and monotonicity theorems for finite Markov chains Rezumatul tezei de doctorat Summary of the PhD thesis

Conduc˘ ator ¸stiint¸ific Prof. univ. dr. Gabriel V. Orman

Bra¸sov, 2012

˘ MINISTERUL EDUCAT ¸ IEI, CERCETARII, TINERETULUI S ¸I SPORTULUI UNIVERSITATEA ”TRANSILVANIA” DIN BRAS ¸ OV B-dul Eroilor, Nr. 29, 500036, Bra¸sov, Telefon 0040–268–413000, Fax 0040–268–410525, RECTORAT

D-lui (D-nei) .............................................................................................................. COMPONENT ¸A Comisiei de doctorat Numit˘a prin Ordinul Rectorului Universit˘a¸tii ”Transilvania” din Bra¸sov Nr. 5400 din 14.09.2012 PRES¸EDINTE :

- Prof. univ. dr. Marin MARIN DECAN - Facultatea de Matematic˘a ¸si Informatic˘a Universitatea ”Transilvania” din Bra¸sov ˘ CONDUCATOR S¸TIINT ¸ IFIC : - Prof. univ. dr. Gabriel V. ORMAN Universitatea ”Transilvania” din Bra¸sov REFERENT ¸I : - Acad. dr. doc. Marius IOSIFESCU Academia Romˆan˘a - Cercet. pr. I dr. Ioan STANCU-MINASIAN Institutul de Statistic˘a Matematic˘a ¸si Matematici Aplicate ”Gh. Mihoc – C. Iacob” - Conf. univ. dr. Mihai PASCU Universitatea ”Transilvania” din Bra¸sov

V˘a invit˘am s˘a luat¸i parte la sust¸inerea public˘a a tezei de doctorat, ˆın data de 14.12.2012, la ora 11.00, sala PP6. V˘a rug˘am s˘a transmitet¸i ˆın timp util aprecierile sau observat¸iile dumneavoastr˘a asupra cont¸inutului tezei pe adresa: Departamentul de Matematic˘a ¸si Informatic˘a, Str. Iuliu Maniu, nr. 50, cod 500091, Bra¸sov sau fax +40 268 414016 sau pe adresa de e-mail: [email protected]. V˘a mult¸umim!

Cuprins INTRODUCERE

3

˘ TRECERE PRIN ANALIZA MATEMATICA ˘ 1 O SCURTA

5

2 LANT ¸ URI MARKOV OMOGENE FINITE 2.1 Introducere . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.2 Convergent¸a . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.3 Propriet˘a¸ti spectrale ale matricei stocastice . . . . . . . . . . . .

5 5 6 9

3 LANT ¸ URI MARKOV NEOMOGENE FINITE 3.1 Introducere . . . . . . . . . . . . . . . . . . . . . 3.2 Un popas prin literatur˘a . . . . . . . . . . . . . . 3.3 Relat¸ii de recurent¸a˘ . . . . . . . . . . . . . . . . . 3.4 Teoreme de convergent¸a˘ ¸si ergodicitate . . . . . . 3.4.1 Teoreme de convergent¸a˘ . . . . . . . . . . 3.4.2 Teoreme de convergent¸a˘ ˆın medie Cesaro . 3.4.3 Teoreme de ergodicitate . . . . . . . . . . 3.4.4 Teoreme de C-ergodicitate . . . . . . . . . 4 CONJECTURA LAUGESEN-MORPURGO: ˘ DISCRETA 4.1 Introducere . . . . . . . . . . . . . . . . . . . 4.2 Preliminarii . . . . . . . . . . . . . . . . . . . 4.3 Rezultate principale . . . . . . . . . . . . . . . 4.4 Extensii ¸si aplicat¸ii . . . . . . . . . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

11 11 12 15 15 15 18 21 25

˘ O VARIANTA . . . .

. . . .

. . . .

. . . .

. . . .

. . . .

5 APLICAT ¸ II ALE LANT ¸ URILOR MARKOV 5.1 Introducere . . . . . . . . . . . . . . . . . . . . . . . . . 5.2 Riscuri competitive . . . . . . . . . . . . . . . . . . . . . 5.2.1 Introducere . . . . . . . . . . . . . . . . . . . . . 5.2.2 Modelul statistic . . . . . . . . . . . . . . . . . . 5.2.3 Construct¸ia funct¸iei de verosimilitate ¸si algoritmul 5.3 Analiza de date reale . . . . . . . . . . . . . . . . . . . . ˘ 6 ANEXA

. . . . . . . .

. . . .

. . . .

26 26 27 29 31

. . . . . . . . . . . . EM . . .

. . . . . .

32 32 32 32 33 35 37

. . . .

. . . .

40

CONCLUZII

41

REZUMAT

47

1

CURRICULUM VITAE

49

2

INTRODUCERE Lant¸urile Markov finite reprezint˘a cel mai simplu proces stocastic cu variabile dependente; ele sunt o generalizare a ¸sirurilor de variabile aleatoare independente, generalizare care ˆıns˘a p˘astreaza un profund caracter pragmatic. Aceast˘a lucrare este dedicat˘a studiului lant¸urilor Markov finite, un domeniu de interes nu numai teoretic prin problemele intrinseci ce ˆı¸si asteapt˘a rezolvarea din partea matematicienilor, ci ¸si de interes practic prin aplicat¸iile sale ˆın alte domenii ale ¸stiint¸ei precum ingineria, economia, psihologia, biologia, sociologia, demografia ¸si medicina [39]. Lant¸urile Markov pot fi studiate ¸si analizate din mai multe puncte de vedere. ˆIn aceast˘a lucrare ne exprim˘am interesul pentru abordarea problemei comportamentului ˆın timp finit ¸si a comportamentului asimptotic al unor clase largi de lant¸uri Markov finite. Pentru comportamentul ˆın timp finit prefer˘am metoda cuplajelor, iar pentru studiul comportamentului asimptotic ne desprindem de contextul probabilistic tipic Markovian ¸si studiem produse infinite de matrici stocastice. Utilizarea lant¸urilor Markov ˆın statistica aplicat˘a pentru modelarea unor fenomene fac obiectul de studiu al ultimei p˘art¸ii a lucr˘arii. Aici ne exprim˘am preferint¸a pentru analiza datelor medicale (estimarea funct¸iei cumulative de incident¸a˘), ˆıns˘a metoda propus˘a poate fi aplicat˘a la o clas˘a larg˘a de probleme practice ˆın care se urm˘areste estimarea probabilit˘a¸tii realiz˘arii unui eveniment de interes (de exemplu, defectarea unui sistem mecanic ˆın fiabilitate sau estimarea ratei natalit˘a¸tii ˆın demografie, etc.). Lucrarea este ˆımp˘art¸it˘a ˆın cinci capitole ¸si o anex˘a. Capitolul 1 cont¸ine o trecere ˆın revist˘a a cˆatorva rezultate din analiza matricial˘a ¸si real˘a ce servesc la obt¸inerea unor rezultate ulterioare. Capitolul 2 este consacrat studiului lant¸urilor Markov finite omogene, avˆand ca direct¸ie principal˘a comportamentul asimptotic al lant¸ului. Capitolul 3 este dedicat studiului lant¸urilor Markov neomogene finite, avˆand ca direct¸ie comportamentul asimptotic al lant¸ului, mai exact studiem probleme de convergent¸a˘, ergodicitate (uniform˘a) slab˘a ¸si tare. Suntem interesat¸i de clasa lant¸urilor avˆand matricile de tranzit¸ie (Pn )n≥1 cu proprietatea c˘a exist˘a limn→∞ Pn = P ¸si, mai general, ∃d ≥ 1 astfel ˆıncˆat limn→∞ Pn,n+d = P . 3

Sunt considerate dou˘a tipuri de matrici limit˘a P : (i) matricea P are p ≥ 1 clase aperiodice ¸si, eventual, st˘ari tranziente; (ii) matricea P are p ≥ 1 clase periodice (fiecare clas˘a fiind de perioad˘a di ≥ 1, i = 1, . . . , p) ¸si, eventual, st˘ari tranziente (admitem c˘a exist˘a cel put¸in o valoare i, i = 1, . . . , p, astfel ˆıncˆat di > 1). Capitolul 3.1 introduce formal problema enunt¸at˘a. Capitolul 4 este dedicat unui tip particular de lant¸ Markov omogen ¸si anume drumul aleator cu spat¸iul st˘arilor {−s, −s + 1, . . . , s − 1, s}, unde s ∈ N ∗ , cu bariere reflectante la −s ¸si s. Studiem o proprietate de monotonie a acestui lant¸ folosind ca tehnic˘a cuplajul de lant¸uri Markov finite. Capitoul 5 descrie o metod˘a de analiz˘a statistic˘a a unor date asupra duratei de viat¸a˘ ˆın cazul ˆın care observat¸iile asupra unor indivizii din populat¸ia statistic˘a sunt incomplete. Anexa cont¸ine implementarea metodei ˆın forma unui program scris ˆın limbajul de programare R. Lucrarea de fat¸a ˆı¸si propune s˘a contribuie la cunoa¸sterea lant¸urilor Markov finite prin demonstrarea unor noi rezultate de convergent¸a˘, ergodicitate ¸si monotonie, precum ¸si prin sinteza unor condit¸ii de convergent¸a˘ ¸si ergodicitate. De asemenea, lucrarea ˆı¸si propune s˘a valorifice valent¸ele acestui proces stocastic prin prezentarea unor aplicat¸ii ale propriet˘a¸tilor ˆın timp finit cˆat ¸si asimptotic ale acestui proces. ˆIn final, se impune s˘a ment¸ionez c˘a aceast˘a lucrare n-ar fi fost posibil˘a f˘ar˘a generozitatea ¸si sprijinul ˆındrumatorului de doctorat, al domnului Prof. Univ. Dr. Gabriel V. Orman, c˘aruia ˆıi mult¸umesc ¸si pe aceast˘a cale. Un alt sprijin important l-a constituit atmosfera din cadrul Seminarului ¸stiint¸ific condus de dˆansul, unde discut¸iile purtate ¸si temele discutate au fost surs˘a de inspirat¸ie ˆın demersul obt¸inerii rezultatelor publicate de autoare. Cercet˘arile necesare pentru realizarea obiectivelor fixate s-au desf˘a¸surat ˆın cadrul Universit˘a¸tii Transilvania din Bra¸sov, Facultatea de Matematic˘a ¸si Informatic˘a, precum ¸si la Institut de Math´ematiques de Luminy, Marsilia, Frant¸a, ca student doctorand finant¸at prin programul Erasmus. Le mult¸umesc ˆın special domnilor Prof. Univ. Dr. Radu Palt˘anea, Conf. Univ. Dr. Eugen Palt˘anea, Conf. Univ. Dr. Mihai N. Pascu ¸si Prof. S´ebastien Ferenczi pe aceast˘a cale pentru profesionalismul de care au dat dovad˘a ca ¸si colaboratori, r˘abdarea ¸si devotamentul lor care au contribuit la dezvoltarea mea. ˆIn final, ment¸ionez c˘a rezultatele prezentate ˆın aceast˘a lucrare admit generaliz˘ari la cazul lant¸urilor Markov num˘arabile sau la procese Markov ˆın timp continuu; autoarea are ˆın vedere continuarea cercet˘arilor.

4

1

˘ TRECERE PRIN ANALIZA O SCURTA ˘ MATEMATICA

Scopul acestui capitol ˆıl constituie o scurt˘a trecere ˆın revist˘a, f˘ar˘a demonstrat¸ii, a unui num˘ar de concepte ¸si rezultate din analiza matematic˘a ¸si analiza matricial˘a, marea lor parte fiind explicit necesare parcurgerii materialului prezentat ˆın aceast˘a lucrare. Vom folosi aceast˘a parte, de asemenea, pentru a introduce principalele notat¸ii ¸si a da cˆateva definit¸ii. Contribut¸ia autoarei const˘a ˆın aranjarea materialului ˆın aceast˘a form˘a; ment¸ion˘am ¸si rezultatul original din Propozit¸ia 1.10 (neredat˘a aici), ce va fi utilizat ˆıntr-un capitol ulterior.

2 2.1

LANT ¸ URI MARKOV OMOGENE FINITE Introducere

Peste tot ˆın aceast˘a lucrare va fi vorba numai de lant¸uri Markov finite, a¸sadar ment¸ionarea caracterului finit al lant¸ului Markov va fi omis˘a ˆın expunere ˆın cele ce umeaz˘a. ˆIn acest capitol prezent˘am cˆateva rezultate de teoria lant¸urilor Markov omogene. Problema urm˘arit˘a este, pe de o parte, cea a ”convergent¸ei” lant¸ului, independent de distribut¸ia sa init¸ial˘a, proprietate care, ˆın cazul unui lant¸ omogen avˆand matricea de tranzit¸ie P , se traduce prin existent¸a limitei lim P n ,

n→∞

iar, pe de alt˘a parte, ˆın cazul existent¸ei limitei, calculul valorii ei. Echivalent, convergent¸a revine la existent¸a limitelor limn→∞ (P n )ij , ∀i, j ∈ S, unde S este spat¸iul st˘arilor. Reformulˆand problema indicat˘a, interesul principal este centrat pe studiul condit¸iilor ˆın care limn→∞ (P n )ij exist˘a ¸si nu depinde de i, ∀i ∈ S. ˆIn secolul trecut, ˆın literatura de specialitate s-au evident¸iat mai multe metode de rezolvare a acestei probleme. ˆIn ordine cronologic˘a, ment¸ion˘am: metoda coeficientul de ergodicitate (Markov, Dobrushin [12], Paz [42], Seneta [47]), metoda clasific˘arii st˘arilor lant¸ului din punct de vedere probabilistic ¸(Markov, Doeblin [13]) ¸si metoda produselor infinite de matrici (Froebenius [16], Seneta [46]). Aici ne exprim˘am preferint¸a pentru abordarea algebric˘a a lant¸urilor Markov (incluzˆand analiza spectral˘a, descompunerea Jordan, vectori ¸si valori proprii), punctˆand acolo unde este necesar conexiunea cu abordarea probabilist˘a (incluzˆand clasificarea st˘arilor ¸si comportamentul asimptotic). Contribut¸ia autoarei ˆın Capitolul 2.2 const˘a ˆın selectarea materialului ¸si aranjarea lui, iar Capitolul 2.3 prezint˘a un rezultat original ([31], [34]). 5

2.2

Convergent¸a

Fie (Xn )n≥0 un ¸sir de variabile aleatoare luˆand valori ˆın S = {1, ..., r} (mult¸ime numit˘a spat¸iul st˘arilor) cu proprietatea P(Xn+1 = xn+1 |Xk = xk , ∀k : 0 ≤ k ≤ n) = P(Xn+1 = xn+1 |Xn = xn ) pentru oricare xk ∈ S, k = 0, . . . , n ¸si n ≥ 0. S¸irul (Xn )n≥0 se nume¸ste lant¸ Markov omogen dac˘a membrul drept din egalitatea de mai sus nu depinde de n. Cu alte cuvinte, ne putem gˆandi la Xn ca la starea ˆın care se afl˘a procesul la momentul n; ˆın cazul omogen, tranzit¸ia din aceast˘a stare c˘atre o alt˘a stare nu depinde de momentul de timp n. Astfel, lant¸ul Markov este specificat de distribut¸ia init¸ial˘a (distribut¸ia lui X0 ), de spat¸iul st˘arilor S ¸si de matricea de tranzit¸ie P = (Pij )i,j∈S , unde Pij = P(Xn+1 = j|Xn = i), ∀ i, j ∈ S. P O submult¸ime M a spat¸iului st˘arilor se nume¸ste ˆınchis˘a dac˘a ¸si numai dac˘a a submatricea PM ×M a matricii P j∈M Pij = 1 pentru oricare i ∈ M , adic˘ n este stocastic˘a (ca atare, ¸si puterea a n-a a matricii PM ×M , notat˘a PM ×M , este stocastic˘a); intuitiv, M este ˆınchis˘a dac˘a ¸si numai dac˘a nu este posibil ”s˘a p˘ar˘asim” M cˆand starea init¸ial˘a a lant¸ului este o stare din M ([20]). O clas˘a de st˘ari este o submult¸ime maximal˘a (ˆın sensul c˘a nicio alt˘a stare nu poate fi ad˘augat˘a acesteia) a spat¸iului st˘arilor cu proprietatea c˘a oricare dou˘a st˘ari ”comunic˘a” (ˆın sensul c˘a dup˘a un num˘ar finit de pa¸si ai lant¸ului, lant¸ul poate trece dintr-o stare ˆın alta) ([20]). Pentru o stare i ∈ S, cu proprietatea c˘a ∃n ≥ 1 astfel ˆıncˆat Piin > 0, not˘am cu di := cmmdc{m : Piim > 0}; i se nume¸ste periodic˘a sau aperiodic˘a dup˘a cum di > 1 sau di = 1 ([20]). De notat c˘a periodicitatea ¸si aperiodicitatea sunt propriet˘a¸ti de clas˘a ([20]). ˆIn continuare, consider˘am un lant¸ Markov omogen (Xn )n≥0 cu spat¸iul st˘arilor S = {1, ..., r} ¸si avˆand matricea de tranzit¸ie P = (Pij )i,j∈S , unde Pij = P(Xn+1 = j|Xn = i), i, j ∈ S, ∀n ≥ 0. Toate rezultatele acestui capitol folosesc matricea probabilit˘a¸tilor de trecere ¸si sunt independente de distribut¸ia init¸ial˘a, de aceea ne vom referi la lant¸ ca la lant¸ul Markov P . Presupunem c˘a P are p ≥ 1 clase ireductible ¸si ˆınchise, notate cu Si , i = 1, . . . , p, ¸si, posibil, st˘ari tranziente, a c˘aror mult¸ime o not˘am cu T , adic˘a are forma   S(1) 0 ... 0 0  0 S(2) ... 0 0    ... ... ... ...  P = (2.1)  ... .  0  0 ... S(p) 0 L(1) L(2) ... L(p) T ˆIn mod abuziv, ne-am permis s˘a not˘am atˆat mult¸imea st˘arilor tranziente, cˆat ¸si submatricea corespunz˘atoare lor tot cu T , ˆıns˘a ne vom ˆıngriji s˘a facem distinct¸ia necesar˘a ˆın fiecare context ˆın parte. 6

Vom face distinct¸ie ˆıntre dou˘a tipuri de astfel de lant¸uri P : cele pentru care S(i) este matrice de tranzit¸ie de ordinul ri × ri aperiodic˘a ¸si ireductibil˘a (numit˘a ¸si ergodic˘a), 1 ≤ i ≤ p ¸si cele pentru care S(i) este matrice de tranzit¸ie de ordinul ri × ri periodic˘a ¸si ireductibil˘a, de perioad˘a di ≥ 1, 1 ≤ i ≤ p, presupunˆand c˘a exist˘a cel put¸in un i ∈ {1, ..., p} astfel ˆıncˆat di > 1. ˆIn ambele cazuri, submatricea T caracterizeaz˘a lant¸ul atˆata timp cˆat st˘a ˆın cele r − Pp r ari tranziente, iar L(i) caracterizeaz˘a tranzit¸iile din st˘arile tranziente t=1 t st˘ ˆın clasa Si (clasa Si cont¸ine st˘arile a c˘aror mi¸scare este descris˘a de submatricea de tranzit¸ie S(i) ), 1 ≤ i ≤ p. Not˘am K = {i ∈ {1, ..., p}|di > 1}. ˆIn continuare, presupunem c˘a K 6= ∅. (i) Not˘am cu Ck , 1 ≤ k ≤ di , subclasele ciclice ale lui Si , ∀i ∈ K. Atunci submatricea S(i) are forma (i)

C1 (i) C2 S(i) = . .. (i) Cdi



(i)

0  0        

T1 0

Tdi

0

0 ... (i) T2 . . . .. .

0 0 ...

(i)

0 0

(i)

...

Tdi −1 0

     ,    

(2.2)

(i)

unde Tk , 1 ≤ k ≤ di , sunt matrici stocastice ce descriu mi¸scarea lant¸ului dintr-o subclas˘a ciclic˘a ˆın alta, ∀i ∈ K. Not˘am cu d :=cmmmc{di |1 ≤ i ≤ p}. Atunci, P d , matricea de tranzit¸ie a lant¸ului (Xnd )n≥0 , are forma   G(1) 0 ... 0 0  0 G(2) ... 0 0    d , ... ... ... ... ... P = (2.3)    0 0 ... G(p) 0  L(1) L(2) ... L(p) T unde G(i) este matrice de tranzit¸ie de ordinul ri × ri care descrie mi¸scarea ˆın d d subclasa Pp Si a lant¸ului P , 1 ≤ i ≤ p, T descrie mi¸scarea lant¸ului P ˆın cele r − t=1 rt st˘ari tranziente, iar L(i) descrie probabilit˘a¸tile de trecere din st˘arile tranziente ˆın st˘arile clasei Si , 1 ≤ i ≤ p. Mai mult,  (i)  G1 0 ... 0  0 G(i) 0    2 G(i) =  (2.4)  , ∀i ∈ K, . .   . 0

(i)

0

Gdi 7

(i)

(k)

(k)

unde Gk este matrice de tranzit¸ie de ordinul ri × ri care descrie mi¸scarea (i) ˆın subclasa ciclic˘a Ck a clasei Si , 1 ≤ k ≤ di , ∀i ∈ K. De remarcat faptul (i) c˘a ˆın fiecare subclas˘a ciclic˘a Ck lant¸ul P d se comport˘a ca un lant¸ ergodic a P i (k) (i) c˘arui matrice de trecere este Gk . Evident, dk=1 ri = ri , 1 ≤ i ≤ p. Mai (i) mult, submatricile stocastice Gk au urm˘atoarea form˘a ciclic˘a: (i)

(i)

(i)

G1 = T1 . . . Tdi , (i)

(i)

(i)

(i)

(i)

(i)

Gk = Tk Tk+1 . . . Tdi T1 . . . Tk−1 , 2 ≤ k ≤ di − 1, (i)

(i)

(i)

(i)

Gdi = Tdi T1 . . . Tdi −1 . Spat¸iul vectorilor proprii asociat¸i valorii proprii 1 joac˘a un rol important ˆın teoria lant¸urilor Markov. Acest fenomen este observat ˆın cˆateva rezultate din literatura de specialitate precum ¸si originale, prezentate ˆın aceast˘a lucrare. Un prim rezultat din literatur˘a arat˘a c˘a distribut¸ia de probabilitate asociat˘a valorii proprii 1 (numit˘a ¸si distribut¸ie invariant˘a) joac˘a un rol esent¸ial ˆın stabilirea convergent¸ei unui lant¸ omogen precum ¸si ˆın evaluarea limitei sale. Astfel, un lant¸ Markov omogen ergodic converge ˆın distribut¸ie c˘atre distribut¸ia sa invariant˘a ¸si, mai general, ne d˘a o metoda simpl˘a de calcul a limitei limn→∞ P n , unde P este de forma (2.1): Teorema 2.1. Consider˘am un lant¸ Markov omogen peste spat¸iul S avˆand matricea de tranzit¸ie P de forma (2.1), unde K = ∅. Atunci limn→∞ P n exist˘a ¸si este egal˘a cu   Γ1 0 ... 0 0  0 Γ2 ... 0 0    , ... ... ... ... ... Γ= (2.5)    0 0 ... Γp 0  Ω1 Ω2 ... Ωp 0 unde

(i) (i)  µ1 ... µri Γi =  ... ... ...  (i) (i) µ1 ... µri



este o matrice strict pozitiv˘a de ordinul ri × ri , 1 ≤ i ≤ p; fiecare linie a (i) (i) matricei Γi reprezint˘a distribut¸ia invariant˘a µ(i) = (µ1 , ..., µri ) a matricii S(i) ¸si  (i)  (i) µ1 zr1 +r2 +...+rp +1,i ... µri zr1 +r2 +...+rp +1,i  ... ... ... Ωi =  (i) (i) µ1 zr,i ... µri zr,i 8

P este matrice de ordinul (r − pt=1 rt ) × ri , unde zji = probabilitatea ca lant¸ul s˘a intre Pp¸si apoi s˘a fie absorbit ˆın Si ¸stiind c˘a starea initial˘a este o stare tranzient˘a j, t=0 rt ≤ j ≤ r, cu convent¸ia r0 = 1, 1 ≤ i ≤ p. ˆIn cazul unui lant¸ omogen periodic, proprietatea de convergent¸a˘ are loc numai pentru sub¸siruri ale ¸sirului puterilor P n ; aceste sub¸siruri sunt definite ˆın funct¸ie de perioada lant¸ului. Not˘am cmmdc{di |1 ≤ i ≤ p} =: d. Atunci se poate ar˘ata c˘a sub¸sirul (P nd )n≥1 este convergent. Observat¸ia 2.2. ([20]). Are loc P d Π = ΠP d = Π. Prin urmare, P nd+l va tinde cˆand n → ∞ c˘atre matricea P l Π = ΠP l , 0 ≤ l ≤ d−1. Aceasta ˆınseamn˘a c˘a ¸sirul (P n )n≥1 are d sub¸siruri convergente (P nd+l )n≥1 , 0 ≤ l ≤ d − 1, ¸si acest fapt implic˘a convergent¸a mediei aritmetice (Ir + P + ... + P n−1 )/n; are loc d−1

1X l 1 PΠ lim (Ir + P + ... + P n−1 ) = n→∞ n d l=0 d−1

1X = ΠP l d l=0 e = Π, e sunt distribut¸ii invariante ale lui P . In ˆ capitolul adic˘a liniile matricei Π urm˘ator al lucr˘arii vom analiza acest tip de comportament asimptotic pentru lant¸uri Markov neomogene ¸si vom stabili similitudini cu cazul omogen.

2.3

Propriet˘ a¸ti spectrale ale matricei stocastice

Multe din propriet˘a¸tile lant¸urilor Markov au fost obt¸inute ˆın conexiune cu calculul matricial, utilizˆand teoria dezvoltat˘a la ˆınceputul secolului anterior pentru matrici nenegative la cazul matricilor stocastice. Exprimˆandu-ne preferint¸a personal˘a pentru abordarea matricial˘a a unui lant¸ Markov, vom descrie aici rezultate care leag˘a propriet˘a¸tile spectrale ale matricii de tranzit¸ie de clasificarea st˘arilor lant¸ului, anticipˆand astfel metode de lucru cu lant¸uri Markov ce vor fi descrise ˆın capitolul urm˘ator. Pe lˆang˘a rezultate clasice deja binecunoscute, ment¸ion˘am un rezultat original, Teorema 2.6 ([31]). Teorema 2.3. ([11]). Orice matrice stocastic˘a admite valoarea proprie 1. Teorema 2.4. ([11]). Dac˘a P este matricea de tranzit¸ie a unui lant¸ Markov omogen, atunci multiplicitatea valorii proprii 1 este egal˘a cu num˘arul subclaselor ireductibile ¸si ˆınchise ale lant¸ului.

9

Observat¸ia 2.5. Consider˘am un lant¸ Markov omogen P de forma (2.1), unde p ≥ 1 ¸si K = ∅. Matricea S(i) fiind ergodic˘a, conform Teoremei 2.3, admite valoarea proprie λ = 1 cu ordinul de multiplicitate 1, a¸sadar admite o unic˘a distribut¸ie de probabilitate invariant˘a µ(i) , 1 ≤ i ≤ p. Not˘am (i)

µ b(i) = (0, ..., 0, µ1 , ..., µr(i)i , 0, ..., 0), 1 ≤ i ≤ p.

(2.6)

Atunci, orice distribut¸ie invariant˘a asociat˘a lui P este o combinat¸ie convex˘a a vectorilor µ b(i) , i.e., µ = ξ1 µ b(1) + ... + ξp µ b(p) , (2.7) Pp unde i=1 ξi = 1 ¸si ξi ≥ 0, 1 ≤ i ≤ p. ˆIncheiem aceast˘a sect¸iune cu un rezultat original din lucrarea [31], care face leg˘atura ˆıntre clasificarea st˘arilor unui lant¸ Markov ¸si descompunerea spectral˘a Jordan a matricii stocastice corespunz˘atoare lant¸ului. Demostrat¸ia face apel la tehnici algebrice ¸si probabiliste. Teorema 2.6. ([31]). Fie A = −Ir + P , unde P este de forma (2.1), iar K = ∅. Atunci exist˘a o matrice complex˘a nesingular˘a Q de ordinul r × r astfel ˆıncˆat A = QJQ−1 , (2.8) unde J este o matrice Jordan de ordinul r × r. Q se cite¸ste

 r1  r2 Q=

.. .

r−

rp



Pp



t=1 rt



1 ... 1 0 ... 0 0 ... 0 0 ... 0

0 ... 0 1 ... 1 0 ... 0 0 ... 0

                       zr +r +...+r +1,1 zr +r +...+r +1,2 p p 1 2  1 2  ... ... zr,1 zr,2

... 0 ... ... ... 0 ... 0 ... ... ... 0 ... 0 ... ... ... 0 ... 1 ... ... ... 1 ... zr1 +r2 +...+rp +1,p ... ... ... zrp

unde prima coloan˘a cont¸ine 1 pe liniile 1, . . . , r1 , urm˘atoarele p − 1 coloane cont¸in 1 pe liniile ri−1 + 1, . . . , ri , 2 ≤ i ≤ p, iar ultimele r − p + 1 coloane 10

... ... ... ... ... ... ... ... ... ... ... ... ... ... ...

             ,            

Pp cont¸in numere complexe. Pentru zji , t=0 rt ≤ j ≤ r, 1 ≤ i ≤ p, folosim semnificat¸ia descris˘a ˆın Teorema 2.1. Inversa Q−1 are forma  (1)  (1) µ1 ... µr1 0 ... 0 0 ... 0 0 ... 0  ... ... ... ... ... ... ... ... ... ... ... ...    (p) (p)  0  ... 0 0 ... 0 µ ... µ 0 ... 0 −1 r p  , 1 Q =  q ... ... ... ... ... ... ... ... ... ... q p+1,r   p+1,1  ... ... ... ... ... ... ... ... ... ... ... ...  qr,1 ... ... ... ... ... ... ... ... ... ... qr,r (i)

(i)

unde µ(i) = (µ1 , . . . , µri ) reprezint˘a distribut¸ia invariant˘a ˆın raport cu S(i) , 1 ≤ i ≤ p, iar coloanele r − p cont¸in numere complexe.

3

LANT ¸ URI MARKOV NEOMOGENE FINITE

3.1

Introducere

Fie (Xn )n≥0 un ¸sir de variabile aleatoare cu valori ˆın S = {1, ..., r} (mult¸ime numit˘a spat¸iul st˘arilor) cu proprietatea P(Xn+1 = xn+1 |Xk = xk , ∀k : 0 ≤ k ≤ n) = P(Xn+1 = xn+1 |Xn = xn ) pentru oricare xk ∈ S, k = 0, . . . , n ¸si n ≥ 0. S¸irul (Xn )n≥0 se nume¸ste lant¸ Markov neomogen. Cu alte cuvinte, ne putem gˆandi la Xn ca la starea ˆın care procesul se afl˘a la momentul n; ˆın cazul neomogen, tranzit¸ia din aceast˘a stare c˘atre alt˘a stare depinde de momentul de timp n. ˆIn acest caz, lant¸ul Markov este specificat de distribut¸ia init¸ial˘a (distribut¸ia lui X0 ), de spat¸iul st˘arilor S ¸si de ¸sirul de matrici de tranzit¸ie (Pn )n≥0 , unde (Pn )xn ,xn+1 = P(Xn+1 = xn+1 |Xn = xn ), ∀ xn , xn+1 ∈ S. ˆIn continuare, consider˘am (Xn )n≥0 un lant¸ Markov neomogen cu spat¸iul st˘arilor S = {1, ..., r} ¸si avˆand matricile de tranzit¸ie (Pn )n≥1 = (((Pn )ij )i,j∈S )n≥1 , unde (Pn )ij = P(Xn+1 = j|Xn = i), i, j ∈ S, ∀n ≥ 1. Toate rezultatele acestui capitol fac uz de matricea probabilit˘a¸tilor de trecere ¸si sunt independente de distribut¸ia init¸ial˘a, de aceea ne vom referi la lant¸ ca la lant¸ul Markov (Pn )n≥1 . Pentru tot¸i ˆıntregii m ≥ 0, n > m, definim Pm,n = Pm+1 Pm+2 ...Pn = ((Pm,n )ij )i,j∈S . 11

Aici Pm,n = ((Pm,n )ij )i,j∈S reprezint˘a matricea probabilit˘a¸tilor de trecere ˆın n − m pa¸si a lant¸ului, ¸stiind c˘a ”urm˘arim” lant¸ul ˆıncepˆand cu momentul de timp m, adic˘a (Pm,n )ij = P(Xn = j|Xm = i), i, j ∈ S, ∀m, n, m ≥ 0, n > m. Problema pe care o abord˘am aici este un anumit tip de convergent¸a a lant¸ului, independent de distribut¸ia sa init¸ial˘a ¸si se refer˘a la existent¸a limitelor lim Pm,n , ∀m ≥ 0,

n→∞

iar ˆın cazul existent¸ei limitelor, calculul valorilor lor. Condit¸ia de existent¸˘a a acestor limite este echivalent˘a cu existent¸a limitelor limn→∞ (Pm,n )ij , ∀i, j ∈ S, ∀m ≥ 0. Mai specific, interesul principal al acestui capitol este determinat de ˆıntelegerea condit¸iilor ˆın care limn→∞ (Pm,n )ij exist˘a ¸si nu depinde de i ∈ S ¸si m ≥ 0. Dac˘a Pn = P , ∀n ≥ 1 (adic˘a dac˘a lant¸ul are caracter omogen), reg˘asim ˆın condit¸ia de convergent¸˘a de mai sus condit¸ia analoag˘a din contextul cazului omogen. ˆIns˘a problema propus˘a ˆın cazul neomogen nu este deloc u¸soar˘a ¸si nu este complet rezolvat˘a ˆın prezent. Aceast˘a problem˘a a fost dezb˘atut˘a intens ˆın perioada 1907-1973 ¸si a cunoscut mai multe tipuri de abord˘ari: metoda coeficientului de ergodicitate (Dobrushin [12], Hajnal [19], Paz [42], Seneta [47]), metoda produselor infinite de matrici (Kozniewska [23], Wolfowitz [51], Anthonisse [3], Coppersmith [9]), metoda clasific˘arii st˘arilor lant¸ului neomogen folosind m˘asuri de probabilitate pe semigrupuri finite (Maksimov [28], Mukherjea [30], [1]). Dac˘a ˆın cazul omogen beneficiam de un r˘aspuns complet la problema convergent¸ei lant¸ului, aceasta se datora cunoa¸sterii clasific˘arii st˘arilor. ˆIn cazul neomogen, problema clasific˘arii st˘arilor nu este ˆınc˘a rezolvat˘a complet ([20]). O alt˘a abordare a comportamentului asimptotic al unui lant¸ neomogen const˘a ˆın a ne deta¸sa de contextul markovian ¸si a privi prin prisma produselor infinite de matrici stocastice ([20]). Pornind de la aceast˘a analogie, nu mai este decˆat un pas la conjectura c˘a propriet˘a¸tile spectrale ale unei matrici de tranzit¸ie caracterizeaz˘a comportamentul asimptotic al lant¸ului. Exprimˆandune preferint¸a personal˘a pentru explorarea acestei direct¸ii, vom descrie ˆın acest capitol rezultate clasice, precum ¸si extinderi ale acestora ˆın viziunea original˘a a autoarei. La baza redact˘arii acestui capitol stau monografiile [11], [5], [7], [50] ¸si lucr˘arile autoarei [35], [34], [33], [32], [36].

3.2

Un popas prin literatur˘ a

Aceasta sect¸iune este dedicat˘a introducerii not¸iunii de ergodicitate pentru un lant¸ neomogen, not¸iune care va fi des utilizat˘a ˆın restul acestui capitol. Sunt prezentate cˆateva rezultate care asigur˘a ergodicitatea, bazate pe calculul matri12

cial sau coeficientul de ergodicitate, la baza redact˘arii acestei sect¸iunii aflˆanduse monografiile [11] ¸si [20]. Definit¸ia 3.1. ([20]). Un ¸sir de matrici stocastice (Pn )n≥1 se nume¸ste slab ergodic dac˘a pentru ∀m ≥ 0, ∀i, j, k ∈ S, are loc lim [(Pm,n )ik − (Pm,n )jk ] = 0 .

n→∞

Definit¸ia 3.2. ([20]). Un ¸sir de matrici stocastice (Pn )n≥1 se nume¸ste uniform slab ergodic dac˘a pentru ∀i, j, k ∈ S are loc lim [(Pm,n )ik − (Pm,n )jk ] = 0 ,

n→∞

uniform ˆın raport cu m ≥ 0. O matrice stocastic˘a ale c˘arei linii sunt identice se nume¸ste matrice stocastic˘a stabil˘a. Kozniewska ([22], [23]) a demonstrat urm˘atoarea condit¸ie necesar˘a ¸si suficient˘a de ergodicitate slab˘a Teorema 3.3. ([20]). Un ¸sir de matrici stocastice (Pn )n≥1 este slab ergodic dac˘a ¸si numai dac˘a exist˘a matricile stocastice stabile Πm,n , m ≥ 0, n ≥ 0, astfel ˆıncˆat lim (Pm,n − Πm,n ) = 0, ∀m ≥ 0. n→∞

Verificarea condit¸iei de mai sus poate fi uneori dificil˘a ˆın practic˘a ([11]); o alternativ˘a este urm˘atoarea teorem˘a ce caracterizeaz˘a ergodicitatea slab˘a folosind coeficientul de ergodicitate. Teorema 3.4. ([19]). Un ¸sir de matrici stocastice (Pn )n≥1 este slab ergodic dac˘a ¸si numai dac˘a exist˘ P a un ¸sir 1 ≤ n1 < n2 . . . de numere naturale astfel ˆıncˆat seria numeric˘a s≥1 δ(Pns ,ns+1 ) diverge. Definit¸ia 3.5. ([20]). Un ¸sir de matrici stocastice (Pn )n≥1 se nume¸ste tare ergodic dac˘a ∀m ≥ 0, ∀i, j ∈ S, limita lim (Pm,n )ij = (πm )j ,

n→∞

exist˘a ¸si nu depinde i. Observat¸ia 3.6. i) ([20]). Se demonstreaz˘a u¸sor c˘a dac˘a relat¸ia de mai sus are loc, atunci (πm )j sunt de asemenea independente de m ≥ 0. Ca atare,

13

putem afirma c˘a un ¸sir de matrici stocastice (Pn )n≥1 este tare ergodic dac˘a ¸si numai dac˘a exist˘a o matrice stocastic˘a stabil˘a Π astfel ˆıncˆat lim (Pm,n − Π) = 0, ∀m ≥ 0.

n→∞

ii) Ergodicitatea tare implic˘a convergent¸a ˆın distribut¸ie a ¸sirului de variabile ˆ aleatoare (Xn )n≥0 . Intr-adev˘ ar, dac˘a p0 = (p0 (j))j∈S este o distribut¸ie init¸ial˘a a lant¸ului Markov, atunci, ∀i ∈ S, X X lim P {Xn = i} = lim p0 (j)(P0,n )ji = p0 (j)πi = πi . n→∞

n→∞

j∈S

j∈S

Definit¸ia 3.7. ([20]). Un ¸sir de matrici stocastice (Pn )n≥1 se nume¸ste uniform tare ergodic dac˘a ∀i, j ∈ S, limita lim (Pm,n )ij = πj ,

n→∞

exist˘a uniform ˆın raport cu m ≥ 0 ¸si nu depinde de i (a se vedea, de asemenea, Observat¸ia 3.6). Definit¸ia 3.8. ([11]). Spunem c˘a lant¸ul Markov (Pn )n≥1 converge ˆın medie Cesaro dac˘a exist˘a o matrice stocastic˘a Q astfel ˆıncˆat n

1X lim Pm,m+k = Q, ∀m ≥ 0. n→∞ n k=1 Definit¸ia 3.9. ([11]). Spunem c˘a lant¸ul Markov (Pn )n≥1 este Cesaro-tare ergodic (pe scurt, C-ergodic) dac˘a exist˘a o matrice stocastic˘a stabil˘a Q astfel ˆıncˆat n 1X lim Pm,m+k = Q, ∀m ≥ 0. n→∞ n k=1 Teorema 3.10. ([11]). Fie (Pn )n≥1 un ¸sir de matrici stocastice astfel ˆıncˆat limn→∞ P0,nd+m = Wm pentru un d fixat ¸si pentru 1 ≤ m ≤ d. Atunci Pn 1 limn→∞ n k=1 P0,k exist˘a ¸si n

1X 1 P0,k = [W1 + ... + Wd ]. lim n→∞ n d k=1 ˆ Teorema 3.10 matricile limit˘a Wm , 1 ≤ m ≤ d, nu sunt Observat¸ia 3.11. In necesar stabile. Dar dac˘a sunt stabile, atunci aceast˘a teorem˘a furnizeaz˘a o condit¸ie necesar˘a pentru C-ergodicitatea unui lant¸ Markov neomogen. 14

3.3

Relat¸ii de recurent¸˘ a

Aceast˘a sect¸iune are la baz˘a lucrarea [32] a autoarei ¸si descrie un rezultat privitor la ¸sirurile de matrici stocastice definite prin relat¸ii de recurent¸˘a, rezultat care va fi utilizat ˆın Capitolul 3.4.1. Propozit¸ia 3.12. ([32]). Fie (Xn )n≥0 = ((Xn )1 , ..., (Xn )p )n≥0 ¸si (Rn )n≥0 = ((Rn )1 , ..., (Rn )p )n≥0 dou˘a ¸siruri de vectori reali, fiecare vector avˆand p compoP∞ 0 nente, astfel ˆıncˆat Rn e = 0, ∀n ≥ 0 ¸si n=0 |||Rn |||∞ < ∞. Fie (Cn )n≥1 un en(l) = Cnd+l , 0 ≤ l ≤ d − 1 ¸si ¸sir de matrici stocastice de ordinul p × p. Fie C ∀n ≥ 0 (cu convent¸ia C0 = Ip ). Dac˘a Xs+d = Xs Cs + Rs , ∀s ≥ 0,

(3.1)

unde d este un num˘ar natural nenul, atunci au loc urm˘atoarele afirmat¸ii: en(l) )n≥0 este slab ergodic, 0 ≤ l ≤ d − 1, (i) Dac˘a Xn e0 = 0, ∀n ≥ 0 ¸si (C atunci limn→∞ Xn = 0; (l) en(l) )n≥0 este tare ergodic cu limn→∞ C em,n (ii) Dac˘a Xn ·e0 = 1, ∀n ≥ 0 ¸si (C = Π = e0 · π, 0 ≤ l ≤ d − 1, ∀m ≥ 0, atunci limn→∞ Xn = π. (l) en(l) )n≥0 este tare ergodic cu limn→∞ C em,n (iii) Dac˘a Xn ·e0 = 1, ∀n ≥ 0 ¸si (C = Π(l) = e0 · π (l) , 0 ≤ l ≤ d − 1, ∀m ≥ 0, atunci limn→∞ Xnd+l+1 = π (l+1) , 0 ≤ l ≤ d − 1.

3.4

Teoreme de convergent¸˘ a ¸si ergodicitate

Acest capitol descrie ˆın detaliu rezultate ce caracterizeaz˘a convergent¸a ¸si ergodicitatea unui lant¸ neomogen. Aceast˘a sect¸iune are la baz˘a rezultate originale din lucr˘arile [35], [32], [33], [34] ¸si [36]. 3.4.1

Teoreme de convergent¸˘ a

Abord˘am problema convergent¸ei lant¸urilor Markov din urm˘atorul punct de vedere: pornind de la un lant¸ Markov al c˘arui comportament asimptotic ˆıl cunoa¸stem, putem considera un alt lant¸ care difer˘a de primul numai prin aceea c˘a matricele de tranzit¸ie au fost ”u¸sor” perturbate. Cˆat de mici trebuie s˘a fie aceste perturbat¸ii astfel ˆıncˆat lant¸ul modificat s˘a aib˘a acela¸si comportament asimptotic ca ¸si cel init¸ial? Acest fenomen sugereaz˘a urm˘atoarea problem˘a general˘a: cˆat de apropiate trebuie s˘a fie matricile de tranzit¸ie ale celor dou˘a lant¸uri pentru a asigura faptul c˘a ele au acela¸si comportament asimptotic? Vom considera lant¸uri Markov neomogen (Pn )n≥1 peste spat¸iul S = {1, . . . , r} cu proprietatea lim Pn = P , (3.2) n→∞

15

unde P are p ≥ 1 clase ergodice Si , 1 ≤ i ≤ p, ¸si, eventual, st˘ari tranziente, i.e., P este de formaP(2.1) (deci K = ∅). Fie µ(i) distribut¸ia invariant˘a ˆın raport cu S(i) ¸si zji , pt=0 rt ≤ j ≤ r, 1 ≤ i ≤ p, ca ˆın Teorema 2.1. Fie Vn = Pn − P, ∀n ≥ 1. Evident limn→∞ Vn = 0r×r . Cu alte cuvinte, putem spune c˘a fiecare matrice de tranzit¸ie Pn provine dintr-o perturbat¸ie a matricei de tranzit¸ie P . Urm˘arind direct¸ia anunt¸at˘a la ˆınceputul acestui subcapitol, scopul nostru este s˘a formul˘am condit¸ii de convergent¸a˘ specifice acestui tip de lant¸uri Markov neomogene. Fie m ≥ 0. Conform ecuat¸iei Chapman-Kolmogorov are loc Pm,n = Pm,n−1 Pn , ∀n > m. (cu convent¸ia Pn,n = Ir ). Sc˘azˆand Pm,n−1 din ambii membrii, obt¸inem Pm,n − Pm,n−1 = Pm,n−1 [−Ir + Pn ], ∀n > m.

(3.3)

Fie, pentru i ∈ S, (i) x(i) n = xn (m) = ((Pm,n )i,1 , ..., (Pm,n )ir ), ∀n > m ,

(3.4)

x(i) m = ei . Atunci, ecuat¸iile (3.3) se citesc pe linie (i)

(i)

x(i) n − xn−1 = xn−1 [−Ir + Pn ], ∀n > m. (i)

Observ˘am c˘a xn definit ˆın (3.4) reprezint˘a solut¸ie pentru ecuat¸ii de tipul xn − xn−1 = xn−1 [−Ir + Pn ], ∀n > m

(3.5)

cu xn = [(xn )1 , ..., (xn )r ], ∀n ≥ m, ˆın condit¸iile (xn )i ∈ [0, 1], 1 ≤ i ≤ r ¸si

r X

(xn )i = 1, ∀n ≥ m.

(3.6)

i=1

Suntem interesat¸i de studiul comportamentului asimptotic al solut¸iilor ecuat¸iei (3.5) ˆın condit¸iile (3.6). 16

Punˆand A = −Ir + P , putem beneficia de rezultatele descrise ˆın Teorema 2.6. Fie Q and Q−1 ca ˆın Teorema 2.6. Definim Ven = Q−1 Vn Q, ∀n ≥ 1. (3.7) De asemenea, cu ym,n = xn Q, ∀n > m,

(3.8)

ym,n − ym,n−1 = ym,n−1 J + ym,n−1 Ven , ∀n > m.

(3.9)

ecuat¸iile (3.5) devin

Se poate arat˘a c˘a lim (ym,n )i = 0, p + 1 ≤ i ≤ r,

n→∞

(3.10)

independent de datele init¸iale y0 ¸si uniform ˆın raport cu m ≥ 0. Definim scalarii (Rm,n )i =

r X

(ym,n )t (Ven+1 )ti , 1 ≤ i ≤ p, ∀n > m.

t=p+1

Ecuatia (3.9) devine pe primele p componente (ym,n )i − (ym,n−1 )i =

p X

(ym,n−1 )t (Ven )ti + (Rm,n−1 )i , 1 ≤ i ≤ p.

(3.11)

t=1

Vom avea nevoie de urm˘atoarea Propozit¸ia 3.13. ([33]). S¸irul de matrici (Cn )n≥1 definit prin Cn = Ip + (Ven )M ×M , unde M = {1, ..., p}, este un ¸sir de matrici stocastice. Suntem acum ˆın m˘asur˘a s˘a caracteriz˘am convergent¸a lant¸ului (Pn )n≥1 . Are loc Teorema 3.14. ([34]). Fie (Pn )n≥1 un lant¸ Markov neomogen cu spat¸iul st˘arilor S = {1, . . . , r} astfel ˆıncˆat limn→∞ Pn = P . Presupunem c˘a P are p ≥ 1 clase ergodice Si , 1 ≤ i ≤ r, ¸si, eventual, st˘ari tranziente, i.e., P este de forma (2.1). Fie µ(i) distribut¸ia invariant˘a asociat˘a lui S(i) , 1 ≤ i ≤ r ¸si zj,i , 17

Pp

ın Teorema 2.1. Fie Vn = Pn − P , n ≥ 1, t=1 rt + 1 ≤ j ≤ r, 1 ≤ i ≤ r, ca ˆ unde limn→∞ Vn = 0. Fie Q ¸si Q−1 ca ˆın Teorema 2.6. Atunci lim (Pm,n )ij = 0, ∀i ∈ S,

p X

n→∞

rt ≤ j ≤ r,

t=0

uniform ˆın raport cu m ≥ 0. Dac˘a, mai mult, ∞ X

|||(Ven )S×M |||∞ < ∞,

(3.12)

n=1

atunci lant¸ul Markov (Pn )n≥1 este convergent. Exemplul 3.15. Consider˘am lant¸ul (Pn )n≥1 , unde  1 1 1  1 1 − n 2 + n+1 2 n(n+1) 1 1 Pn =  1 − n+1 0  , n ≥ 2, n+1 0 0 1 ¸si P1 = I3 . Folosind Teorem 3.14 putem demonstra c˘a lant¸ul (Pn )n≥1 este convergent. Observat¸ia 3.16. Ment¸ion˘am c˘a prima parte a Teoremei 3.14 a fost obt¸inut˘a independent ¸si folosind o alt˘a metod˘a de lucru ˆın lucrarea [41] (a se vedea ˆ lucrarea noastr˘a vom generaliza acest rezultat (a se Teorema 2.7 de acolo). In vedea Teorema 3.27). 3.4.2

Teoreme de convergent¸˘ a ˆın medie Cesaro

Am ar˘atat ˆın Capitolul 2 c˘a dac˘a un lant¸ Markov omogen P are p ≥ 1 clase periodice de perioad˘a di ≥ 1, 1 ≤ i ≤ p, atunci, notˆand cu d = cmmmc{di |1 ≤ i ≤ p}, urm˘atoarele limite exist˘a: lim P nd+l , 0 ≤ l ≤ d − 1,

n→∞

n

1X k P . lim n→∞ n k=1 Inspirat¸i de cazul lant¸ului Markov omogen, ˆın aceast˘a sect¸iune prezent˘am rezultate similare pentru lant¸uri Markov neomogene, printre care un rezultat original din lucrarea [36], Teorema 3.20.

18

Teorema 3.17. ([11]). Dac˘a (Pn )n≥1 este un lant¸ Markov neomogen peste S astfel ˆıncˆat limn→∞ Pn = P , unde P are o singura clas˘a ireductibil˘a ¸si periodic˘a, de perioad˘a d ≥ 1, atunci d−1

1X lim Pm,m+n+l = W, ∀m ≥ 0, n→∞ d l=0 unde W este o matrice stocastic˘a stabil˘a, fiecare linie reprezentˆand distribut¸ia invariant˘a a lui P , adic˘a W P = W . Teorema 3.18. ([11]). Dac˘a (Pn )n≥1 este un lant¸ Markov neomogen peste S astfel ˆıncˆat d−1 1X lim Pm,m+n+l = W, ∀m ≥ 0, n→∞ d l=0 atunci

n

1X Pm,m+t = W, ∀m ≥ 0, lim n→∞ n t=1 adic˘a lant¸ul (Pn )n≥1 este convergent ˆın medie Cesaro. Observat¸ia 3.19. Din Teoremele 3.17 ¸si 3.18 deducem un alt rezultat calitativ: dac˘a limn→∞ Pn = P , unde P are o singur˘a clas˘a ireductibil˘a ¸si periodic˘a, atunci (Pn )n≥1 este C-ergodic, iar matricea sa limit˘a este matricea stabil˘a avˆand pe fiecare linie distribut¸ia invariant˘a a lui P . ˆIn continuare prezent˘am un rezultat original, care descrie o condit¸ie suficient˘a de convergent¸a˘ ˆın sens Cesaro pentru o clas˘a larg˘a de lant¸uri Markov neomogene. Consider˘am (Pn )n≥1 un lant¸ Markov neomogen peste S = {1, . . . , r}. (l) Fie d ≥ 1 ¸si definim sub¸sirurile de matrici (Pn )n≥0 , unde 0 ≤ l ≤ d − 1, astfel: Pn(l) = P(n−1)d+l,nd+l , ∀n ≥ 1.

(3.13)

Presupunem c˘a are loc lim Pn(l) = P, 0 ≤ l ≤ d − 1,

n→∞

(3.14)

unde P este de forma (2.1), cu K = ∅. Pentru ∀n ≥ 1 not˘am Vn(l) = Pn(l) − P, 0 ≤ l ≤ d − 1. (l)

(3.15)

Evident, limn→∞ Vn = 0, 0 ≤ l ≤ d − 1. Fie A = −Ir + P , ¸si matricile Q ¸si Q−1 ca ˆın Teorema 2.6. Pentru ∀n ≥ 1 definim matricile Ven(l) = Q−1 Vn(l) Q, 0 ≤ l ≤ d − 1, 19

¸si Cnd+l = Ip + (Ven(l) )M ×M , 0 ≤ l ≤ d − 1. Putem ar˘ata imediat c˘a Cnd+l este o matrice stocastic˘a, ∀n ≥ 1, 0 ≤ l ≤ d − 1 (a se vedea Propozit¸ia 3.13). Acum putem enunt¸a urm˘atoarea ˆ acest context, Teorema 3.20. ([36]). In p X

lim (Pm,n )ij = 0, ∀i ∈ S,

n→∞

rt ≤ j ≤ r,

(3.16)

t=0

uniform ˆın raport cu m ≥ 0. Mai mult, i) Dac˘a ∞ X |||(Q−1 Vn(l) Q)S×M |||∞ < ∞, 0 ≤ l ≤ d − 1,

(3.17)

n=1

atunci lant¸ul (Pn )n≥1 este convergent ˆın medie Cesaro. ii) Dac˘a |||(Q−1 Vn(l) Q)(S\M )×M |||∞ = 0, 0 ≤ l ≤ d − 1

(3.18)

¸si (Cnd+l )n≥1 este convergent, 0 ≤ l ≤ d − 1, atunci lant¸ul (Pn )n≥1 este convergent ˆın medie Cesaro. Exemplul 3.21. Fie (Pn )n≥1 , unde  6 1 − 8n 8  1 1  P2n−1 =  8 − 8(n+1)  0 4 10

 P2n

  = 

3 10

+

1 8(n+1)

1 8n(n+1)

7 8

+

1 8(n+1)

0

0

1

1 8n

6 10

+

1 8(n+1)

1 8n(n+1)

1 8(n+1)

7 10

+

1 8(n+1)

0

0

1

−

−

2 8

0

   , 

    , ∀n ≥ 1. 

Se constat˘a c˘a limn→∞ Pn nu exist˘a; are loc limn→∞ Pn,n+2 = P , unde  3 5  0 8 8  25 55  0 . P = 80 80   0 0 1 Se arat˘a imediat c˘a sunt ˆındeplinite condit¸iile Teoremei 3.20 i) pentru d = 2, astfel c˘a lant¸ul (Pn )n≥1 este convergent ˆın medie Cesaro. 20

3.4.3

Teoreme de ergodicitate

ˆIn aceast˘a sect¸iune vom descrie teoreme de ergodicitate (uniform˘a) slab˘a ¸si tare pentru lant¸uri Markov neomogene (Pn )n≥1 pentru care exist˘a limn→∞ Pn = P , sau, mai general, ∃d ≥ 1 astfel ˆıncˆat limn→∞ Pn,n+d = P , unde P are p ≥ 1 clase ergodice ¸si, eventual, st˘ari tranziente, adic˘a este de forma (2.1). Rezultatele existente deja ˆın literatur˘a - pentru descrierea c˘arora am folosit preponderent monografia [11] (vezi ¸si [20], [6], [17])- se refer˘a la forme particulare ale lui P (spre exemplu, Teorema 3.3.21 a lui Mott (1957)). Autoarea ˆıns˘a abordeaz˘a problema ˆın toat˘a generalitatea lui P , adica P are forma (2.1) (a se vedea [33], [32], [34]). Mai exact, rezultatele originale prezentate se refer˘a la condit¸ii suficiente pentru ergodicitatea lant¸ului neomogen ˆın termeni de propriet˘a¸ti similare ale unui lant¸ Markov neomogen cu un spat¸iu al st˘arilor redus. Punem ˆın evident¸a˘ dependent¸a comportamentului asimptotic al lui (Pn )n≥1 de propriet˘a¸tile spectrale ale lui P , cˆat ¸si de natura perturbat¸iilor Vn := Pn − P (mai general, Vn := Pn,n+d − P , ∀n ≥ 1. Aceast˘a clas˘a de lant¸uri Markov a fost propus˘a ca model matematic pentru c˘alirea simulat˘a (simulated annealing), un algoritm stocastic de optimizare global˘a ([49]). Cazul limn→∞ Pn = P Fie (Pn )n≥1 un lant¸ neomogen Markov pe spat¸iul S = {1, ..., r} astfel ˆıncˆat lim Pn = P,

n→∞

unde P este o matrice stocastic˘a oarecare. Teorema 3.22. ([11]). Dac˘a (Pn )n≥1 este un lant¸ Markov neomogen astfel ˆıncˆat limn→∞ Pn = P ¸si P este slab ergodic, atunci (Pn )n≥1 este tare ergodic. Teorema 3.23. ([17]). Fie (Pn )n≥1 , unde   1 − αn αn Pn = , ∀n ≥ 1. βn 1 − βn Presupunem c˘a limn→∞ Pn = P , unde P = I2 . Dac˘a ∞ X (αn + βn ) = ∞, n=1

atunci (Pn )n≥1 este slab ergodic. Teorema 3.24. ([11]). Fie (Pn )n≥1 , unde   αn 1 − αn Pn = , ∀n ≥ 1. 1 − βn βn 21

Presupunem c˘a limn→∞ Pn = P , unde   0 1 P = . 1 0 Dac˘a

∞ X

(αn + βn ) = ∞

n=1

¸si

∞ X

|αn − αn+1 | + |βn − βn+1 | < ∞,

n=1

atunci (Pn )n≥1 este tare ergodic. Cazul limn→∞ Pn,n+d = P Aici vom considera (Pn )n≥1 un lant¸ neomogen Markov pe spat¸iul S = {1, ..., r} pentru care ∃d ≥ 1 astfel ˆıncˆat lim Pn,n+d = P.

n→∞

Presupunem c˘a P are exact p ≥ 1 clase ergodice S(i) , 1 ≤ i ≤ p, ¸si, posibil, (i) st˘ari tranziente, i.e., P este de forma Pp (2.1), cu K = ∅. Fie µ distribut¸ia invariant˘a asociat˘a lui S(i) ¸si zji , t=0 rt ≤ j ≤ r, 1 ≤ i ≤ p, ca ˆın Teorema 2.1. Definim matricea A = −Ir + P . Putem beneficia de rezultatele descrise ˆın Teorema 2.6. Fie Q ¸si Q−1 ca ˆın Teorema 2.6. Pentru Vn = Pn,n+d − P , n ≥ 1, definim Ven = Q−1 Vn Q, n ≥ 1.

(3.19)

Observat¸ia 3.25. Urmˆand aceia¸si pa¸si ca ˆın demonstrat¸ia Propozit¸iei 3.13, se arat˘a c˘a Cn := Ip + (Ven )M ×M este o matrice stocastic˘a, ∀n ≥ 1. Cazul p=1. Comportamentul asimptotic al acestui lant¸ a fost studiat ˆın ([40]). Mai exact, are loc: Teorema 3.26. ([40]). Consider˘am (Pn )n≥1 un lant¸ Markov peste S pentru care ∃d ≥ 1 astfel ˆıncˆat limn→∞ Pn,n+d = P . Atunci urm˘atoarele afirmat¸ii sunt echivalente: i) (Pn )n≥1 este uniform slab ergodic; ii) (Pn )n≥1 este uniform tare ergodic; iii) matricea P este mixing, i.e., are o singur˘a clas˘a ergodic˘a ¸si, eventual, st˘ari tranziente. 22

Cazul p ≥ 1. Teorema 3.27. ([33], [32]). Fie (Pn )n≥1 un lant¸ Markov neomogen peste spat¸iul S = {1, ..., r} cu proprietatea c˘a ∃d ≥ 1 astfel ˆıncˆat limn→∞ Pn,n+d = P , unde P este de forma (2.1) cu p ≥ 1 ¸si K = ∅. Fie Vn = Pn,n+d − P , n ≥ 1, ¸si Ven = Q−1 Vn Q, n ≥ 1, cu Q ¸si Q−1 ca ˆın Teorema 2.6. Atunci are loc lim (Pm,n )ij = 0, i ∈ S,

n→∞

p X

rt ≤ j ≤ r

(3.20)

t=0

uniform ˆın raport cu m ≥ 0. Mai mult, presupunem c˘a ∞ X

|||(Ven )(S\M )×M |||∞ < ∞.

(3.21)

n=1 (l)

en = C(n−1)d+l+1 , l ∈ {0, 1, ..., d − 1} ¸si ∀n ≥ 0 (cu convent¸ia C0 = Ip ). Fie C Atunci au loc en(l) )n≥0 este slab ergodic pentru ∀l ∈ {0, 1, ..., d − 1}, atunci i) Dac˘a (C (Pn )n≥1 este slab ergodic, i.e. lant¸ul (Pn )n≥1 este slab ergodic ; en(l) )n≥0 este tare ergodic astfel ˆıncˆat ii) Dac˘a (C (l) em,n lim C =Π,

n→∞

∀l ∈ {0, 1, ..., d − 1}, atunci (Pn )n≥1 este tare ergodic, i.e. lant¸ul (Pn )n≥1 este tare ergodic. Observat¸ia 3.28. Deosebim dou˘a tipuri de lant¸uri Markov (Pn )n≥1 pentru care ∃d > 1 astfel ˆıncˆat limn→∞ Pn,n+d = P , unde P este de forma (2.1) cu K = ∅: I) acelea pentru care ∃ limn→∞ Pn ; II) acelea pentru care nu ∃ limn→∞ Pn . Cazul I.1. Consider˘am (Pn )n≥1 un lant¸ Markov finit peste spat¸iul S. Presupunem c˘a limita lim Pn = P (3.22) n→∞

exist˘a ¸si c˘a matricea limit˘a P este de forma (2.1) cu K 6= ∅. Are loc lim Pn,n+d = P d ,

n→∞

unde P d are forma (2.1) cu K = ∅, iar d = cmmmc{di |1 ≤ i ≤ p}. 23

Exemplul 3.29. 1) Fie (Pn )n≥1 dat de  0 0 1 − n1   1− 1 0 0  n  Pn =  0 1−  0   1 1 0 2 2 Avem

1 n



1 n

     , n ≥ 1.   

1 n

1 n

0



lim Pn,n+2

n→∞

 1 0 0 0  0 1 0 0   =  0 0 1 0 . 1 1 0 0 2 2

Se poate ar˘ata c˘a lant¸ul (Cn )n≥1 este tare ergodic. Folosind Teorema 3.27 se poate ar˘ata c˘a lant¸ul (Pn )n≥1 este tare ergodic. Cazul I.2. Lant¸urile Markov (Pn )n≥1 pentru care limn→∞ Pn = P , unde P este de forma (2.1) cu K = ∅ se ˆınscriu ¸si ele ˆın prima categorie. Exemplul 3.30. Consider˘am lant¸ul (Pn )n≥1 , unde      Pn =    

1−

2 n+1

+

1 2n

1 2n

1 2n

1−

2 n+1

0 1 2

−

+

1 2n

1 2

−

2 n+1

−

1 n



0

2 n+1

−

1 n

     , n ≥ 1.   

1−

0

1 2(n+1)

0

1 2(n+1)

1 n

1 n 1 n+1

0

Se poate ar˘ata c˘a sunt ˆındeplinite condit¸iile Teoremei 3.27 pentru d = 1, deci (Pn )n≥1 este slab (respectiv, tare) ergodic. Cazul II. Exemplul urm˘ator este concludent. Exemplul 3.31. Fie (Pn )n≥1 , unde   P2n−1 =  

6 8 1 8

− + 0

1 8n 2 8n

2 8 7 8

+ − 1 n

1 8n 2 8n

0



0

   , P2n =   

1−

1 n



24

4 1 − 10n 10 3 3 + 10n 2 10

0

6 1 + 10n 10 7 3 − 10n 2 10 1 n

0



0

 . 

1−

1 n

limn→∞ Pn nu exist˘a, dar limn→∞ Pn,n+2 = P , unde   P = 

3 8 25 80

5 8 55 80

0

0

0



 0 .  1

Se poate ar˘ata c˘a sunt ˆındeplinite condit¸iile Teoremei 3.27 ii), deci (Pn )n≥1 este tare ergodic. 3.4.4

Teoreme de C-ergodicitate

Am ar˘atat ˆın Capitolul 2 c˘a dac˘a un lant¸ Markov omogen P are p ≥ 1 clase periodice de perioad˘a di ≥ 1 ¸si, eventual, st˘ari tranziente, 1 ≤ i ≤ p, atunci lant¸ul P este C-ergodic. ˆIn cazul neomogen, problema C-ergodicit˘a¸tii, ˆın toat˘a generalitatea ei, nu este complet rezolvat˘a. Contribut¸ia autoarei la rezolvarea aceastei probleme const˘a ˆın cˆateva rezultate ce caracterizeaz˘a C-ergodicitatea clasei lant¸urilor Markov neomogene (Pn )n≥1 pentru care limn→∞ Pn = P , unde P este de forma (2.1). ˆIn literatura se cunosc Teorema lui Bowerman ([4]), care se refer˘a la cazul p = 1 (ca un analog al Teoremei lui Mott) ¸si Teorema lui Yang ([52]), care trateaz˘ P a acela¸si caz particular (p = 1), dar impune condit¸ia mai slab˘a limn→∞ n1 nk=1 Pk = P , unde P este de forma (2.1). Rezultatul original din lucrarea [32] se refer˘a la cazul cel mai general, matricea limit˘a P avˆand p ≥ 1 clase, eventual st˘ari tranziente, ¸si este descris˘a ˆın Teorema 3.34. Teorema 3.32. ([11]). Dac˘a (Pn )n≥1 este un lant¸ Markov peste spat¸iul S = {1, 2, ..., p} astfel ˆıncˆat limn→∞ Pn = P , unde P este un lant Markov avˆand o clas˘a ireductibil˘a ¸si periodic˘a ¸si eventual, st˘ari tranziente, atunci (Pn )n≥1 este C-ergodic. Mai mult, n

1X lim Pm,m+k = Q, ∀m ≥ 0, n→∞ n k=1 unde Q este o matrice stocastic˘a stabil˘a astfel ˆıncˆat QP = P . Teorema 3.33.P([52]). Dac˘a (Pn )n≥1 este un lant¸ Markov neomogen astfel ˆıncˆat limn→∞ n1 nk=1 Pk = P , unde P este de forma (2.1) avˆand o singur˘a clas˘a ireductibil˘a ¸si periodic˘a, iar Q matricea limit˘a a lui P , adic˘a QP = Q, atunci n 1X lim Pm,m+k = Q. n→∞ n k=1 25

Teorema 3.34. ([32]). Fie (Pn )n≥1 un lant¸ Markov neomogen cu spat¸iul st˘arilor S = {1, . . . , r} pentru care ∃d ≥ 1 astfel ˆıncˆat limn→∞ Pn,n+d = P , unde P este de forma (2.1) cu p ≥ 1. Fie Vn = Pn,n+d − P , n ≥ 1, ¸si Ven = Q−1 Vn Q, n ≥ 1, cu Q ¸si Q−1 ca ˆın Teorema 2.6. Fie Cn = Ip + VeM ×M , en(l) = C(n−1)d+l+1 , n ≥ 1, 0 ≤ l ≤ d−1. n ≥ 1, unde M = {1, . . . , p} ¸si definim C Presupunem c˘a ∞ X |||(Ven )(S\M )×M |||∞ < ∞. (3.23) n=1

en(l) )n≥1 (C

(l) em,n Dac˘a este tare ergodic, 0 ≤ l ≤ d − 1, astfel ˆıncˆat limn→∞ C = Π(l+1) , m ≥ 0, 0 ≤ l ≤ d − 1, atunci (Pn )n≥1 este C-ergodic, i.e., adic˘a lant¸ul (Pn )n≥1 este C-ergodic.

Exemplul 3.35. Fie (Pn )n≥1 cu    0 1 0    P2n−1 = , P2n = 1 1 0 1 − 2n

1 1 2n

  , ∀n ≥ 1.

Acest lant¸ Markov a fost inspirat din [11], pag. 163-164. Observ˘am c˘a limn→∞ Pn = P , unde P are o clas˘a ireductibil˘a ¸si periodic˘a de perioad˘a d = 2. Lant¸ul (0) (0) (Pn )n≥1 este tare ergodic ¸si limn→∞ P0,n = Π0 , unde   0 1 Π0 = . 0 1 (1)

(1)

De asemenea, lant¸ul (Pn )n≥1 este tare ergodic ¸si limn→∞ P0,n = Π1 , unde   1 0 Π1 = . 1 0 Lant¸ul (Pn )n≥1 nu este tare ergodic, dar se poate ar˘ata c˘a sunt ˆındeplinite condit¸iile Teoremei 3.34, deci lant¸ul (Pn )n≥1 este C-ergodic. Mai mult, n

1X 1 lim P0,k = [Π0 + Π1 ]. n→∞ n 2 k=1

4 4.1

CONJECTURA LAUGESEN-MORPURGO: ˘ DISCRETA ˘ O VARIANTA Introducere

Conjectura Laugesen-Morpurgo a ap˘arut, a¸sa cum ˆınv˘a¸ta˘m de la Rodrigo Ba˜ nuelos, ˆın leg˘atur˘a cu cercet˘arile lor asupra extremelor conforme ale funct¸iei 26

de valori proprii Riemann zeta (vezi [44]). Conjectura afirm˘a c˘a elementul diagonal al nucleului de c˘aldur˘a Neumann al Laplacian-ului ˆın discul unitate U = {x ∈ R2 : |x| < 1} din R2 este radial cresc˘ator, adic˘a p (t, x, x) < p (t, y, y) ,

t ≥ 0,

(4.1)

pentru tot¸i x, y ∈ U cu 0 ≤ |x| < |y| ≤ 1, unde p (t, x, y) reprezint˘a nucleul de c˘aldur˘a al Laplacian-ului cu condit¸ii de tip Neumann la margine (sau, echivalent, densitatea de tranzit¸ie a mi¸sc˘arii Browniene cu reflect¸ie normal˘a la margine) ˆın discul unitate U. Conjectura se extinde natural la cazul nucleului de c˘aldur˘a Neumann al Laplacian-ului ˆın discul unitate B = x ∈ Rd : ||x|| < 1 ˆın Rd , d ≥ 1. Interpretarea probabilist˘a a conjecturii este aceea c˘a o mi¸scare Brownian˘a reflectat˘a ce porne¸ste mai aproape de margine are ¸sanse mai mari s˘a se ˆıntoarc˘a la pozit¸ia init¸ial˘a (dup˘a t unit˘a¸ti de timp), decˆat o mi¸scare Brownian˘a reflectat˘a ce porne¸ste mai departe de margine (dup˘a acelea¸si t unit˘a¸ti de timp). ˆIn acest capitol vom prezenta, ˆıntr-o viziune original˘a, o variant˘a discret˘a 1-dimensional˘a a conjecturii Laugesen-Morpurgo, bazat˘a pe lucrarea [29]. ˆIn acest scop vom introduce cˆateva notat¸ii. Fie (Xn )n≥1 este un mers la ˆıntˆamplare peste spat¸iul {−s, . . . , s} cu bariere reflectante la ±s. Not˘am P i (Xn = i) = P (Xn = i|X0 = i) pentru orice i ∈ {−s + 1, . . . , s − 1} ¸si orice n ∈ N. Varianta discret˘a a conjecturii se poate formula astfel: pentru orice n ∈ N arbitrar fixat, P i (Xn = i) este o funct¸ie strict cresc˘atoare de |i|, adic˘a: P i (Xn = i) ≤ P j (Xn = j) ,

(4.2)

pentru orice i, j ∈ {−s + 1, . . . , s − 1} cu |i| < |j| ¸si orice n ∈ N. Demonstrat¸ia noastr˘a a conjecturii Laugesen-Morpurgo pentru mersul la ˆıntˆamplare peste spat¸iul {−s, . . . , s} cu bariere reflectante la ±s folose¸ste cuplaje de translat¸ie ¸si rotat¸ie ale mersului la ˆıntˆamplare reflectat ¸si vor fi introduse ˆın Capitolul 4.3. Ca o aplicat¸ie a rezultatului principal din Teorema 4.10 vom obt¸ine ¸si o demonstrat¸ie a conjecturii Laugesen-Morpurgo pentru mi¸scarea Brownian˘a 1-dimensional˘a, mai exact vom ar˘ata c˘a inegalitatea (4.1) are loc pentru densitatea de tranzit¸ie p (t, x, y) a mi¸sc˘arii Browniene reflectate 1-dimensionale pe intervalul (−1, 1) (a se vedea Corolarul 4.14).

4.2

Preliminarii

Fie S = {−s, −s + 1, ..., s − 1, s}, unde s ∈ N − {0}. Definim noile st˘ari s+ = s− = s, (−s)+ = (−s)− = −s ¸si fie i± , i ∈ {−s + 1, . . . , s − 1} distincte, 27

astfel ˆıncˆat   S + ∩ S − := i+ | i ∈ S ∩ i− | i ∈ S = {−s, s} . Punˆand S ± = S + ∪ S − ¸si Si = {i+ , i− }, i ∈ S, S ± = S−s ∪ S−s+1 ∪ . . . ∪ Ss−1 ∪ Ss

(4.3)

este o descompunere a lui S ± ˆın mult¸imi disjuncte. Printr-un mers la ˆıntˆamplare ciclic pe S ± (sau un mers la ˆıntˆamplare simplu pe S ± ) ˆınt¸elegem un mers la ˆıntˆamplare (Xn± )n∈N cu spat¸iul st˘arilor S ± ¸si matricea de tranzit¸ie P ± = (Pij± )i,j∈S ± dat˘a de 1 Pi±+ ,(i+1)+ = Pi±+ ,(i−1)+ = Pi±− ,(i+1)− = Pi±− ,(i−1)− = , 2

(4.4)

pentru i ∈ {−s + 1, . . . , s − 1}, ¸si 1 ± ± ± ± P−s,(−s+1) . + = P−s,(−s+1)− = Ps,(s−1)+ = Ps,(s−1)− = 2

(4.5)

Fiind dat mersul la ˆıntˆamplare (Xn± )n∈N pe S ± , definim un nou ¸sir de variabile aleatoare (Xn )n∈N avˆand spat¸iul st˘arilor S punˆand  Xn = i dac˘a ¸si numai dac˘a Xn± ∈ i+ , i− , (4.6) unde i ∈ S ¸si n ∈ N. Observat¸ia 4.1. Se poate ar˘ata c˘a (Xn± )n∈N este grupabil ˆın raport cu partit¸ia (4.3) ¸si c˘a (Xn )n∈N este lant¸ul Markov grupat corespunz˘ator ˆın raport cu partit¸ia (4.3), avˆand matricea probabilit˘a¸tilor de tranzit¸ie P dat˘a de 1 Pi,i−1 = Pi,i+1 = , 2

(4.7)

pentru i ∈ {−s + 1, . . . , s − 1}, ¸si P−s,−s+1 = Ps,s−1 = 1. Observat¸ia 4.2. Definind funct¸ia de proiect¸ie pr : S ± → S prin
pr(i+ ) = pr i− = i, pentru i ∈ {−s + 1, . . . , s − 1}, ¸si pr(−s) = −s and pr (s) = s, se poate ar˘ata c˘a Xn = pr(Xn± ), 28

n ∈ N.

(4.8)

Observat¸ia 4.3. Din (4.7) ¸si (4.8), se poate ar˘ata c˘a (Xn )n∈N este un mers la ˆıntˆamplare pe S = {−s, . . . , s}, cu bariere reflectante la −s ¸si s. Ne vom referi la el ca la mersul la ˆıntˆamplare pe S reflectat corespunz˘ator mersului la ˆıntˆamplare (Xn± )n∈N . Pentru o stare init¸ial˘a arbitrar˘a X0± = x ∈ S ± , not˘am Px m˘asura de probabilitate asociat˘a mersului la ˆıntˆamplare (Xn± )n∈N ¸si prin Ppr(x) m˘asura de probabilitate asociat˘a mersului la ˆıntˆamplare reflectat (Xn )n∈N corespunz˘ator. Urm˘atorul rezultat descrie o relat¸ie ˆıntre probabilit˘a¸tile de tranzit¸ie ale mersului la ˆıntˆamplare pe S ± ¸si acelea ale mersului la ˆıntˆamplare pe S corespunz˘ator, reflectat: Propozit¸ia 4.4. Pentru orice i ∈ S − {−s, s} ¸si n ∈ N are loc +

+

Pi (Xn = i) = Pi (Xn± = i+ ) + Pi (Xn± = i− ), unde (Xn± )n∈N este un mers la ˆıntˆamplare pe S ± ¸si (Xn )n∈N este mersul la ˆıntˆamplare pe S corespunz˘ator, reflectat. ) : k ∈ {0, 1, ..., 4s − 1}} Observat¸ia 4.5. Alternativ, punˆand U4s = {exp( ikπ 2s pentru mult¸imea vˆarfurilor unui poligon regulat cu 4s laturi ¸si definind biject¸ia f : S ± → U4s prin   iπ + f (k ) = exp (s − k) , k ∈ S, 2s ¸si   iπ , f (k ) = exp (3s + k) 2s −

k ∈ S,

putem vedea mersul la ˆıntˆamplare pe S ± = {−s, . . . , s} ca un mers la ˆıntˆamplare invariant la rotat¸ie pe mult¸imea vˆarfurilor poligonului U4s .

4.3

Rezultate principale

ˆIn acest capitol vom introduce dou˘a cuplaje de mersuri la ˆıntˆamplare pe S ± : cuplajul de translat¸ie ¸si cuplajul de rotat¸ie. Pentru a construi cuplajul de translat¸ie cu st˘arile init¸iale (x,y) ∈ S ± × S ± (f˘ar˘a a pierde din generalitate putem presupune c˘a pr(x) < pr(y)), consider˘am mersul la ˆıntˆamplare (Xn± )n∈N pe S ± cu starea init¸ial˘a x ∈ S ± , ¸si definim un nou ¸sir de variabile aleatoare (Yn± )n∈N astfel. Ideea este c˘a prin Observat¸ia 4.5, putem vedea (Xn± ) ¸si (Yn± ) ca mersuri la ˆıntˆamplare pe U4s , ¸si astfel vom defini variabila aleatoare Yn± ca o translat¸ie a lui Xn± pe cercul unitate 29

π cu (pr(y) − pr(x)) 2s unit˘a¸ti (sau echivalent, o rotat¸ie a lui Xn± ˆın raport cu π ). originea ˆın sens invers trigonometric cu un unghi de (pr(y) − pr(x)) 2s ± Pentru a defini Yn formal, pentru a ∈ Z introducem funct¸ia de translat¸ie tra : S ± → S ± pe S ± prin    pr(a)π −1 f (t) exp −i tra (t) = f , t ∈ S ±, (4.9) 2s

unde f este biject¸ia definit˘a ˆın Observat¸ia 4.5, ¸si punem Yn± = tr(pr(y)−pr(x))+ (Xn± ),

n ∈ N.

Vom numi perechea (Xn± , Yn± )n∈N construit˘a mai sus ca fiind cuplajul de translat¸ie al mersurilor la ˆıntˆamplare pe S ± cu st˘arile init¸iale (x, y). Observat¸ia 4.6. Se poate ar˘ata c˘a ¸sirul (Yn± )n∈N construit mai sus este un mers la ˆıntˆamplare pe S ± cu starea init¸ial˘a Y0± = y ¸si probabilit˘a¸tile de tranzit¸ie date de (4.4) ¸si (4.5). Pentru a construi cuplajul de rotat¸ie cu st˘arile init¸iale (x, y) ∈ S − × S − alese astfel ˆıncˆat pr(x) + pr(y) este un num˘ar par (f˘ar˘a a pierde din generalitate putem presupune c˘a pr(x) < pr(y)), consider˘am un mers la ˆıntˆamplare (Xn± )n∈N pe S ± cu starea init¸ial˘a x ∈ S − , ¸si definim un nou ¸sir de variabile aleatoare (Yn± )n∈N astfel. Ideea este c˘a prin Observat¸ia 4.5, putem vedea (Xn± ) ca un mers la ˆıntˆamplare pe U4s , ¸si definim variabila aleatoare Yn± ca ± simetricul lui X ın raport n ˆ   cu dreapta caretrece prin origine ¸si prin punctul pr(x)+pr(y) − iπ f ( , pentru n ≤ τ , unde ) = exp (3s + pr(x)+pr(y) ) 2s 2 2 ( τ = inf

n ≥ 0 : Xn± =



pr(x) + pr(y) 2

−

 + ) pr(x) + pr(y) or Xn± = − 2

este timpul de cuplaj, ¸si punem Yn± = Xn± pentru n ≥ τ . Pentru a defini Yn± formal, pentru a ∈ S ± introducem funct¸ia de simetrie syma : S ± → S ± pe S ± (simetrie ˆın raport cu dreapta ce trece prin origine ¸si punctul f (a)), prin   syma (t) = f −1 f (t)f 2 (a) , t ∈ S ±, (4.10) ¸si punem ( Yn± =

sym( pr(x)+pr(y) )− (Xn± ) 2 Xn± ,

, n≤τ n>τ

Numim perechea (Xn± , Yn± )n∈N construit˘a mai sus ca fiind cuplajul de rotat¸ie al mersurilor la ˆıntˆamplare pe S ± cu st˘arile init¸iale (x, y). 30

Observat¸ia 4.7. Se poate ar˘ata c˘a ¸sirul (Yn± )n∈N construit mai sus este un lant¸ Markov pe S ± cu starea init¸ial˘a Y0± = y ¸si probabilit˘a¸tile de tranzit¸ie date de (4.4) ¸si (4.5). Propozit¸ia 4.8. Pentru orice i, j ∈ S cu 0 ≤ i ≤ j ¸si orice n ∈ N avem +

+

+

+

Pi (Xn± = i+ ) + Pi (Xn± = i− ) = Pj (Xn± = j + ) + Pj (Xn± = (2i − j)− ), (4.11) unde Xn± este un mers la ˆıntˆamplare pe S ± . Propozit¸ia 4.9. Pentru orice i, j ∈ S cu 0 ≤ i < j astfel ˆıncˆat i + j este un num˘ar par ¸si pentru orice n ∈ N, avem −

−

Pi (Xn± = j + ) < Pj (Xn± = j + ), unde Xn± este un mers la ˆıntˆamplare pe S ± . Principalul rezultat al acestui capitol este dat ˆın urm˘atoarea teorem˘a: Teorema 4.10. Pentru orice s ∈ N − {0} ¸si n ∈ N, P i (Xn = i) este o funct¸ie strict cresc˘atoare de i ∈ {0, . . . s − 1}, adic˘a pentru orice i, j ∈ {0, . . . s − 1} , cu i < j ¸si pentru n ∈ N, avem Pi (Xn = i) < Pj (Xn = j), unde Xn este un mers la ˆıntˆamplare pe S cu bariere reflectante la ±s.

4.4

Extensii ¸si aplicat¸ii

ˆIn acest capitol vom extinde rezultatul principal din Teorema 4.10 astfel: Teorema 4.11. Pentru oricare s ∈ N − {0}, n ∈ N, i, j ∈ {0, . . . , s − 1} cu i < j ¸si oricare k ∈ S cu |i + k| < s, |j + k| < s ¸si k > − min{i + j, 2i − j + s}, are loc Pi (Xn = i + k) < Pj (Xn = j + k), unde Xn este un mers la ˆıntˆamplare pe S = {−s, . . . , s} cu bariere reflectante la ±s. Din teorema de mai sus obt¸inem urm˘atorul Corolar 4.12. Pentru oricare s, n ∈ N − {0}, i, j ∈ {0, . . . , s − 1} cu i < j, ¸si oricare k ∈ {1, . . . , s} cu k ≤ min {s − j, i + j}, are loc Pi (|Xn − i| < k) < Pj (|Xn − j| < k), unde Xn este un mers la ˆıntˆamplare S = {−s, . . . , s} cu bariere reflectante la ±s. 31

Folosind faptul c˘a mi¸scarea Brownian˘a reflectat˘a poate fi aproximat˘a prin mersuri la ˆıntˆamplare (vezi de exemplu [21]), obt¸inem urm˘atorul Corolar 4.13. Pentru oricare x, y ∈ (0, 1) cu x < y ¸si oricare ε < min{1 − y, x + y}, are loc Px (Bt ∈ (x − ε, x + ε)) ≤ Py (Bt ∈ (y − ε, y + ε)) ,

t > 0,

unde Bt este o mi¸scare Brownian˘a reflectat˘a 1-dimensional˘a pe [−1, 1]. Ca un corolar, obt¸inem demonstrat¸ia conjecturii Laugesen-Morpurgo ˆın cazul 1-dimensional, dup˘a cum urmeaz˘a: Corolar 4.14. Pentru oricare x, y ∈ (0, 1) cu x < y, are loc p (t, x, x) < p (t, y, y) ,

t > 0,

unde p(t, x, y) reprezint˘a probabilit˘a¸tile de tranzit¸ie ale mi¸sc˘arii Browniene reflectate 1-dimensionale pe [−1, 1].

5 5.1

APLICAT ¸ II ALE LANT ¸ URILOR MARKOV Introducere

Scopul acestui capitol este descrierea unei metode de analiz˘a statistic˘a a unor date asupra duratei de viat¸˘a. De¸si metoda poate fi aplicat˘a ˆın domenii diverse (inginerie, demografie, medicin˘a, economie), vom folosi terminologia medical˘a a cˆatorva not¸iuni utilizate deoarece ne exprim˘am preferint¸a pentru aplicat¸ii medicale. Redactarea acestui capitol are la baz˘a rezultatele autoarei publicate ˆın lucr˘arile [37] ¸si [38].

5.2 5.2.1

Riscuri competitive Introducere

Modelele de riscuri competitive ofer˘a un cadru natural de descriere a situat¸ilor unde indivizii pot experimenta o diversitate de tipuri de evenimente, astfel ˆıncˆat manifestarea unui eveniment exclude manifestarea celorlate (ˆın domeniul medical, ˆın cele mai multe studii clinice asupra cancerului, pacient¸ii pot deceda datorit˘a unor cauze diverse; decesul datorat altor cauze decˆat cancerul sunt riscuri competitive pentru decesul datorat bolii ˆın studiu). Modelul stocastic pentru riscurile competitive ˆıl reprezint˘a lant¸ul Markov cu una sau mai multe st˘ari tranziente ¸si cu atˆatea st˘ari absorbante cˆate riscuri competitive sunt considerate. 32

ˆIn acest capitol abord˘am problema analizei din punct de vedere statistic a variabilei aleatoare multi-dimensionale compus˘a din variabila durata de viat¸a˘ a evenimentului terminal, notat˘a cu T , variabila tipul evenimentului terminal, notat˘a cu D ¸si covariate, notate cu Z, cˆand realiz˘arile ei sunt part¸ial observate (de exemplu, ˆın studiile medicale, fie timpul exact al evenimentului terminal nu este observat deoarece studiul este ˆıncheiat ˆınainte ca evenimentul s˘a aib˘a loc, caz ˆın care pacientul este cenzurat, fie informat¸ia asupra mortalit˘a¸tii nu este optim˘a, ˆınsemnˆand c˘a motivul decesului nu este cunoscut). Metode ”naive” de analiz˘a a acestor date constau fie ˆın ¸stergerea din setul de date a pacient¸ilor aflat¸i ˆın aceast˘a situat¸ie, fie ˆın alocarea artificial˘a a unui tip de eveniment terminal (o cauz˘a a mort¸ii); noul set de date obt¸inut poate fi analizat ˆın continuare prin metode standard, dar aceasta duce la obt¸inerea unor estimatori deplasat¸i ¸si la pierderea eficient¸ei estimatorilor. Metoda noastr˘a se bazeaz˘a pe modelul de tip mixture existent ˆın literatur˘a (a se vedea Farewell [14], Larson si Dinse [25], Choi and Zhou [8]), care, de¸si abordeaz˘a aspecte interesante ˆın riscurile competitive ([26], [48], [15] [2]), nu a fost extins spre a incorpora ¸si pacient¸i cu informat¸ie incomplet˘a asupra tipului de eveniment terminal (mortalitate). Prezentul capitol propune o rezolvare a aceastei probleme. 5.2.2

Modelul statistic

Consider˘am un lant¸ Markov (Xn )n≥0 peste spat¸iul st˘arilor S = {0, 1, . . . , J}, unde 0 este o stare tranzient˘a, iar 1, . . . , J sunt st˘ari absorbante. Ne vom referi la starea 0 ca la starea init¸ial˘a, ˆın care pacientul este ˆın viat¸˘a ˆıntr-o anumit˘a condit¸ie medical˘a (la momentul administr˘arii tratamentului, sau la momentul intervent¸iei chirurgicale, momentul na¸sterii, etc.), iar starea absorbant˘a j va fi numit˘a eveniment terminal de tip j (spre exemplu, deces datorat cauzei j), j = 1, . . . , J. Ceea ce observ˘am ˆın realitate constituie o populat¸ie avˆand n pacient¸i aflat¸i ˆın studiu clinic ˆın intervalul de timp [0, τ ], fiecare fiind la risc de a experimenta unul din cele J evenimente terminale sau de a fi cenzurat. Not˘am cu T ∗ durata de viat¸˘a a evenimentului terminal (timpul decesului), cu C timpul de cenzur˘a, iar cu D tipul evenimentului terminal (cauza decesului). Fie Z un vector de covariate. Not˘am T = min(T ∗ , C) primul eveniment observat (deces sau cenzur˘a) ¸si prin ∆ = 1{T < C} un indicator care este 1 ˆın caz de deces ¸si zero ˆın caz de cenzur˘a. ˆIn plus, definim pentru fiecare pacient i indicatorul dij care este 1 dac˘a pacientul i experimenteaz˘a un eveniment terminal de tip j P (moare datorit˘a cauzei j) ¸si 0 altfel. De remarcat c˘a ∆i = Jj=1 dij pentru un pacient i cu informat¸ie complet˘a asupra tipului de eveniment terminal (asupra mortalit˘a¸tii).

33

Vom distinge ˆıntre trei tipuri de date observabile: I. (T ∗ = t∗ , D = j) II. (T ∗ > t) III. (T ∗ = t∗ ) Primul tip este o observat¸ie complet˘a (ambele variabile durata de viat¸˘a a evenimentului terminal ¸si tipul evenimentului sunt observate), al doilea tip este o observat¸ie incomplet˘a pentru care T ∗ este cenzurat la dreapta de timpul C = t cˆand pacientul a p˘ar˘asit studiul clinic, iar al treilea tip const˘a ˆıntr-o observare exact˘a a duratei de viat¸a˘ a eveimentului, dar ˆın neobservarea tipului evenimentului. De remarcat c˘a, ˆın general, variabila D nu poate fi observat˘a de sine st˘at˘ator. Formal, preusupunem c˘a D = 0 dac˘a pacientul este imun la toate tipurile J de mortalitate. Presupunem c˘a variabila bi-dimensional˘a (T ∗ , D) ¸si variabila C sunt independente, condit¸ionat de Z. De asemenea, presupunem c˘a observat¸iile asupra celor n pacienti sunt n realiz˘ari independente ale variabilei multi-dimensionale (T, ∆, Z) urmˆand o anumita distribut¸ie de probabilitate. Mai mult, presupunem c˘a mecanismul de cenzur˘a este de tip nonprognostic (a se vedea [24]). Presupunem c˘a num˘arul tipurilor de eveniment terminal (deces) urmeaz˘a o distribut¸ie multinomial˘a, cu probabilitatea ca j s˘a fie cauza de deces (pentru un pacient i cu vectorul de covariate zi ) dat˘a de P (Di = j|zi ) = Pj (zi ) = pij (5.1) PJ ¸si P (Di = 0) = pi , unde pi = 1 − j=1 pij , i = 1, . . . , n. Uneori pi este numit˘a probabilitatea de remisie/ˆıns˘an˘ato¸sire. De remarcat c˘a pentru un pacient i are loc P (Ti∗ = ∞|Di = 0) = 1. Definim funct¸ia de distribut¸ie cumulativ˘a condit¸ionat˘a de Di = j ca Fij (t) = P (Ti ≤ t|Di = j). Not˘am cu fij (t) densitatea de probabilitate (condit¸ionat˘a) corespunz˘atoare. Definim hazardul condit¸ionat al pacientului i, dˆandu-se Di = j, prin P (t ≤ Ti ≤ t + ∆t|Ti ≥ t, Di = j) . ∆t→0 ∆t

hj (t) = lim

(5.2)

ˆIn consecint¸a, funct¸ia de supraviet¸uire condit¸ionat˘a a lui Ti , dˆandu-se Di = j, Rt este Sj (t) = P (Ti > t|Di = j) = exp(− 0 hj (u)du). Se poate arat˘a c˘a (pij ) ¸si (hj ) descriu complet comportamentul stocastic al riscurilor competitive. Modul ˆın care aceste cantit˘a¸ti cheie ”condit¸ionate” de D = j se leag˘a de cantit˘a¸tile corespunz˘atoare necondit¸ionate este descris ˆın [38]. 34

5.2.3

Construct¸ia funct¸iei de verosimilitate ¸si algoritmul EM

Vom aplica algoritmul EM pentru a estima densitatea variabilei bi-dimensionale (T, D) (posibil, dˆandu-se Z), numit˘a ¸si funct¸ia de incident¸˘a cumulativ˘a. La fiecare iterat¸ie, algoritmul creaz˘a ”pseudo-date” ¸si estimeaz˘a parametrii modelelor lui (pij ) si (hj ) aplicˆand acestor pseudo-date tehnici de estimat¸ie de verosimilitate maxim˘a. ˆIn condit¸ii de regularitate bine-cunoscute ([45]) putem ar˘ata c˘a estimatorii obtinut¸i succesiv converg la estimatorii de verosimilitate maxim˘a. Pseudo-date Folosind model de tip mixture discutat mai sus, un pacient i cu o observat¸ie de tip I care decedeaz˘a la timpul ti datorit˘a cauzei j contribuie cu pij fij (ti )

(5.3)

la funct¸ia de verosimilitate. O observat¸ie de tipul II este fract¸ionat˘a ˆın J pseudo-observat¸ii de forma (T > t, D = j), iar o observat¸ie de tipul III este fractionat˘a in J pseudo-observat¸ii de forma (T ∗ = t, D = j). A¸sadar, vom distinge ˆıntre aceste trei tipuri de observat¸ii: I. (T ∗ = t∗ , D = j) II0 . (T > t, D = j), j = 1, . . . , J III0 . (T ∗ = t∗ , D = j), j = 1, . . . , J. Presupunem c˘a pacient¸ii avˆand observat¸ii de tipul II0 sunt reprezentativi pentru tot¸i pacient¸ii care experimenteaz˘a deces de tip j pentru care T dep˘a¸seste t. Mai departe, un pacient i avˆand o observat¸ie de tipul II0 contribuie cu pij Sj (ti )

(5.4)

la funct¸ia de verosimilitate a pseudo-datelor, pe cˆand un pacient i avˆand o observat¸ie de tipul III0 contribuie cu pij fij (ti ).

(5.5)

Not˘am cu Y datele globale provenite din tipurile I, II, III de observat¸ii, ¸si prin Yp pseudo-datele globale provenite din tipurile I, II0 , III0 de observat¸ii. ˆIn cadrul Yp vom distinge ˆıntre pacient¸ii cu durata de viat¸a˘ T ¸si/sau variabila D observate, pe care ˆıi not˘am cu Ypobs (adic˘a toate observat¸iile din Y) ¸si pacient¸ii cu date incomplete (i.e., numai una dintre variabilelele T sau D este observat˘a exact) pe care ˆıi not˘am cu Ypmis (adic˘a pacient¸ii cu date de tip II0 ¸si III0 ). Ipoteze 35

Valorile neobservate ale tipurilor de evenimente terminale pot fi generate de orice distribut¸ie. Pentru a cuantifica mecanismul care genereaz˘a aceste date neobservate, definim un indicator R care poate lua valorile 0 sau 1, ˆın funct¸ie de observarea sau neobservarea cauzei decesului. Not˘am cu Θ setul de parametrii care caracterizeaz˘a modelele lui (pij ) si (hj ). Obiectivul nostru este s˘a estim˘am Θ. Presupunem c˘a mecanismul care genereaz˘a datele neobservate este de tip ”missing at random” (vezi [45]); aceasta ˆınseamn˘a c˘a probabilitatea ca o observat¸ie s˘a lipseasc˘a depinde de Ypobs , dar nu de Ypmis : P (R = 1|Ypobs , Ypmis , ξ) = P (R = 1|Ypobs , ξ), unde ξ este parameterul care caracterizeaz˘a aceast˘a distribut¸ie. Mai mult, presupunem c˘a parametrii Θ ¸si parametrul ξ sunt distinct¸i, ceea ce ˆınseamn˘a c˘a nu e necesar s˘a consider˘am nici un model pentru R pentru a estima Θ. Funct¸ia de verosimilitate asociat˘ a pseudo-datelor ¸si algoritmul EM Funct¸ia de verosimilitate asociat˘a pseudo-datelor L(Θ; Yp ) este un produs de termeni de tip (5.3), (5.4) ¸si (5.5): L(Θ; Yp ) =

n Y J Y 


1{Di =j|T =ti } ∆i
1{Di =j|T >ti } 1−∆i 
d ∆  . · pij fij (ti ) pij fij (ti ) ij i · pij Sj (ti )

i=1 j=1

Fie Θ(l) estimatorul curent al lui Θ. Dac˘a Θ este Θ(l) , media funct¸iei de verosimilitate este dat˘a de (vezi [27]): 
 Q(Θ|Θ(l) ) = E log P(Yp |Θ) |Ypobs , Θ(l) Z
= log P(Yp |Θ) P(Ypmis |Ypobs , Θ(l) )dYpmis Z
= log L(Θ; Yp ) P(Ypmis |Ypobs , Θ(l) )dYpmis . Deoarece ˆın cazul nostru Ypobs coincide cu Y, iar Ypmis cont¸ine toate cauzele de deces neobservate provenite fie de la pacient¸ii decedat¸i, fie de la cei cenzurat¸i,

36

obt¸inem Q(Θ|Θ(l) ) =

X

log(L(Θ; Yp )P(Ypmis |Y, Θ(l) )

Ypmis

=

n X J X X Ypmis

+

i=1 j=1

n X J X X Ypmis

+

 ∆i dij log(pij fij (ti )|Θ) P(Ypmis |Y, Θ(l) )  (1 − ∆i )1{Di = j|T > ti } log(pij Sj (ti )|Θ) P(Ypmis |Y, Θ(l) )

i=1 j=1

n X J X X Ypmis

 ∆i 1{Di = j|T = ti } log(pij fij (ti )|Θ) P(Ypmis |Y, Θ(l) ).

i=1 j=1

Se poate ar˘ata c˘a media funct¸iei de verosimilitate a pseudo-datelor este dat˘a de (l)

Q(Θ|Θ ) =

n X J X

∆i dij log(pij fij (ti ))

i=1 j=1

+

i=1

+

(l)

n X J X

(l)

pij Sj (ti ) log(pij Sj (ti )) (1 − ∆i ) PJ (l) (l) p S (t ) i j=1 k=1 ik k

n X J X i=1 j=1

(l) (l)

pij fij (ti )

∆i PJ

(l) (l)

k=1 pik fik (ti )

log(pij fij (ti )).

Pasul ”E” al algoritmului presupune estimarea lui EΘ(l) [1{Di = j|T > ti }|Y] ¸si a lui EΘ(l) [1{Di = j|T > ti }|Y] bazat pe valoarea curent˘a a lui Θ(l) . Pasul ”M” al algoritmului const˘a ˆın calculul funct¸iei de verosmilitate maxim˘a a lui Θ bazat pe valoarea curent˘a a lui Θ(l) .

5.3

Analiza de date reale

Analiz˘am un set de date cont¸inˆand informat¸ii asupra 169 femei ˆın etate (peste vˆarsta de 65) aflate ˆın stadiul al II-lea al cancerului de sˆan, care au fost prospectiv randomizate pentru a fi tratate cu tamoxifen sau placebo pentru 24 de luni ˆıntr-un studiu clinic condus de Eastern Cooperative Oncology Group ([10]). ˆIn articolul original, cu o mediana de 55 luni, dup˘a 4 ani 80% dintre pacientele tratate cu tamoxifen erau ˆınca ˆın viat¸a˘, dintre cei tratat¸i cu placebo, 74%. ˆIn estimarea funct¸iei de supraviet¸urire global˘a nu s-a identificat nicio diferent¸a˘ ˆın efectele tratamentelor, cu p-value asociat˘a statisticii log-rank egal˘a cu 0.26. Acelea¸si date au fost analizate ˆıntr-un articol al lui Goetghebeur ¸si Ryan [18]. 37

Tabela 1: Factori de prognostic pentru tot¸ii pacient¸ii. Factorul de prognostic Numarul de noduli axilari positivi Receptorul de estrogen Tratament

1-3 ≥4 negativ positiv placebo tamoxifen

n (%) 90 (53%) 79 (47%) 6 ( 4%) 163 (96%) 83 (49%) 86 (51%)

ˆIn Tabelul 1 este descris˘a repartit¸ia covariatelor. Cummings et al. [10] au raportat dou˘a covariate, num˘arul de noduli axilari positivi ¸si statusul receptorului de estrogen (ER) a tumorii principale, ca fiind semnficativ asociat¸i cu rata de supraviet¸uire global˘a. ˆIn cele ce urmeaz˘a, suntem interesat¸i ˆın decesul cauzat de cancerul de sˆan ¸si decesul cauzat de ”alte cauze”, ¸si vom studia efectul acestor covariate asupra funct¸iei de incident¸˘a cumulativ˘a. Un factor care complic˘a analiza este acela c˘a pentru un num˘ar relativ mare de pacient¸i nu se cunoa¸ste cauza decesului. Un total de 79 pacient¸i au decedat; 44 (56%) au decedat datorit˘a cancerului, iar 17 (21%) datorit˘a altor cauze. Pentru 18 pacient¸i (21%), cauza mort¸ii r˘amˆane necunscut˘a. Num˘arul de evenimente pentru fiecare combinat¸ie a acestor covariate este redat ˆın Tabelul 2. Tabela 2: Num˘arul de evenimente pentru fiecare combinat¸ie de covariate.

Num˘ ar de noduri pozitive 1-3 1-3 ≥4 ≥4

Grup Receptorul de estrogen negativ pozitiv negativ pozitiv

Num˘ar de pacient¸i 1 89 5 74

Evenimente Cancer Alte Necunoscute 0 18 5 21

0 6 0 11

0 9 0 9

Cenzurate 1 56 0 33

Vom analiza aceste date folosind metoda descris˘a ˆın Sect¸iunea 2, bazat˘a pe modelarea hazardului condit¸ionat print-un model proportional semi-parametric de tip Cox specificat de hj (t|Z) = hj0 (t) exp(ηj> Z), j = 1, 2, 38

(5.6)

unde j = 1 reprezint˘a cancerul, iar j = 2 reprezint˘a alte cauze. Includem num˘arul de noduli axilari pozitivi ¸si statusul receptorului de estrogen ca ¸si covariates ˆın modelul lui h1 ¸si num˘arul de noduli axilari pozitivi ca ¸si covariat˘a ˆın modelul lui h2 . Pentru hazardul de baz˘a hj0 adopt˘am urm˘atorul model exponential hj0 (t) = exp(αjm ), if t ∈ Im ,

0.2

0.4

0.6

0.8

>3 positive nodes, ER− >3 positive nodes, ER+ 1−3 positive nodes, ER+

0.0

Cumulative incidence of cancer

1.0

unde I1 = [0, 2.61), I2 = [2.61, 3.97), I3 = [3.97, 5.80) si I4 = [5.80, 9.45). ˆIn Figura 1 reprezent˘am funct¸iile de incident¸a˘ cumulative estimate pentru fiecare combinat¸ie de covariate bazate pe modelul descris.

0

2

4

6

8

10

Years since randomization

(b)

0.2

0.4

0.6

0.8

>3 positive nodes, ER− >3 positive nodes, ER+ 1−3 positive nodes, ER+

0.0

Cumulative incidence of other causes

1.0

(a)

0

2

4

6

8

10

Years since randomization

Figura 1: Funct¸iile de incident¸a˘ cumulative pentru cancer (a) ¸si alte cauze (b). 39

Analiza numeric˘a a acestor date a fost f˘acut˘a de autoare ˆın software-ul statistic R ([43]). ˆIn Anex˘a red˘am codul utilizat.

6

˘ ANEXA

ˆIn aceast˘a Anex˘a a fost redat codul R (www.http://cran.r-project.org) al programului utilzat pentru implementarea metodei descris˘a ˆın Capitolul 5.

40

CONCLUZII ˆIn urma cercet˘arii teoretice efectuate ˆın aceast˘a lucrare privind comportamentul asimptotic ¸si comportamentul ˆın timp finit al lant¸urilor Markov finite putem desprinde urm˘atoarele concluzii: 1. Varietatea aplicat¸iilor lant¸urilor Markov finite ˆın diverse domenii ale cunoa¸sterii fac din studiul propriet˘a¸tilor acestora un subiect de actualitate. 2. ˆIn studiul unor tipuri de convergent¸a˘ a lant¸urilor Markov finite neomogene, cunoa¸sterea unor aspecte cu caracter probabilist (clasificarea st˘arilor) ¸si matricial (analiza spectral˘a, incluzˆand vectori ¸si valori proprii) a lant¸urilor Markov omogene finite constituie un instrument puternic de lucru, atˆat prin analogiile care se pot stabili, cˆat ¸si datorit˘a unor relat¸ii funct¸ionale care pot exista ˆıntre cele dou˘a tipuri de lant¸uri Markov, omogene ¸si neomeogene (Capitolul 2). 3. Pentru a extinde criteriile de convergent¸˘a existente ˆın literatur˘a, uneori dificil de aplicat ˆın practic˘a, specializarea pe clase particulare de lant¸uri Markov neomogene (spre exemplu, lant¸urile Markov care caracterizeaz˘a modelul matematic al algoritmului de optimizare simulated annealing) are avantajul stabilirii unor metode de lucru mai adecvate contextului ˆın care sunt utilizate ¸si chiar mai avantajoase din punct de vedere numeric (prin stabilirea explicit˘a a valorii limitei, prin reducerea num˘arului de st˘ari din spat¸iul init¸ial al st˘arilor) (Capitolul 3). 4. Metoda noastr˘a de lucru, care ˆımbin˘a avantajele expuse la punctele 2) ¸si 3) a condus la obt¸inerea unor generaliz˘ari a cˆatorva rezultate existente ˆın literatur˘a ¸si s-a bazat pe utilizarea celui mai general lant¸ Markov omogen finit posibil, acesta cont¸inˆand clase ireductibile, periodice ¸si/sau aperiodice, precum ¸si st˘ari tranziente (Capitolul 3). 5. Un lant¸ Markov neomogen (Xn )n≥0 avˆand matricile de tranzit¸ie (Pn )n≥1 cu proprietatea c˘a ∃d ≥ 1 astfel ˆıncˆat lim Pn,n+d = P ,

n→∞

unde P este un lant¸ Markov omogen oarecare, converge uniform ˆın distribut¸ie la 0 pe subspat¸iul st˘arilor tranziente ale lui P , adic˘a are loc: lim P (Xn = j) = 0, pentru orice stare tranzient˘a j a lui P .

n→∞

(Capitolul 3) 41

6. Cu ajutorul cuplajelor de lant¸uri Markov, s-au stabilit ni¸ste inegalit˘a¸ti ce caracterizeaz˘a comportamentul drumului aleator cu bariere reflectante dup˘a un num˘ar finit de pa¸si; am definit cuplajul de translat¸ie ¸si cuplajul de rotat¸ie al unui lant¸ Markov grupabil, obt¸inut din drumul aleator init¸ial, ¸si am folosit propriet˘a¸ti ale acestora ˆın timp finit. Mai departe, inegalit˘a¸tile obt¸inute au fost extinse la cazul mi¸sc˘arii Browniene pe [−1, 1], rezultat din care s-a dedus o form˘a discret˘a a conjecturii Laugesen-Morprurgo (Capitolul 4). 7. Analiza statistic˘a a duratei de viat¸˘a ˆın prezent¸a riscurilor competitive (cˆand exist˘a mai multe tipuri de evenimente terminale, astfel ˆıncˆat realizarea unuia exclude realizarea celorlate) printr-un model de tip mixture a fost extins˘a ˆın aceast˘a lucrare la cazul cˆand informat¸ia asupra evenimentului terminal este incomplet˘a (nu se cunoa¸ste tipul de eveniment terminal pentru ˆıntreaga populat¸ie statistic˘a ). Parametrii modelului statistic se pot estima prim metoda verosimilitatii maxime, folosind algoritmul EM. Metoda propus˘a a fost aplicat˘a la analiza unui set de date medicale, cu scopul de a obt¸ine un prognostic pentru decesul datorat cancerului de sˆan ˆın contextul ˆın care decesul poate surveni ¸si din alte cauze, independente de diagnosticul de cancer (Capitolul 5).

Bibilografie selectiv˘ a [1] A. Mukherjea and R. Chaudhuri. Convergence of non-homogeneous stochastic chains. Mathematical Proceedings of Cambridge Philosofical Society, II,90:167–182, 1981. [2] O. O. Aalen, Ø. Borgan, and H. K. Gjessing. Survival analysis and event history analysis. Springer: New-York, 2008. [3] J. M. Anthonisse and H. Tijms. Exponential convergence of products of stochastic matrices. Journal of Mathematical Analysis and Applications, 59:360–364, 1977. [4] B. Bowerman, H.T. David, and D. Isaacson. The convergence of Cesaro averages for certain nonstationary Markov chains. Stochastic Processes and their Applications, 5:221–230, 1977. [5] E. Behrends. Introduction to Markov chains with special emphasis on rapid mixing. Advanced Lectures in Mathematics, 2000.

42

[6] C.C. Huang, D. Isaacson, and B. Vinograde. The rate of convergence of certain nonhomogeneous Markov chains. Probability Theory and Related Fields, 35(2):141–146, 1976. [7] Mu-Fa. Chen. Eigenvalues, inequalities and ergodic theory. Springer, 2005. [8] C. K. Choi and X. Zhou. Large sample properties of mixture models with covariates for competing risks. Journal of Multivariate Analysis, 82(2):331–366, 2002. [9] D. Coppersmith and C. W. Wu. Conditions for weak ergodicity of inhomogeneous markov chains. Statistics and Probability Letters, 78:3082–3085, 2008. [10] F. J. Cummings, R. Gray, T. E. Davis, D. C. Tormey, J. E. Harris, G. G. Falkson, and J. Arseneau. Tamoxifen versus placebo: double-blind adjuvant trial in elderly women with stage II breast cancer. National Cancer Institut Monographs, 1:119–123, 1986. [11] D. L. Isaacson and R. W. Madsen. Markov Chains: Theory and Applications. Wiley, New York, 1976. [12] R. L. Dobrushin. Central limit theorem for non-stationary markov chains I, II. Theory of Probability and its Applications, 65-80:329–383, 1956. [13] W. Doeblin. Le cas discontinuu des probabilites en chaˆıne. Publ. Fac. Sci. Univ. Masaryk (Brno), 236, 1937. [14] V. T. Farewell. The use of mixture models for the analysis of survival data with long-term survivors. Biometrics, 38:1041 – 1046, 1982. [15] V. T. Farewell. Mixture models in survival analysis: Are they worth the risk? Canadian Journal of Statistics, 14(3):257 262, 1986. [16] G.F. Frobenius. Uber Matrizen aus nicht negativen Elementeen. Sitzungsber. Preuss. Akad. Wiss., 1912. [17] B. Gidas. Nonstationary Markov chains and convergence of the annealing algorithm. Journal of Statistical Physics, 39:73–131, 1985. [18] E. Goetghebeur and L. Ryan. Analysis of competing risks survival data when some failures types are missing. Biometrika, 82:821–833, 1995. [19] J. Hajnal. Weak ergodicity in nonhomogeneous Markov chains. Mathematical Proceedings of Cambridge Philosofical Society, 54:233–246, 1958. 43

[20] M. Iosifescu. Finite Markov Processes and Their Applications. Wiley ¸si Editura Tehnic˘a, Chichester ¸si Bucure¸sti, 1980. [21] K. Burdzy and Z.Q. Chen. Discrete approximations to reflected Brownian motion. Annals of Probability, 2:698–727, 2008. [22] I. Kozniewska. Ergodicity of non-homogeneous markov chains with two states. Colloquium Mathematicum, 5:208–215, 1958. [23] I. Kozniewska. Ergodicit´e et stationnarit´e des chaines de markoff variables a` un nombre fini detats possibles. Colloquium Mathematicum, 9:333–346, 1962. [24] S. W. Lagakos. General right censoring and its impact on the analysis of survival data. Biometrics, 35:139–156, 1979. [25] M. G. Larson and G. E. Dinse. A mixture model for the regression-analysis of competing risks data. Journal of the Royal Statistical Society Series C-Applied Statistics, 34:201–211, 1985. [26] B. Lau, S. R. Cole, and S. J. Gange. Competing risks regression models for epidemiologic data. American Journal of Epidemiology, 170(2):244–256, 2009. [27] R. J. A. Little and D. B. Rubin. Statistical Analysis with Missing Data. New York: John Wiley & Sons, 1987. [28] V. M. Maksimov. Convergence of non-homogeneous bistochastic markov chains. Theory of Probability and its Applications, 15:604–618, 1970. [29] Mihai N. Pascu and A. Nicolaie. On a discrete version of the LaugesenMorpurgo conjecture. Statistics and Probability Letters, 6 (79):797–806, 2009. [30] A. Mukherjea. A new result on the convergence of nonhomogeneous stochastic chains. Transaction of the American Mathematical Society, 262(2):505–520, 1980. [31] A. Nicolaie. Some spectral properties of a stochastic matrix. Proceedings of the 20th Scientific Session on Mathematics and its Applications, April, Bra¸sov:95–101, 2006. [32] A. Nicolaie. A generalization of a result concerning the asymptotic behavior of finite Markov chains. Statistics and Probability Letters, 18 (78):3321– 3329, 2008. 44

[33] A. Nicolaie. On the asymptotic behavior of finite Markov chains. Carpathian Journal of Mathematics, 2 (24):91–100, 2008. [34] A. Nicolaie. A sufficient condition for the convergence of a finite Markov chain. Mathematical Reports, 10(60):57–71, 2008. [35] A. Nicolaie. On a paper by Gidas. Proceedings of the 21th Scientific Session on Mathematics and its Applications, Bra¸sov:103–108, May, 2007. [36] A. Nicolaie. A sufficient condition for the convergence in the Cesaro sense of nonhomogeneous Markov chains. The 22th Scientific Session on Mathematics and its Applications, Bra¸sov, May, 2008. [37] M. Alina Nicolaie. Analysis of missing causes of failure in competing risks in the context of the Larson and Dinse approach. Mathematical Modelling of Environmental and Life Sciences Problems, MatrixRom, 2010. [38] M. Alina Nicolaie. Competing risks as purged Markov chains. Bulletin of the Transilvania University of Bra¸sov, 3(52):67–70, 2010. [39] G.V. Orman. M˘asur˘a ¸si procese aleatoare. Editura Universit˘a¸tii Transilvania din Bra¸sov, Bra¸sov, 2000. [40] U. P˘aun. Ergodic theorems for finite Markov chains. Mathematical Reports (Bucure¸sti), 53:383–390, 2001. [41] U. P˘aun. δ-ergodic theory and simulated annealing. Mathematical Reports (Bucure¸sti), 9(59):279–303, 2007. [42] A. Paz and M. Reichaw. Ergodic theorems for sequences of infinite stochastic matrices. Mathematical Proceedings of Cambridge Philosofical Society, 63:777–784, 1967. [43] R. R: A Language and Environment for Statistical Computing. R Foundation for Statistical Computing, volume http://www.R-project.org. Vienna, Austria, 2008. [44] R. Laugesen and C. Morpurgo. Extremals for eigenvalues of Laplacians under conformal mapping. Journal of Functional Analysis, 155:64–108, 1998. [45] D. B. Rubin. Inference and missing data. Biometrika, 63:581–592, 1976. [46] E. Seneta. Non-negative matrices. Algorithmica, 6:302–345, 1973.

45

[47] E. Seneta. Coefficients of ergodicity: structure and applications. Advances in Applied Probability, 11:576–590, 1979. [48] J. M. G. Taylor and D. K. Kim. Statistical models for analysing timeto-occurrence data in radiobiology and radiation oncology. International Journal of Radiation Biology, 64(5):627–640, 1993. [49] P.J.M. van Laarhoven and E.H.L. Aarts. Simulated Annealing: Theory and Applications. Reidel, Dordrecht, 1987. [50] G. Winkler. Image analysis, random fields and Markov Chain Monte Carlo methods. Springer, Second Edition, 2003. [51] J. Wolfowitz. Products of indecomposable, aperiodic, stochastic matrices. Proceedings of the American Mathematical Society, 14:733–737, 1963. [52] Weiguo Yang. Convergence in the Cesaro sense and strong law of large numbers for nonhomogeneous Markov chains. Linear Algebra and its Applications, 354:275–288, 2002.

46

REZUMAT Rezumat Aceast˘a tez˘a de doctorat prezint˘a un studiu teoretic al lant¸urilor Markov finite, precum ¸si o aplicat¸ie a lor ˆın statistic˘a. Studiul teoretic se refer˘a la unele criterii de convergent¸˘a ¸si diferite tipuri de ergodicitate pentru lant¸uri Markov finite omogene ¸si neomeogene, cu rezultate originale asupra unei clase largi de lant¸uri neomogene, precum ¸si la studiul comportamentului ˆın timp finit al unui lant¸ Markov omogen particular, drumul aleator cu bariere reflectante. Un exemplu de utilizare al lant¸urilor Markov ˆın statistica aplicat˘a ce ˆıncheie lucrarea contureaz˘a caracterul pragmatic ¸si actual al acestora. Lucrarea este ˆımp˘art¸it˘a ˆın 5 capitole ¸si o anex˘a. Capitolul 1 introduce cˆateva not¸iuni necesare ˆın expunerea ulterioar˘a a lucr˘arii. Capitolul 2 prezint˘a rezultate clasice despre convergent¸a lant¸urilor omogene, precum ¸si o caracterizare a propriet˘a¸tilor spectrale ale unei matrici stocastice finite. Capitolul 3 prezint˘a atˆat rezultate cunoscute, precum ¸si originale, privind comportamentul asimptotic al lant¸urilor Markov neomogene. Capitolul 4 prezint˘a o proprietate de monotonie a drumului aleator cu bariere reflectante. Capitolul 5 prezint˘a un model statistic de analiz˘a a datelor de tip supraviet¸uire al c˘arui model stocastic ˆıl reprezint˘a un lant¸ Markov cu o stare tranzient˘a ¸si multiple st˘ari absorbante. Anexa cont¸ine codul program de implementare a metodei de estimare a parametrilor modelului propus pentru un set de date reale.

Summary This PhD thesis comprises a theoretical approach to the analysis of finite Markov chains and an application to the field of applied statistics. The theoretical approach is devoted, on the one hand, to the study of convergence and several types of ergodicity criteria for homogeneous and non-homogeneous Markov chains, with special emphasis on a large class of chains for which new results are given and, on the other hand, to the study of finite time behaviour of a particular Markov chain, that is, the random walk with reflecting barriers. An example of application of Markov chains in the field of applied statistics

47

concludes this piece of work and highlights the practical and current use of them in different fields of research. The thesis is divided in 5 chapters and an appendix. Chapter 1 is introductory and it is a basis for the future topics of the thesis. Chapter 2 describes classical results on the convergence of homogeneous, finite Markov chains and, besides, some spectral properties of a stochastic matrix. Chapter 3 describes classical and new results which characterize the asymptotic behaviour of nonhomogeneous, finite Markov chains. Chapter 4 is dedicated to the proof of a monotonicity property of a random walk with reflecting barriers. Chapter 5 comprises a statistical approach to the problem of analysis of survival data with missing causes of failure in the presence of competing risks, whose stochastic model is a Markov chain with one transient state and several absorbing states. The Appendix provides R code for the estimation of the parameters in the proposed method and it is used for the analysis of a real data set.

48

CURRICULUM VITAE • Data na¸sterii: 20 Noiembrie 1977 • Locul na¸sterii: Bra¸sov, Romˆania • Contact: [email protected]

EDUCAT ¸ IE • Ianuarie 2008 - Iunie 2012 Doctorand, Department of Medical Statistics and Bioinformatics, Leiden University Medical Center, Leiden, Olanda • Octombrie 2002 – Decembrie 2012 Doctorand, Catedra de Analiz˘a Matematic˘a ¸si Probabilit˘a¸ti, Universitatea ”Transilvania” din Bra¸sov, Romˆania • 2000 - 2002 Master (Matematic˘a) Universitatea ”Transilvania” din Bra¸sov, Romˆania • 1996 - 2000 Licent¸˘a (Matematic˘a) Universitatea ”Transilvania” din Bra¸sov, Romˆania

˘ ˆın CERCETARE EXPERIENT ¸A • 2002 - 2012 Doctorand, ”Transilvania” Universitatea ”Transilvania” din Bra¸sov, Catedra de Analiz˘a Matematic˘a ¸si Probabilit˘a¸ti, Romˆania ˆIndrum˘ator: Prof. Univ. Dr. Gabriel V. Orman Tema: Lant¸uri Markov finite • 2008 - 2012 Doctorand, Leiden University Medical Centre, Department of Medical Statistics and Bioinformatics, Leiden, Olanda ˆIndrum˘atori: Prof. Hein Putter and Prof. Hans van Houwelingen Tema: Prognostic modeling and dynamic prediction for competing risks and multi-state models • 2005 – 2010 ”Universitatea ”Transilvania” din Bra¸sov, Catedra de Analiz˘a Matematic˘a ¸si Probabilit˘a¸ti, Romˆania Asistent cercet˘ator ˆın proiectele: – ”Monotonicity properties, maximum principle and applications” Proiect Nat¸ional finant¸at de CNCSIS, Nr. 61 At. (ˆıntre 2005 - 2007). Director de proiect: Conf. Univ. Dr. Mihai N. Pascu. 49

– ”Research on approximation theory and optimization problems” Proiect Nat¸ional finant¸at de CNCSIS, Nr. 431 A (ˆıntre 2006 - 2008). Director de proiect: Prof. Univ. Dr. Radu P˘alt˘anea. – ”Brownian motion and applications: monotonicity and extremum properties” Proiect Nat¸ional finant¸at de CNCSIS, PN II-IDEI 209 (ˆıntre 2008 - 2010). Director de proiect: Conf. Univ. Dr. Mihai N. Pascu. • Iunie 2006 – Septembrie 2006 Vizitator, Institute de Mathmatiques de Luminy, Marseille, France. Finant¸are Erasmus-Socrates.

PUBLICAT ¸ II Articole 1. A. Nicolaie. ”Some spectral properties of a stochastic matrix”. Proceedings of the 20th Scientific Session on Mathematics and its Applications, Bra¸sov, pag. 95 – 101, 2006. 2. A. Nicolaie. ”On a paper by Gidas”. Proceedings of the 21th Scientific Session on Mathematics and its Applications, Bra¸sov, pag. 103 – 108, 2007. 3. A. Nicolaie. ”A sufficient condition for the convergence in the Cesaro sense of nonhomogeneous Markov chains”. The 22th Scientific Session on Mathematics and its Applications, Bra¸sov, May 2008. 4. A. Nicolaie. ”A sufficient condition for the convergence of a finite Markov chain” (2008), Mathematical Reports (Bucur.) 10 (60), 57-71. 5. A. Nicolaie. ”On the asymptotic behaviour of finite Markov chains” (2008). Carpathian Journal Mathematics 24 (2), 91-100. 6. A. Nicolaie. ”A generalization of a result concerning the asymptotic behavior of finite Markov chains” (2008). Statistics and Probability Letters 18 (78), 3321-329. 7. M. N. Pascu, A. Nicolaie. ”On a discrete version of the LaugesenMorpurgo conjecture” (2009). Statistics and Probability Letters 6 (79), 797-806. 8. M.A. Nicolaie, H.J. van Houwelingen and H. Putter. ”Vertical modeling: a pattern mixture approach to competing risks modeling” (2010). Statistics in Medicine 29 (11), 1190-1205. 50

9. M.A. Nicolaie. ”Competing risks as purged Markov chains” (2010). Bulletin of the Transilvania University of Bra¸sov, 3(52), Series III: Mathematics, Informatics, Physics, 67-70. 10. M.A. Nicolaie. ”Analysis of missing causes of failure in competing risks in the context of the Larson and Dinse approach” (2011). Proceedings of The Eighth Workshop on Mathematical Modelling of Environmental and Life Sciences Problems, MatrixRom Printing House. 11. M.A. Nicolaie, H.J. van Houwelingen and H. Putter. ”Vertical modeling: analysis of competing risks data with missing causes of failure” (2011). Acceptat˘a pentru publicare ˆın Statistical Methods in Medical Research. DOI: 10.1177/0962280211432067. 12. M.A. Nicolaie, H.J. van Houwelingen, T. de Witte and H. Putter. ”Dynamic prediction by landmarking in competing risks” (2011). Acceptat˘a pentru publicare ˆın Statistics in Medicine. DOI: 10.1002/sim.5665 13. M.A. Nicolaie, H.J. van Houwelingen and H. Putter. ”Dynamic pseudoobservations: a robust approach to dynamic prediction in competing risks”. Re-submitted after first revision. Postere 1. M.A. Nicolaie, H.J. van Houwelingen, H. Putter. ”Vertical modeling: a pattern mixture approach to competing risks modeling” (2009). Stochastics Meeting Lunteren 2009, The Netherlands. 2. M.A. Nicolaie, H.J. van Houwelingen, H. Putter. ”Vertical modeling: analysis of competing risks data with missing causes of failure ”. The XXVth International Biometric Conference 2010, Florianopolis, Brazil. 3. M.A. Nicolaie, H.J. van Houwelingen, T. de Witte and H. Putter. ”Dynamic pseudo-observations: a robust approach to dynamic prediction in competing risks”. Quantitative methods in statistics, biostatistics and actuarial sciences, Universit´e Catholique de Louvain, Belgium.

PREMII • Burs˘a Erasmus-Socrates, Universitatea ”Transilvania” din Bra¸sov, Romˆania, 2006.

51

• Participant nat¸ional desemnat pentru conferint¸a ”The 15th European Young Statisticians Meeting”, 2007, Castro-Urdiales, Spania, sub tutela Comitetului European Regional al Societ˘a¸tii Bernoulli. • Premii oferite de CNCSIS ˆın cadrul programului nat¸ional ”Premierea rezultatelor cercet˘arii”, 2009, 2010. • Student Conference Award, ISCB, Montpellier, France, 2010. • Best Poster Presentation Award, IBC, Florianopolis, Brazil, 2010. • Grant oferit de Universitatea Milano-Bicocca, Milan, Italia, pentru a urma ”Longitudinal data analysis with time-dependent covariates for inference and prediction”, curs dat de Prof. Patrick Heagerty, Ponte di Legno, Italia, 2011.

TEACHING EXPERIENCE Asistent pentru S¸tiint¸e Biomedicale (Licent¸a˘ ¸si Master), Universitatea din Leiden, Olanda 2009-2012. Cursurile au fost predate de Prof. Hein Putter, Conf. dr. Saskia le Cessie, Lect. dr. Marta Fiocco, Dr. Bart Mertens. Tematica urm˘arit˘a a cont¸inut: regresie liniar˘a ¸si logistic˘a, analiza duratei de viat¸a˘, mixed models. Responsabilit˘a¸tile mele au inclus sesiune de exercit¸ii, discutarea temelor. Asistent pentru Catedra de Analiz˘a Matematic˘a ¸si Probabilit˘a¸ti, Universitatea ”Transilvania” din Bra¸sov, Romˆania, 2002-2007. Tematica urm˘arit˘a a cont¸inut: analiz˘a matematic˘a, probabilit˘a¸ti ¸si statistic˘a. Responsabilit˘a¸tile mele au inclus sesiune de exercit¸ii, discutarea temelor. Absolvent al Modulului Pedagogic la Universitatea ”Transilvania” din Bra¸sov, Romˆania,, 1998-1999. Acesta a inclus cursuri de psihologie, pedagogie, didactic˘a ¸si practica pred˘arii matematicii.

SEMINARII & CONFERINT ¸E CONTRIBUTED • 2004–2006, Conferint¸a Nat¸ional˘a de Probabilit˘a¸ti ¸si Statistic˘a, Bucure¸sti, Romˆania. • Iulie 2006, The 26th European Meeting of Statisticians. Torun, Polania. • Septembrie 2007, The 15th European Young Statisticians Meeting, CastroUrdiales, Spania. 52

• Aprilie 2009, The 2nd IBS Channel Network, Ghent, Belgia. • August 2009, The 30th Annual Conference of ISCB, Praga, Cehia. • Noimebrie 2009, Stochastics Meeting Lunteren, Olanda. • Martie 2010, Young Statisticians Meeting, Liverpool, Marea Britanie. • August 2010, The 31st Annual Conference of ISCB, Montpellier, Frant¸a. • Decembrie 2010, The XXVth International Biometric Conference, Florianopolis, Brazilia. • Aprilie 2011, The 3rd IBS Channel Network, Bordeaux, Frant¸a. • Iunie 2011, The 7th Congress of Romanian Mathematicians, Bra¸sov, Romˆania. • Octombrie 2012, The 20th Annual Meeting of the Belgian Statistical Society, Li´ege, Belgia. JOINTED • Martie 2007, The 8th German Open Conference on Probability and Statistics, Aachen, Germania. • Mai 2008, 81eme rencontre entre physiciens theoreticiens et mathematiciens: Mouvement Brownien et marches alatoires en mathmatiques et en physique. IRMA, Strasbourg, Frant¸a. • Iulie 2008, The XXIVth International Biometric Conference at University College Dublin, Dublin, Irlanda. • Septembrie 2008, Workshop on Missing Information in Survival Data beyond Right Censoring. Ghent University, Faculty of Veterinary Medicine, Belgia. • Noiembrie 2008, Advanced topics in survival analysis, 2nd MSOURCE Biostatistics Symposium, Brussels, Belgia.

53

INVITED • Februarie 2012, Vertical modeling: analysis of competing risks data with missing causes of failure, EORTC, Brussels, Belgia. • Mai 2012, Dynamic pseudo-values: a robust approach to dynamic prediction in competing risks, ISBA, Universit´e Catholique de Louvain, Louvain-la-Neuve, Belgia

APARTENENT ¸ A LA ORGANIZAT ¸ II PROFESIONALE • International Biometric Society (2009 - current) • International Society of Clinical Biostatistics (2009 - current) • BMS-ANed Dutch region of International Biometric Society (2009 - current)

˘ LIMBI STRAINE • Romˆan˘a (limba matern˘a) • Englez˘a (Certificate of Advanced English) • Neerlandez˘a (A1) • Francez˘a (competent¸e profesionale limitate)

LIMBAJE DE PROGRAMARE R, SPSS, Latex

54

Curriculum vitae • Birth date: 20 November 1977 • Place of birth: Bra¸sov, Romania • Contact info: [email protected]

EDUCATION • January 2008 - June 2012 Ph.D. student, Department of Medical Statistics and Bioinformatics, Leiden University Medical Center, Leiden, the Netherlands • October 2002 – December 2012 Ph.D. student, Department of Mathematical Analysis and Probability, ”Transilvania” University of Bra¸sov, Romania • 2000 - 2002 MA (Mathematics) ”Transilvania” University of Bra¸sov, Romania • 1996 - 2000 BA (Mathematics) ”Transilvania” University of Bra¸sov, Romania

RESEARCH EXPERIENCE • 2002 - 2012 Ph.D. student, ”Transilvania” University of Bra¸sov, Bra¸sov, Department of Mathematical Analysis and Probability, Romania Supervisor: Prof. Gabriel V. Orman Topic: Finite Markov chains • 2008 - 2012 Ph.D. student, Leiden University Medical Centre, Department of Medical Statistics and Bioinformatics Supervisors: Prof. Hein Putter and Prof. Hans van Houwelingen Topic: Prognostic modeling and dynamic prediction for competing risks and multi-state models • 2005 – 2010 ”Transilvania” University of Bra¸sov, Bra¸sov, Department of Mathematical Analysis and Probability, Romania Junior researcher in

55

– ”Monotonicity properties, maximum principle and applications” National Project granted by CNCSIS, No. 61 At. (between 2005 2007). Supervisor: Assoc. Prof. Mihai N. Pascu. – ”Research on approximation theory and optimization problems” National project granted by CNCSIS, No. 431 A (between 2006 - 2008). Supervisor: Prof. Radu P˘alt˘anea. – ”Brownian motion and applications: monotonicity and extremum properties” National project granted by CNCSIS, PN II-IDEI 209 (between 2008 - 2010). Supervisor: Assoc. Prof. Mihai N. Pascu. • June 2006 – September 2006 Invited, Institute de Mathmatiques de Luminy, Marseille, France. Erasmus-Socrates scholarship

PUBLICATIONS Papers 1. A. Nicolaie. ”Some spectral properties of a stochastic matrix”. Proceedings of the 20th Scientific Session on Mathematics and its Applications, Bra¸sov, pag. 95 – 101, 2006. 2. A. Nicolaie. ”On a paper by Gidas”. Proceedings of the 21th Scientific Session on Mathematics and its Applications, Bra¸sov, pag. 103 – 108, 2007. 3. A. Nicolaie. ”A sufficient condition for the convergence in the Cesaro sense of nonhomogeneous Markov chains”. The 22th Scientific Session on Mathematics and its Applications, Bra¸sov, May 2008. 4. A. Nicolaie. ”A sufficient condition for the convergence of a finite Markov chain” (2008), Mathematical Reports (Bucur.) 10 (60), 57-71. 5. A. Nicolaie. ”On the asymptotic behaviour of finite Markov chains” (2008). Carpathian Journal Mathematics 24 (2), 91-100. 6. A. Nicolaie. ”A generalization of a result concerning the asymptotic behavior of finite Markov chains” (2008). Statistics and Probability Letters 18 (78), 3321-329. 7. M. N. Pascu, A. Nicolaie. ”On a discrete version of the LaugesenMorpurgo conjecture” (2009). Statistics and Probability Letters 6 (79), 797-806.

56

8. M.A. Nicolaie, H.J. van Houwelingen and H. Putter. ”Vertical modeling: a pattern mixture approach to competing risks modeling” (2010). Statistics in Medicine 29 (11), 1190-1205. 9. M.A. Nicolaie. ”Competing risks as purged Markov chains” (2010). Bulletin of the Transilvania University of Bra¸sov, 3(52), Series III: Mathematics, Informatics, Physics, 67-70. 10. M.A. Nicolaie. ”Analysis of missing causes of failure in competing risks in the context of the Larson and Dinse approach” (2011). Proceedings of The Eighth Workshop on Mathematical Modelling of Environmental and Life Sciences Problems, MatrixRom Printing House. 11. M.A. Nicolaie, H.J. van Houwelingen and H. Putter. ”Vertical modeling: analysis of competing risks data with missing causes of failure” (2011). Accepted for publication in Statistical Methods in Medical Research. DOI: 10.1177/0962280211432067. 12. M.A. Nicolaie, H.J. van Houwelingen, T. de Witte and H. Putter. ”Dynamic prediction by landmarking in competing risks” (2011). Accepted for publication in Statistics in Medicine. DOI: 10.1002/sim.5665 13. M.A. Nicolaie, H.J. van Houwelingen and H. Putter. ”Dynamic pseudoobservations: a robust approach to dynamic prediction in competing risks”. Re-submitted after first revision. Posters 1. M.A. Nicolaie, H.J. van Houwelingen, H. Putter. ”Vertical modeling: a pattern mixture approach to competing risks modeling” (2009). Stochastics Meeting Lunteren 2009, The Netherlands. 2. M.A. Nicolaie, H.J. van Houwelingen, H. Putter. ”Vertical modeling: analysis of competing risks data with missing causes of failure ”. The XXVth International Biometric Conference 2010, Florianopolis, Brazil. 3. M.A. Nicolaie, H.J. van Houwelingen, T. de Witte and H. Putter. ”Dynamic pseudo-observations: a robust approach to dynamic prediction in competing risks”. Quantitative methods in statistics, biostatistics and actuarial sciences, Universit´e Catholique de Louvain, Belgium.

57

HONOURS AND AWARDS • Erasmus-Socrates scholarship, ”Transilvania” University of Bra¸sov, Romania, 2006. • Elected National Participant to attend The 15th European Young Statisticians Meeting, 2007, Castro-Urdiales, Spain, by the International Organizing Committee in behalf of the European Regional Committee of the Bernoulli Society. • Awards granted by The Romanian National Council of Scientific Research (CNCSIS), 2009, 2010. • Student Conference Award, ISCB, Montpellier, France, 2010. • Best Poster Presentation Award, IBC, Florianopolis, Brazil, 2010. • Grant from University of Milano-Bicocca, Milan, Italy, to follow Longitudinal data analysis with time-dependent covariates for inference and prediction, course given by Prof. Patrick Heagerty, Ponte di Legno, Italy, 2011.

TEACHING EXPERIENCE Teaching assistant for the Bachelor and Master Biomedical Sciences, Leiden University, 2009-2012. The courses were taught by Prof. Hein Putter, Assoc. Prof. Saskia le Cessie, Assist. Dr. Marta Fiocco, Dr. Bart Mertens. The courses comprised linear and logistic regression, survival analysis, mixed models. My responsibilities included exercise sessions, homework assignments. Teaching assistant for the Department of Mathematical Analysis and Probability, ”Transilvania” University of Bra¸sov, Romania, 2002-2007. The courses comprised mathematical analysis, probability, and statistics. My responsibilities included exercise sessions, homework assignments. Followed the Pedagogical Module at ”Transilvania” University of Bra¸sov, Romania, 1998-1999. This included courses on psychology, pedagogy, didactics and teaching practice at the secondary and high-school levels.

SEMINARS & CONFERENCE PRESENTATIONS CONTRIBUTED • 2004–2006, The National Romanian Conference on Probability and Statistics, Bucharest, Romania. 58

• July 2006, The 26th European Meeting of Statisticians. Torun, Poland. • September 2007, The 15th European Young Statisticians Meeting. CastroUrdiales, Spain. • April 2009, The 2nd IBS Channel Network, Ghent, Belgium. • August 2009, The 30th Annual Conference of ISCB, Prague, Czech Republic. • November 2009, Stochastics Meeting Lunteren, The Netherlands. • March 2010, Young Statisticians Meeting, Liverpool, U.K. • August 2010, The 31st Annual Conference of ISCB, Montpellier, France. • December 2010, The XXVth International Biometric Conference, Florianopolis, Brazil. • April 2011, The 3rd IBS Channel Network, Bordeaux, France. • June 2011, The 7th Congress of Romanian Mathematicians, Bra¸sov, Romania. • October 2012, The 20th Annual Meeting of the Belgian Statistical Society, Li´ege, Belgium. JOINTED • March 2007, The 8th German Open Conference on Probability and Statistics, Aachen, Germany. • May 2008, 81eme rencontre entre physiciens theoreticiens et mathematiciens: Mouvement Brownien et marches alatoires en mathmatiques et en physique. IRMA, Strasbourg, France. • July 2008, The XXIVth International Biometric Conference at University College Dublin, Dublin, Ireland. • September 2008, Workshop on Missing Information in Survival Data beyond Right Censoring. Ghent University, Faculty of Veterinary Medicine, Belgium. • November 2008, Advanced topics in survival analysis, 2nd MSOURCE Biostatistics Symposium, Brussels, Belgium. 59

INVITED • February 2012, Vertical modeling: analysis of competing risks data with missing causes of failure, EORTC, Brussels, Belgium. • May 2012, Dynamic pseudo-values: a robust approach to dynamic prediction in competing risks, ISBA, Universit´e Catholique de Louvain, Louvain-la-Neuve, Belgium.

PROFESSIONAL MEMBERSHIPS • International Biometric Society (2009 - current) • International Society of Clinical Biostatistics (2009 - current) • BMS-ANed Dutch region of International Biometric Society (2009 - current)

LANGUAGES • Romanian (native) • English (Certificate of Advanced English) • Dutch (beginner) • French (limited working proficiency)

PROGRAMMING LANGUAGES R, SPSS, Latex

60