Einfuhrung in die Zeitreihenanalyse (Statistik und ihre Anwendungen) [1 ed.] 3540256288, 9783540335719, 9783540256281 [PDF]

Zitiervorschau

Wissenschaftliche Berater: Prof. Dr. Holger Dette ´ Prof. Dr. Wolfgang Hårdle

Jens-Peter Kreiû ´ Georg Neuhaus

Einfçhrung in die Zeitreihenanalyse Mit 86 Abbildungen und 8 Tabellen

12

Professor Dr. Jens-Peter Kreiû Technische Universitåt Carolo-Wilhelma zu Braunschweig Institut fçr Mathematische Stochastik Carl-Friedrich-Gauû-Fakultåt fçr Mathematik und Informatik Pockelstraûe 14 38106 Braunschweig [email protected] Professor Dr. Georg Neuhaus Universitåt Hamburg Schwerpunkt Mathematische Statistik und Stochastische Prozesse Department Mathematik Bundesstraûe 55 20146 Hamburg [email protected]

ISBN-10 ISBN-13

3-540-25628-8 Springer Berlin Heidelberg New York 978-3-540-25628-1 Springer Berlin Heidelberg New York

Bibliografische Information Der Deutschen Bibliothek Die Deutsche Bibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet çber abrufbar. Dieses Werk ist urheberrechtlich geschçtzt. Die dadurch begrçndeten Rechte, insbesondere die der Ûbersetzung, des Nachdrucks, des Vortrags, der Entnahme von Abbildungen und Tabellen, der Funksendung, der Mikroverfilmung oder der Vervielfåltigung auf anderen Wegen und der Speicherung in Datenverarbeitungsanlagen, bleiben, auch bei nur auszugsweiser Verwertung, vorbehalten. Eine Vervielfåltigung dieses Werkes oder von Teilen dieses Werkes ist auch im Einzelfall nur in den Grenzen der gesetzlichen Bestimmungen des Urheberrechtsgesetzes der Bundesrepublik Deutschland vom 9. September 1965 in der jeweils geltenden Fassung zulåssig. Sie ist grundsåtzlich vergçtungspflichtig. Zuwiderhandlungen unterliegen den Strafbestimmungen des Urheberrechtsgesetzes. Springer ist ein Unternehmen von Springer Science+Business Media springer.de ° Springer-Verlag Berlin Heidelberg 2006 Printed in Germany Die Wiedergabe von Gebrauchsnamen, Handelsnamen, Warenbezeichnungen usw. in diesem Werk berechtigt auch ohne besondere Kennzeichnung nicht zu der Annahme, dass solche Namen im Sinne der Warenzeichen- und Markenschutz-Gesetzgebung als frei zu betrachten wåren und daher von jedermann benutzt werden dçrften. Umschlaggestaltung: Design & Production, Heidelberg SPIN 11381266

154/3153-5 4 3 2 1 0 ± Gedruckt auf såurefreiem Papier

F¨ ur unsere Kinder Alexander, Franziska und Johanna Sabine und Susanne

Vorwort

Die vorliegende Einf¨ uhrung in die Zeitreihenanalyse hat ihre Wurzeln in einer Vorlesung zu diesem Thema, die der zweite Autor vor mehr als 20 Jahren an der Universit¨ at Hamburg gehalten hat und in der der erste Autor zum ersten Mal in Kontakt mit diesem Gebiet gekommen ist. Das Ziel war damals und ist heute, wichtige Bereiche der Zeitreihenanalyse einem mathematisch orientierten Leserkreis auf einem angemessenen Niveau zu vermitteln. Unsere Darstellung beginnt mit Beispielen von Zeitreihen, wie sie uns in unserem t¨ aglichen Leben begegnen und versucht erste interessierende Fragestellungen aufzuwerfen. Daran schließt sich eine Diskussion grundlegender Begriffe wie Stationarit¨ at, Autokovarianz und Autokorrelation von Zeitreihen, Spektralmaß und Spektraldichte sowie Vorhersage von Zeitreihen an. Hierbei begegnen uns auch Modelle f¨ ur Zeitreihen, wie ein weißes Rauschen oder autoregressive Zeitreihen, zum ersten Mal. Bei der Vorstellung der Sonnenfleckenzahlen (sunspot numbers) gehen wir auch auf die Historie dieser klassischen Zeitreihe ein. Ausger¨ ustet mit den Grundwerkzeugen der Zeitreihenanalyse behandeln wir anschließend in Kapitel 5 ein zentrales theoretisches Resultat, n¨amlich den Spektralsatz der Zeitreihenanalyse. Ausgehend von relativ leicht zu interpretierenden zyklischen Zeitreihen definieren und motivieren wir ein stochastisches Integral als Skalarprodukt erhaltende lineare Abbildung (Isometrie), mit dessen Hilfe wir jede station¨ are Zeitreihe darstellen k¨onnen. Durch das Zur¨ uckgreifen auf Isometrien haben wir f¨ ur das stochastische Integral eine Reihe von Rechenregeln zur Hand, die uns den Umgang mit diesem und auch den Beweis des Spektralsatzes sehr erleichtern. Bei der Betrachtung von Filtern profitieren wir ebenfalls von diesem Vorgehen, sodass sich der abstrakte Zugang zum Spektralsatz lohnt. Einfache autoregressive Zeitreihen konnten wir relativ fr¨ uh einf¨ uhren und direkt auf ihre Eigenschaften hin untersuchen. F¨ ur die Behandlung der grundlegenden autoregressive moving average (kurz: ARMA)–Zeitreihen k¨onnen wir in Kapitel 7 auf den Spektralsatz und vor allem auf die Filtertechnik

VIII

Vorwort

zur¨ uckgreifen. So kann diese zentrale Klasse linearer Zeitreihenmodelle effizient und vollst¨ andig behandelt werden. Insbesondere die Frage nach der Existenz (bzw. der eindeutigen Existenz) von L¨ osungen von ARMA–Gleichungen und die Struktur der Autokovarianzfunktion wird ersch¨opfend behandelt. Mit Kapitel 10 beginnen wir den statistischen Teil unserer Einf¨ uhrung in die Zeitreihenanalyse. Hierin stellen wir zun¨ achst das aktuelle Konzept der schwachen Abh¨ angigkeit vor, welches auf Paul Doukhan zur¨ uck geht und u ¨ber Forderungen an die Kovarianzstruktur von Zufallsvariablen definiert wird. Durch den Einsatz dieses Konzeptes vermeiden wir einerseits die Behandlung von Mischungseigenschaften, um die man bei der asymptotischen Verteilungstheorie f¨ ur nichtlineare, abh¨ angige Zufallsvariable kaum herum kommt. Andererseits stellen wir dem Leser eine modernes Konzept und ein zentrales Grenzwertresultat aus der Literatur zur Verf¨ ugung, das u ¨ber die Behandlung von speziellen Zeitreihenmodellen hinaus zur Anwendung kommen kann. Nat¨ urlich k¨ onnen wir das Konzept der schwachen Abh¨angigkeit nicht in seiner gesamten Breite behandeln, aber wir formulieren und beweisen alle in dieser Einf¨ uhrung verwendeten Resultate vollst¨ andig. Mit dem erw¨ahnten zentralen Grenzwertsatz f¨ ur schwach abh¨ angige Zufallsvariable k¨onnen wir die asymptotische Normalit¨ at der empirischen Autokovarianzfunktion f¨ ur lineare Zeitreihen zeigen. Hieraus lassen sich in Kapitel 11 asymptotische Verteilungen, insbesondere f¨ ur die Sch¨ atzer der Parameter einer autoregressiven Zeitreihe, herleiten. Prominentestes Beispiel f¨ ur derartige Sch¨atzer sind die Yule– Walker–Parametersch¨ atzer, denen wir uns ausf¨ uhrlich zuwenden. Aber auch auf der Methode der kleinsten Quadrate oder dem Maximum–Likelihood– Ansatz basierende Parametersch¨ atzer werden f¨ ur AR– und ARMA–Zeitreihen vorgestellt. Die theoretischen Ergebnisse und insbesondere die asymptotischen Normalverteilungsaussagen erg¨ anzen wir durch kleine Simulationsstudien. Wir verlassen im Anschluss die statistischen Fragen im Zeitbereich der Zeitreihenanalyse und wenden uns in Kapitel 12 dem Sch¨atzen im sogenannten Spektralbereich, d.h. im Wesentlichen dem Sch¨ atzen der Spektraldichte einer station¨aren Zeitreihe, zu. Dort steht zun¨ achst das Periodogramm mit seinen Eigenschaften im Vordergrund. Da dieses aber keinen konsistenten Sch¨atzer der Spektraldichte abgibt, wenden wir uns der Suche nach derartigen Sch¨atzern zu. Dies f¨ uhrt uns zu Gl¨ attungsverfahren f¨ ur das Periodogramm und sogenannten Lag–Window–Sch¨ atzern. Auch hier haben wir uns um eine in sich abgeschlossene Darstellung – einschließlich der asymptotischen Verteilungsaussagen – bem¨ uht. Es versteht sich dabei von selbst, dass im Rahmen einer Einf¨ uhrung in die Zeitreihenanalyse nicht alle Aspekte und Feinheiten der Spektraldichtesch¨ atzung behandelt werden k¨ onnen. Ein Einblick in diesen wesentlichen Bereich der Zeitreihenanlyse ist aber unabdingbar. Zur Veranschaulichung der Gl¨attungstechniken werden zus¨ atzlich die Ergebnisse einiger Simulationen dargelegt. Die Kapitel 10 bis 12 enthalten mehrere Resultate, die im Beweis einer l¨angeren Argumentation bed¨ urfen. Wir haben uns bem¨ uht, die wesentlichen

Vorwort

IX

Beweisideen zu vermitteln, aber an der einen oder anderen Stelle l¨angere technische Rechnungen unterdr¨ uckt. Kapitel 13 gibt einen Einblick in den Bereich der Ordnungswahl von ARMA– Zeitreihenmodellen. Im Gegensatz zu den bisherigen Kapiteln greifen wir an dieser Stelle mitunter auf heuristische Argumentationsweisen zur¨ uck. Eine mathematisch vollst¨ andige Behandlung erfordert einen recht hohen technischen Aufwand, der uns f¨ ur eine Einf¨ uhrung in das Gebiet der Zeitreihenanalyse nicht angebracht erscheint. Auch hier findet sich das ein oder andere Simulationsbeispiel. Eine moderne Einf¨ uhrung in die Zeitreihenanalyse kann nicht ohne eine Einf¨ uhrung in die Grundlagen finanzieller Zeitreihen auskommen. Bedingt durch den enormen Bedarf an ad¨ aquater Modellierung von umfangreichen finanziellen Datenreihen, die fast immer in Form von Zeitreihen vorliegen, und verst¨arkt durch die W¨ urdigung der bedingt heteroskedastischen Modellierung von Zeitreihen (vgl. Engle (1982)) durch die Verleihung des Preises der Schwedischen Nationalbank zu Ehren Alfred Nobels (auch Nobelpreis genannt) an Robert F. Engle im Jahre 2003, wurden in diesem Umfeld in den vergangenen Jahren neuartige Modellklassen entwickelt, die einen eigenst¨andigen Bereich innerhalb der Zeitreihenanalyse begr¨ undet haben. Wir werden die Grundlagen der von Engle eingef¨ uhrten ARCH–Zeitreihen und deren Erweiterung zu GARCH–Modellen in Kapitel 14 ausf¨ uhrlich und mathematisch rigoros behandeln. Gleichzeitig wollen wir am Beispiel des Deutschen Aktienindex (DAX) das Potential dieser Modelle f¨ ur die Beschreibung derartiger finanzieller Zeitreihen untersuchen. Zum Abschluss stellen wir in Kapitel 15 grundlegende Resultate u ¨ber multivariate station¨ are Zeitreihen zusammen. Dieses Kapitel ist lediglich als eine ¨ Art Ubersicht zu verstehen, ohne dass wir hier in die Tiefe gehen. Eine Reihe von Anh¨angen mit h¨ aufig ben¨ otigten Formeln, grundlegenden mathematischen Resultaten und Konvergenzbegriffen der Stochastik sollen den vorliegenden Text erg¨ anzen und in sich abschließen. Die vorliegenden Inhalte sind von beiden Autoren wiederholt in Lehrveranstaltungen an der Universit¨ at Hamburg und der Technischen Universit¨at Carolo–Wilhelmina zu Braunschweig vermittelt worden. Unsere Vorstellung ist, dass diese Einf¨ uhrung in die Zeitreihenanalyse als Grundlage f¨ ur eine Vorlesung in den Bereichen Mathematik, Finanz– und Wirtschaftsmathema¨ tik und Okonometrie auch von Dozentinnen und Dozenten verwendet werden kann, deren eigenes Arbeitsgebiet nicht die Zeitreihenanalyse ist. F¨ ur eine Vorlesung im Umfang von vier Semesterwochenstunden ist allerdings eine Auswahl zu treffen. Insbesondere wird man aus den Kapiteln 9 bis 15 nur onnen. Die im Anschluss an die jeweiligen Kapitel gestellten Teile behandeln k¨ ¨ Aufgaben reichen sicher hin, um Ubungen zur einer solchen Veranstaltung zu konzipieren. Ebenso kann der Text auch zur eigenst¨andigen Einarbeitung in das Gebiet oder im Rahmen eines Seminars verwendet werden. Hierzu sind

X

Vorwort

unseres Erachtens Grundvorlesungen u ¨ber Analysis und Lineare Algebra sowie Grundkenntnisse der Stochastik und Statistik notwendig. Unser Dank geht an die vielen Personen, die uns bei der Erstellung dieses Textes unterst¨ utzt haben. Herr J¨ org Ohle und insbesondere Frau Simone Kohlmann haben die handschriftlichen Manuskripte unerm¨ udlich nach LATEX u urkes, Christian Hagel, Frank Pal¨bertragen. Unsere Mitarbeiter Andreas D¨ kowski und Volker Rehbock haben die geschriebenen Kapitel mit großer Sorgfalt gelesen und zahlreiche, u ¨ber viele Schreibfehler hinausgehende, Verbesserungsvorschl¨ age gemacht, die wir gerne aufgegriffen haben. Nicht zuletzt haben Studierende uns in unseren Lehrveranstaltungen auf eine Reihe von Punkten hingewiesen, die verbesserungsbed¨ urftig waren. Schließlich gilt unser Dank dem Springer–Verlag und hier insbesondere Herrn Clemens Heine und Frau Lilith Braun, die das Projekt initiiert und zuvorkommend begleitet haben. Wir hoffen, mit der vorliegenden Einf¨ uhrung dazu beizutragen, dass zuk¨ unftige Studierende einen ansprechenden Einstieg in das interessante Gebiet der Zeitreihenanalyse finden.

Braunschweig und Hamburg, M¨arz 2006

Jens–Peter Kreiß Georg Neuhaus

Inhaltsverzeichnis

1

Einf¨ uhrung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.1 Beispiele f¨ ur Zeitreihen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.2 Trendsch¨ atzung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 1.3 Sch¨ atzung saisonaler Anteile in Zeitreihen . . . . . . . . . . . . . . . . . . 12 Aufgaben . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

2

Stationarit¨ at und grundlegende Modelle der Zeitreihenanalyse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.1 Stationarit¨ at von Zeitreihen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.2 Grundlegende station¨ are Zeitreihenmodelle . . . . . . . . . . . . . . . . . 2.3 Empirische Autokovarianzen und Autokorrelationen . . . . . . . . . . 2.4 Gaußsche Zeitreihen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.5 Die partielle Autokorrelation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Aufgaben . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

17 17 22 31 38 39 43

3

Die Autokovarianz und die Autokorrelation . . . . . . . . . . . . . . . . 3.1 Grundlegende Eigenschaften . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.2 Spektralmaß und Spektraldichte . . . . . . . . . . . . . . . . . . . . . . . . . . . Aufgaben . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

47 47 49 63

4

Lineare Vorhersage bei endlicher Vergangenheit . . . . . . . . . . . 4.1 Die rekursive Gram–Schmidt–Orthogonalisierung . . . . . . . . . . . . 4.2 Die Levinson–Rekursion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Aufgaben . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

65 66 69 72

5

Der Spektralsatz f¨ ur station¨ are Zeitreihen . . . . . . . . . . . . . . . . . 5.1 Die Spektraldarstellung zyklischer Zeitreihen . . . . . . . . . . . . . . . . 5.2 Maße mit orthogonalen Werten und ein stochastisches Integral 5.3 Der Spektralsatz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.4 Eine Substitutionsregel f¨ ur stochastische Integrale . . . . . . . . . . . Aufgaben . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

75 75 78 83 87 88

XII

Inhaltsverzeichnis

6

Filterung station¨ arer Zeitreihen . . . . . . . . . . . . . . . . . . . . . . . . . . . 91 6.1 Grundbegriffe und einfache Eigenschaften von Filtern . . . . . . . . 91 6.2 Spezielle Filter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95 6.3 Zweiseitige MA–Reihen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106 Aufgaben . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106

7

ARMA–Modelle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109 7.1 Definition und Existenz von ARMA–Reihen . . . . . . . . . . . . . . . . 109 7.2 Kausalit¨ at und Invertibilit¨ at von ARMA–Reihen . . . . . . . . . . . . 116 7.3 Lineare L1 –Filter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119 Aufgaben . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120

8

Die Autokovarianz und Autokorrelation von ARMA– Reihen im reellen Fall . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123 8.1 Die Berechnung der Autokovarianzen von ARMA–Reihen aus der MA–Darstellung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123 8.2 Die Differenzengleichung f¨ ur die Koeffizienten der MA–Darstellung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126 8.3 Die Differenzengleichung f¨ ur die Autokovarianzen und die Yule–Walker–Gleichungen bei AR–Reihen . . . . . . . . . . . 128 8.4 Identifizierbarkeit der Parameter von ARMA–Zeitreihen . . . . . . 133 Aufgaben . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136

9

Deterministische und rein nicht–deterministische Zeitreihen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139 9.1 Die Wold–Zerlegung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140 9.2 Approximation durch AR– und MA–Reihen . . . . . . . . . . . . . . . . . 146 Aufgaben . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149

10 Asymptotische Eigenschaften von Sch¨ atzverfahren in linearen Zeitreihenmodellen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153 10.1 Einfache asymptotische Eigenschaften des Stichprobenmittels und der Stichprobenautokovarianz . . . . . . . . . . . . . . . . . . . . . . . . . 154 10.2 Schwache Abh¨ angigkeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159 10.3 Ein zentraler Grenzwertsatz f¨ ur schwach abh¨angige Zufallsvariable . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161 10.4 Asymptotische Normalit¨ at des Stichprobenmittels und der Stichprobenautokovarianz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169 Aufgaben . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180 11 Parametersch¨ atzung in ARMA–Modellen . . . . . . . . . . . . . . . . . . 183 11.1 Parametersch¨ atzung f¨ ur autoregressive Zeitreihen . . . . . . . . . . . . 184 11.2 Maximum–Likelihood Sch¨ atzer im autoregressiven Modell . . . . 193 11.3 Parametersch¨ atzung in autoregressiven Modellen mit wachsender Ordnung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201

Inhaltsverzeichnis

XIII

11.4 Parametersch¨ atzung f¨ ur ARMA–Zeitreihen . . . . . . . . . . . . . . . . . 212 Aufgaben . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224 12 Sch¨ atzen im Spektralbereich . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227 12.1 Parametrische Spektraldichtesch¨ atzung . . . . . . . . . . . . . . . . . . . . . 230 12.2 Das Periodogramm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232 12.3 Eigenschaften des Periodogramms . . . . . . . . . . . . . . . . . . . . . . . . . 235 12.4 Lag–Window–Sch¨ atzer der Spektraldichte . . . . . . . . . . . . . . . . . . 243 12.5 Das gegl¨ attete Periodogramm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 255 12.6 Konfidenzintervalle f¨ ur die Spektraldichte . . . . . . . . . . . . . . . . . . . 259 12.7 Das integrierte Periodogramm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262 Aufgaben . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 270 13 Modellierung mit ARMA-Zeitreihen . . . . . . . . . . . . . . . . . . . . . . . 277 13.1 ARIMA–Zeitreihen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 278 13.2 Ordnungswahl in ARMA–Zeitreihen . . . . . . . . . . . . . . . . . . . . . . . 279 13.3 Threshold Zeitreihenmodelle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 292 Aufgaben . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 292 14 Grundlagen finanzieller Zeitreihen . . . . . . . . . . . . . . . . . . . . . . . . . 295 14.1 GARCH–Modelle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 298 14.2 Parametersch¨ atzung in GARCH–Modellen . . . . . . . . . . . . . . . . . . 309 14.3 Anwendung der GARCH–Methodik . . . . . . . . . . . . . . . . . . . . . . . . 318 Aufgaben . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 322 15 Grundlagen multivariater Zeitreihen . . . . . . . . . . . . . . . . . . . . . . . 325 15.1 Multivariate Spektraltheorie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 328 15.2 Multivariate Filter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 335 15.3 Der quadratische Koh¨ arenzkoeffizient und verwandte Gr¨oßen . . 337 15.4 Sch¨ atzer der Spektraldichtematrix . . . . . . . . . . . . . . . . . . . . . . . . . 343 15.5 Multivariate ARMA–Reihen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 344 15.6 Sch¨ atzung des Mittelwertvektors und der Autokovarianzmatrix einer multivariaten Zeitreihe . . . . . . . . . . . 350 15.7 Lineare Vorhersage bei multivariaten Zeitreihen . . . . . . . . . . . . . 354 15.8 Zustandsraummodelle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 355 15.9 Der Kalman–Filter zur linearen Vorhersage . . . . . . . . . . . . . . . . . 358 Aufgaben . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 361 A

Anhang . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363 A.1 Einige n¨ utzliche Formeln . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363 A.2 Integration komplexer Funktionen . . . . . . . . . . . . . . . . . . . . . . . . . 364 A.3 Elementare Hilbertraum Theorie . . . . . . . . . . . . . . . . . . . . . . . . . . 366 A.4 L¨ osungen einer homogenen Differenzengleichung . . . . . . . . . . . . . 372 A.5 Konvergenzbegriffe in der Stochastik . . . . . . . . . . . . . . . . . . . . . . . 374 A.6 Die Moore–Penrose–Inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 380

XIV

Inhaltsverzeichnis

Literaturverzeichnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 381 Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 385

1 Einfu ¨ hrung

Zeitreihen begegnen uns in den verschiedensten Bereichen des t¨aglichen Le¨ bens. Uberall werden uns Grafiken mit zeitlichen Verl¨aufen von Anzahlen pr¨asentiert. Prominente Beispiele sind sicherlich die monatlichen Arbeitslosenzahlen in Deutschland oder der fast kontinuierlich dokumentierte Stand des Deutschen Aktienindex DAX. Aber auch Verkaufszahlen, Bev¨olkerungs– oder Einkommensentwicklungen sowie Unfallzahlen im Straßenverkehr werden in sogenannten Zeitreihen u ¨bersichtlich und informativ dargestellt. So k¨onnen sich viele Menschen in unserer Gesellschaft unter Zeitreihen und deren Analyse etwas vorstellen. Dies ist bei weitem nicht f¨ ur jedes Wissenschaftsgebiet der Fall. Gleichzeitig reicht die Zeitreihenanalyse in ganz verschiedene Gebiete der Wissenschaft hinein, etwa in die Wirtschaftswissenschaften, die Natur– und Ingenieurwissenschaften und nicht zuletzt in die Mathematik. Wir n¨ahern uns den Zeitreihen von einer mathematisch stochastischen Seite, werden aber die vielf¨ altigen anwendungsbezogenen Fragestellungen im Auge behalten und versuchen, auch dem nicht origin¨ ar aus dem mathematischen Umfeld stammenden Leser grundlegende konzeptionelle Ans¨ atze nahe zu bringen. Zun¨achst ist die Frage zu beantworten, was eine Zeitreihe eigentlich ist. Grunds¨ atzlich bezeichnen wir mit einer Zeitreihe eine Folge von oftmals reellen Gr¨oßen, die in einer diskreten (und eben nicht kontinuierlichen) Zeit anfallen, aufgezeichnet oder verarbeitet werden sollen. Die monatlichen Arbeitslosenzahlen in Deutschland (vgl. Abbildung 1.1), die von der Bundesagentur f¨ ur Arbeit in N¨ urnberg bereitgestellt werden, sind ein allgegenw¨artiges Beispiel. Wir gehen davon aus, dass die zu den verschiedenen Zeitpunkten anstehenden Gr¨oßen zufallsabh¨ angig sind und deshalb sinnvoll als Zufallsvariable aufgefasst werden k¨ onnen. Falls die Zeitabst¨ ande zwischen den einzelnen Zufallsvariablen zus¨atzlich a quidistant sind, also ohne Einschr¨ ankung (in einem geeignetem ¨ Messsystem) den Abstand eins besitzen, gelangen wir zu dem grundlegenden Modell X = (Xt : t ∈ T ) ,

T = N oder Z ,

(1.1)

2

1 Einf¨ uhrung

5.000.000

4.000.000

3.000.000

2.000.000

0

12

24 36

48

60

72

84

96 108 120 132 144 156 168 180

Abb. 1.1 Monatliche Arbeitslosenzahlen in der Bundesrepublik Deutschland von September 1990 bis August 2005 mit einem gesch¨ atzten kubischen Trend

mit (reellwertigen) Zufallsvariablen Xt , t ∈ T , auf einem Wahrscheinlichkeitsraum (Ω, A, P ). Obwohl die tats¨ achlichen Realisierungen einer Zeitreihe fast immer zu einem gewissen Zeitpunkt (sagen wir t = 1) beginnen, benutzt man in der Zeitreihenanalyse trotzdem sehr h¨aufig die Modellierung u ¨ber die Zeitmenge T = Z, also mit unendlicher Vergangenheit, um Resultate in technisch einfacherer Weise formulieren und beweisen zu k¨onnen. Die Zeitmenge T = N w¨ urde immer wieder eine gesonderte Behandlung der Startwerte erfordern, der wir aus dem Wege gehen wollen. Nat¨ urlich ist gerade die Abh¨angigkeitsstruktur der Zufallsvariablen Xt zu verschiedenen Zeitpunkten f¨ ur die Zeitreihenanalyse besonders interessant. Deshalb spielt der f¨ ur die Mathematische Statistik sehr wichtige Fall der stochastisch unabh¨angigen und identisch verteilten (independent and identically distributed – i.i.d. –) Zufallsvariablen im Bereich der Zeitreihenanalyse nur die Rolle eines – allerdings grundlegenden – Eingangsmodells im Rahmen des sogenannten weißen Rauschens (vgl. Beispiel 2.5). Im folgenden Abschnitt betrachten wir tats¨ achliche Zeitreihen aus unserem gesellschaftlichen Umfeld, aber auch einige klassische Datens¨atze der Zeitreihenanalyse, wie die historischen Wasserst¨ ande des Nils oder die Canadian Lynx Data. Mit der im Rahmen der historischen Entwicklung der Zeitreihenanalyse bedeutenden Zeitreihe der Sonnenfleckenzahlen (sunspot numbers) befassen wir uns in Kapitel 2 gesondert. Weiter behandeln wir in zwei Abschnitten die Sch¨atzung und Bereinigung von sogenannten Trend– und Saisonkomponenten

1 Einf¨ uhrung

3

bei Zeitreihen. Die st¨ arker mathematisch gepr¨ agte Analyse von Zeitreihen fußt n¨amlich zum u ¨berwiegenden Teil auf Zeitreihen, denen ein u ¨ber die Zeit stabiler Generierungsmechanismus zugrunde liegt und die dadurch ein sogenanntes station¨ ares Verhalten zeigen. Hierauf werden wir dann in Kapitel 2 vertieft eingehen. Die dort vorgestellten Modelle und entwickelten Methoden befassen sich also mit der Abh¨ angigkeitsstruktur der Zufallsgr¨oßen nach vollst¨andiger Eliminierung von etwaigen saisonalen oder Trendeinfl¨ ussen. Obwohl in der praktischen Anwendung derartige Effekte immer nur unvoll-

1.500 1.400 1.300 1.200 1.100 1.000 900 600

700

800

900

1000

1100

1200

1300

Abb. 1.2 J¨ ahrliche minimale Wasserst¨ ande des Nils von 622 bis 1284 gemessen am Nilometer auf der Nilinsel ar–Randa bei Kairo mit einem u ¨ber ein gleitendes Mittel der L¨ ange 21 gesch¨ atzten Trend

st¨ andig und h¨ ochstens approximativ entfernt werden k¨onnen, finden die im Verlauf dieses Buches behandelten Methoden trotzdem vielfache Anwendung auf lediglich saison– und trendbereinigte Daten. Dies mag auf den ersten Blick verwundern, aber die vollst¨ andige Einbeziehung aller in diesem mehrstufigen Verfahren eingesetzten Methoden w¨ urde zu einer ¨außerst un¨ ubersichtlichen und mit technischen Details u ¨berladenen Darstellung des Gebietes der Zeitreihenanalyse f¨ uhren. Zus¨ atzlich ist die stochastische Modellierung grunds¨atzlich dem mathematisch kaum zu fassenden Risiko eines nicht ad¨aquaten Modells ausgesetzt. Wir folgen in dieser Einf¨ uhrung in die Zeitreihenanalyse dem Vorbild vieler Lehrb¨ ucher und basieren die wesentlichen Teile der Analyse auf station¨aren Zeitreihen, die wir in Definition 2.1 formal einf¨ uhren werden. Trotzdem behandeln wir an dieser Stelle grundlegende Techniken zur Bereinigung

4

1 Einf¨ uhrung

von Trend– oder Saisoneinfl¨ ussen, mit denen Zeitreihenanalytiker vertraut sein sollten. Ein Ziel der Zeitreihenanalyse ist eine ad¨ aquate Beschreibung von in zeitlicher Abfolge auftretenden und voneinander abh¨ angigen Daten. Insbesondere sucht man nach einer angemessenen Modellierung der Abh¨angigkeitsstruktur, um vertrauensw¨ urdige Prognosen f¨ ur zuk¨ unftige Werte abgeben zu k¨onnen. Ein weiteres wichtiges Ziel einer mathematisch gepr¨ agten Zeitreihenanalyse ist es, ein tieferes Verst¨ andnis der verwendeten Modelle und Methodiken in diesem Bereich zu gewinnen.

1.1 Beispiele fu ¨ r Zeitreihen Im Rahmen der historischen Entwicklung der Zeitreihenanalyse haben sich einige Beispiele f¨ ur Zeitreihen einen festen Platz erobert. Dazu geh¨oren die sogenannten Sonnenfleckenzahlen (sunspot numbers), denen wir uns in Kapitel 2 ausf¨ uhrlich und mit einigen historisch interessanten Details erg¨anzt zuwenden werden. Die Aufzeichnung der Sonnenfleckenzahlen geht bis ins fr¨ uhe 17. Jahr¨ hundert zur¨ uck. Wesentlich ¨ alter sind die Aufzeichnungen der Agypter u ¨ber

7.000 6.000 5.000 4.000 3.000 2.000 1.000

1820

1840

1860

1880

1900

1920

1940

Abb. 1.3 Anzahl j¨ ahrlich gefangener Luchse in Kanada (MacKenzie River) f¨ ur den Zeitraum 1821 bis 1934

die Wasserst¨ ande des f¨ ur die ¨ agyptische Landwirtschaft so wichtigen Flusses Nil. Die auf der Nilinsel ar–Randa in der N¨ ahe von Kairo errichteten Nilometer zeichneten jeweils am 3. Juli eines Jahres Wasserst¨ande (sogenannte

1.1 Beispiele f¨ ur Zeitreihen

5

j¨ahrliche Minima) auf. Diese liegen f¨ ur den Zeitraum 622–1284 (vgl. Abbildung 1.2) l¨ uckenlos vor (siehe Toussoun (1925) oder Beran (1994)). Nicht nur die Ertr¨ age sondern auch die Besteuerung der Felder hing vom Nilstand ab, der bis zum Bau des Staudammes bei Assuan (1892 –1902) allj¨ahrlich gemessen wurde. Dieser Datensatz ist auf der Website http://lib.stat.cmu.ed von StatLib erh¨ altlich. Diese Website wird vom Department of Statistics at Carnegie Mellon University gepflegt und ist eine wahre Fundgrube f¨ ur statistisch interessante Datens¨atze. Eine weitere in der Literatur vielfach untersuchte Zeitreihe ist die Anzahl der

7.000 6.000 5.000 4.000 3.000 2.000 1.000

1.000

2.000

3.000

4.000

5.000

6.000

7.000

Abb. 1.4 Xt−1 − Xt –Plot der Luchsdaten aus Abbildung 1.3

in einem bestimmten Gebiet Kanadas (MacKenzie River) gefangenen Luchse (vgl. Campbell/Walker (1977)). Diese Canadian Lynx Data sind in Abbildung 1.3 dargestellt. F¨ ur diese Daten gibt Abbildung 1.4 einen sogenannten Xt−1 − Xt –Plot, in dem die Punkte (Xt−1 , Xt ), t = 2, . . . , n, eingetragen sind, wieder. Ein solcher Plot gibt einen ersten Eindruck u ¨ber die m¨ogliche Abh¨angigkeitsstruktur zweier benachbarter Beobachtungen. F¨ ur die Canadian Lynx Data erkennt man in Abbildung 1.4 einen recht deutlichen positiven Zusammenhang der Beobachtungen aus zwei aufeinander folgenden Jahren. Tats¨achlich stellt die grafische Darstellung und Aufbereitung der Daten in der Regel den ersten Schritt bei der Analyse von Zeitreihen dar. Als weitere Beispiele f¨ ur ¨ okonomische Zeitreihen seien neben den Arbeitslosenzahlen (Abbildung 1.1), die Reihe der t¨ aglichen Schlusskurse des DAX (Abbildung 1.5) f¨ ur den Zeitraum 1. Januar 1990 bis 30. September 2005 sowie

6

1 Einf¨ uhrung

8.000 7.000 6.000 5.000 4.000 3.000 2.000 1.000

0

500

1000

1500

2000

2500

3000

3500

4000

Abb. 1.5 T¨ agliche Schlusskurse des Deutschen Aktienindex DAX f¨ ur den Zeitraum Januar 1990 bis September 2005 zusammen mit einem gleitenden Mittel u ¨ber die jeweils 200 vorangegangenen Werte (sogenannter 200 Tage Durchschnitt)

der t¨agliche US–Dollar/DM –Wechselkurs f¨ ur den Zeitraum vom 1. Juli 1990 (Beginn der W¨ ahrungsunion mit der ehemaligen DDR) bis zur Einf¨ uhrung des Eurobargeldes am 1. Januar 2002 (Abbildung 1.6) erw¨ahnt. Diese Beispiele f¨ ur sogenannte Finanzzeitreihen werden wir im Kapitel 14 erneut aufgreifen. Wesentlich f¨ ur die dortige Untersuchung sind die sogenannten Renditen, d.h. die prozentualen Ver¨ anderungen des Kurses von heute gegen¨ uber dem von gestern. F¨ ur die Zeitreihe des DAX sind derartige Renditen in Abbildung 1.7 zu sehen. Bei genauem Hinsehen erkennt man in der Zeitreihe des DAX (vgl. Abbildung 1.5) gleich zu Beginn der Datenreihe ein abruptes Absinken des Kurses. Dieses Ereignis koinzidiert deutlich mit dem Beginn des Golfkrieges zu Beginn des Jahres 1991. Kurz danach finden wir einen singul¨aren fast zehnprozentigen Verlust des DAX, der auf den Tag des Bekanntwerden des seinerzeitigen Putschversuches in der ehemaligen Sowjetunion gegen Michail Gorbatschow f¨ allt und der mit bloßem Auge in dieser Darstellung nur sehr schwer zu erkennen ist. Beide Ereignisse sind sehr viel deutlicher in den Renditewerten des DAX (vgl. Abbildung 1.7) zu erkennen. Zu Beginn dieser Datenreihe beobachten wir eine erh¨ ohte Schwankungsbreite (sogenannte Volatilit¨at) des Kurses, die einem nerv¨ osen Markt zu eigen ist, wie er in der Zeit des Golfkrieges vorgelegen hat. Im weiteren Verlauf der Zeitreihe der DAX–Renditen finden wir immer wieder ruhigere und auch volatilere Marktphasen (im Wesentlichen charakterisiert durch die beobachtete Schwankungsbreite), die f¨ ur

1.1 Beispiele f¨ ur Zeitreihen

7

finanzielle Zeitreihen sehr typisch ist. Insbesondere ist der singul¨are, fast zehnprozentige Verlust an nur einem einzigen Tag zu Beginn in der Zeitreihe der Renditen sehr deutlich zu erkennen. Diesen kleinen Reigen an Beispielen wollen wir mit der monatlichen Zeitreihe der Anzahl der durch Verkehrsunf¨ alle get¨ oteten Personen in Deutschland f¨ ur

2,40 2,20 2,00 1,80 1,60 1,40

0

500

1000

1500

2000

2500

3000

3500

4000

Abb. 1.6 T¨ aglicher US–Dollar/DM-Wechselkurs f¨ ur den Zeitraum 1. Juli 1990 bis 31. 12. 2001 mit einer Gl¨ attung gem¨ aß der Methode des exponentiellen Gl¨ attens mit Parameter 0.97

den Zeitraum seit Anfang 1991 abschließen (vgl. Abbildung 1.8). Die Daten stammen vom Statistischen Bundesamt, Wiesbaden (Genesis–Online, Code 46241). Diese große Datenbank (http://www.statistik-portal.de) enth¨alt eine Vielzahl von interessanten Zeitreihen aus den verschiedensten Bereichen in Deutschland und ist eine lohnende Quelle bei der Suche nach relevanten Datens¨ atzen. Man erkennt in der Zeitreihe der Verkehrsunfallzahlen mit t¨odlichem Ausgang den deutlichen, auffallend linearen und fallenden Trend sowie eine klare saisonale Komponente, auf deren Sch¨atzung wir noch zu sprechen kommen werden. In vielen weiteren realen Zeitreihen, wie etwa den Arbeitslosenzahlen, entdeckt man ebenfalls einen zeitlichen Trend und/oder saisonale Einfl¨ usse. In den folgenden beiden Abschnitten wollen wir uns um diese Fragestellung k¨ ummern.

8

1 Einf¨ uhrung 10 8 6 4 2 0 −2 −4 −6 −8 −10 0

500

1000

1500

2000

2500

3000

3500

4000

Abb. 1.7 T¨ agliche Renditen des DAX aus Abbildung 1.5

1.000 800 600 400 200

0

12

24

36

48

60

72

84

96 108 120 132 144 156 168 180

Abb. 1.8 Monatliche Anzahl der durch Verkehrsunf¨ alle in Deutschland get¨ oteten Personen von Januar 1991 bis Mai 2005 zusammen mit einem gesch¨ atzten linearen Trend und einem gem¨ aß des gleitenden Mittels u ¨ber 12 Monate gesch¨ atzten Trend

1.2 Trendsch¨ atzung

9

1.2 Trendsch¨ atzung Um Trendkomponenten in Zeitreihendaten zu sch¨atzen und sp¨ater dann auch eliminieren zu k¨ onnen, bieten sich zun¨ achst Methoden an, die aus dem Bereich der linearen Regression bekannt sind.

300 200 100 0 −100 −200 600

700

800

900

1000

1100

1200

1300

Abb. 1.9 Minimale Nilwasserst¨ ande (vgl. Abbildung 1.2) bereinigt um den dort angegebenen Trend

Beispiel 1.1 (Lineare Trendmodelle) F¨ ur gegebene reelle Funktionen m0 , m1 , . . . , mk auf Z bezeichnen wir m(t) =

k


ai mi (t) ,

∀t ∈ Z,

(1.2)

i=0

f¨ ur a0 , . . . , ak ∈ R, als lineares Trendmodell. F¨ ur k = 1, m0 (t) = 1 und m1 (t) = t erhalten wir den linearen Trend a0 + a1 · t, sowie f¨ ur beliebiges k mit mi (t) = ti , i = 0, . . . , k , einen polynomialen Trend. Die Sch¨ atzung in einem linearen Trendmodell (1.2) f¨ uhrt man in Analogie zur Regression etwa mit der Methode der kleinsten Quadrate durch, indem man ahlt, dass der Ausdruck a0 , . . . , ak so w¨ n 
t=1

Xt −

k
i=0

2 ai mi (t)

(1.3)

10

1 Einf¨ uhrung

minimal wird. Dabei bezeichnen X1 , . . . , Xn die gegebenen Beobachtungen der zugrunde liegenden Zeitreihe. Unterstellen wir f¨ ur die Arbeitslosenzahlen in Abbildung 1.1 und f¨ ur den dargestellten Zeitraum einen polynomialen Trend der Ordnung k = 3, so erhalten wir den gesch¨ atzten Trend m(t)  = 2.018.898 + 59.815, 60 · t − 582, 12 · t2 + 1, 87 · t3 ,

(1.4)  

der in Abbildung 1.1 mit dargestellt ist.

Aus der Abbildung 1.1 erkennt man, dass ein Trend in gewisser Weise eine Gl¨attung der beobachteten Zeitreihe darstellt. Deshalb kommen auch aus der Statistik bekannte Gl¨ attungsmethoden zur Trendsch¨atzung in Frage.

700.000 500.000 300.000 100.000 −100.000 −300.000 −500.000 −700.000 0

12

24 36

48

60

72

84

96 108 120 132 144 156 168 180

Abb. 1.10 Trendbereinigte Arbeitslosenzahlen (vgl. mit Abbildung 1.1)

Beispiel 1.2 (Gleitendes Mittel) F¨ ur ein gegebenes q ∈ N und reelle Gewichte wj , j = −q, . . . , q, heißt m(t)  =

q


wj Xt+j ,

t = q + 1, . . . , n − q ,

(1.5)

j=−q

ein Trendsch¨ atzer auf Basis eines gleitendes Mittels der L¨ange 2q+1 f¨ ur die Beugend groß sein muss, damit (1.5) Sinn obachtungen X1 , . . . , Xn , wobei n gen¨ q macht. Wichtig ist die Einhaltung der Normierungsbedingung j=−q wj = 1 ,

1.2 Trendsch¨ atzung

11

die z.B. erforderlich ist, damit das gleitende Mittel eine konstante Folge andert l¨ asst. Xt = c ∀ t unver¨ Im Falle wj = w−j , j = 1, . . . , q , heißt das gleitende Mittel symmetrisch und ur j ≥ 1 heißt es einseitig. Das einseitig gleitende Mittel im Falle wj = 0 f¨ erlaubt eine Bestimmung der Trendsch¨ atzung bis hin zum Zeitpunkt der aktuellen Beobachtung und findet insbesondere bei B¨orsenkursen Anwendung (vgl. Abbildung 1.5 f¨ ur den DAX mit q = 200). Typische Wahlen f¨ ur die Gewichte wj sind wj = 1/(2q + 1) , j = −q, . . . , q. atzung eingesetzt, um die in Mit qNil = 10 haben wir exakt diese Trendsch¨ Abbildung 1.2 wiedergegebene Situationen f¨ ur die Nildaten zu erhalten. Im Falle des einseitigen gleitenden Mittels ist insbesondere die Situation q = +∞ und w−j = αj · (1 − α) , j = 0, 1, 2, . . . , (0 < α < 1) unter dem Namen exponentielles Gl¨ atten bekannt, siehe auch Aufgabe 4.1 und Beispiel 6.9. Es gilt m(t)  = (1 − α)

∞


αj Xt−j = (1 − α) · Xt + α · m(t  − 1) .

(1.6)

j=0

Um die Konvergenz der Reihe wollen wir uns erst sp¨ater k¨ ummern. Sie gilt tats¨achlich sowohl fast sicher als auch im quadratischen Mittel, vgl. Beispiel 2.13. Formal m¨ ussen f¨ ur die Berechnung von m(t)  unendlich viele Beobachtungen der Vergangenheit vorhanden sein. Dies umgeht man, indem man den Startwert m(1)  = X1 festsetzt und die weiteren Werte rekursiv auf Basis aß der zweiten Gleichung in (1.6) berechnet. Mit der Daten X1 , . . . , Xn gem¨ α = 0, 97 haben wir diesen Trendsch¨ atzer mittels exponentiellem Gl¨atten f¨ ur die Wechselkursdaten in Abbildung 1.6 bestimmt.   Selbstverst¨ andlich k¨onnen weitere aus dem Bereich des Gl¨attens bekannte Methodiken, wie etwa Splines–Techniken, zum Trendsch¨atzen herangezogen werden. Die in Beispiel 1.2 vorgestellte Methode des gleitenden Mittels korrespondiert zu sogenannten Kerngl¨ attungsmethoden der Statistik, wobei aufgrund der diskreten Zeit die Kernfunktion durch die Gewichte wj festgelegt wird und die L¨ ange q des gleitenden Mittels der Bandweite eines Kernsch¨atzers entspricht. Je gr¨ oßer q gew¨ ahlt wird, desto st¨ arker werden die Ausgangsdaten gegl¨attet. Betrachten wir nun etwa die Nildaten nach Trendbereinigung (vgl. Abbildung 1.9), so erkennen wir eine gewisse Stabilit¨ at der Datenreihe u ¨ber die Zeit. Hingegen zeigen sowohl die Arbeitslosenzahlen wie die Verkehrsunfallzahlen nach Subtraktion des gesch¨ atzten Trends (vgl. Abbildungen 1.10 und 1.11) noch deutliche saisonale Schwankungen, die es zu bereinigen gilt, bevor diese Datens¨atze den in den folgenden Kapiteln behandelten Methoden f¨ ur station¨are Zeitreihen zug¨ anglich werden.

12

1 Einf¨ uhrung

200

100

0

−100

−200 0

12

24

36

48

60

72

84

96 108 120 132 144 156 168 180

Abb. 1.11 Die trendbereinigte Anzahl von Todesopfern in Verkehrsunf¨ allen in Deutschland (vgl. mit Abbildung 1.8)

1.3 Sch¨ atzung saisonaler Anteile in Zeitreihen Viele Zeitreihendaten unterliegen saisonal bedingten Schwankungen. So h¨oren wir oft, dass ein R¨ uckgang oder auch eine Zunahme von Arbeitslosenzahlen in gewissen Monaten lediglich auf saisonale Effekte zur¨ uckzuf¨ uhren ist. Das Verkehrsunfallrisiko ist verst¨ andlicherweise verkn¨ upft mit Straßenzust¨anden (Eis, Schnee, Regen usw.), dem generellen Fahrverhalten oder auch mit den Lichtverh¨altnissen, so dass auch bei diesen Daten nach Trendbereinigung verbleibende saisonale Anteile nicht verwundern (vgl. Abbildung 1.11). Typischerweise ist die Periodenl¨ ange d eines saisonalen Anteils bekannt. Bei monatlichen ¨okonomischen Daten wird man die Periodenl¨ange d = 12 unterstellen, bei Quartalsdaten hingegen die Periodenl¨ ange d = 4. Gehen wir also f¨ ur das folgende Beispiel von einer festen und bekannten Periodenl¨ange d ∈ N aus. Beispiel 1.3 (Saisonbereinigung) Entweder sei die zugrunde liegende Zeitreihe bereits trendbereinigt oder sie enthalte u ¨berhaupt keinen Trend. Auf Basis von trendbereinigten oder trendfreien Daten X1 , . . . , Xn gehen wir dann wie folgt vor, um eine saisonale Komponente mit der Periodenl¨ ange d zu sch¨ atzen. Der Einfachheit halber nehmen wir an, dass m komplette Perioden der L¨ ange d beobachtet wurden, also dass n = m · d gilt. F¨ ur r = 1, . . . , d definieren wir 1
Xr+(j−1)·d . m j=1 m

sr =

(1.7)

1.3 Sch¨ atzung saisonaler Anteile in Zeitreihen

13

1.000 800 600 400 200

0

12

24

36

48

60

72

84

96 108 120 132 144 156 168 180

Abb. 1.12 Gesch¨ atzter saisonaler Anteil der Unfallzahlen zzgl. eines nach Saisonbereinigung erneut gesch¨ atzten linearen Trends (vgl. mit Abbildung 1.8)

Entweder bezeichnet man den saisonalen Anteil direkt mit s1 , . . . , sd und setzt ur t > d periodisch fort, oder man erreicht durch gem¨aß st = st−d f¨ 1
sj , d j=1 d

sr = sr −

r = 1, . . . , d ,

(1.8)

d dass die saisonalen Anteile s1 , . . . , sd stets r=1 sr = 0 erf¨ ullen, und setzt diese dann ebenfalls periodisch fort. Konkret erhalten wir f¨ ur die urspr¨ unglichen Unfallzahlen Ut gem¨aß Abbildung 1.8 nach Bereinigung des durch das folgende gleitende Mittel m t =

1 (0.5 Ut−6 + Ut−5 + . . . + Ut+5 + 0.5 Ut+6 ) , t = 7, . . . , n − 6 , (1.9) 12

gesch¨atzten Trends, die in Abbildung 1.11 angegebenen trendbereinigten Unfallzahlen. Dieses gleitende Mittel ist auf die Trendsch¨atzung bei Perioden der L¨ange 12 zugeschnitten, da es von diesen unbeeinflusst bleibt. F¨ ur die so trendbereinigten Unfallzahlen erhalten wir gem¨aß (1.8) die saisonalen Anteile f¨ ur die Monate Januar bis Dezember wie sie in Tabelle 1.1 aufgef¨ uhrt sind. Man erkennt, dass insbesondere in den Monaten Mai bis Oktober u odlich verletzte Personen in Verkehrsunf¨allen zu ¨berdurchschnittlich viele t¨ beklagen sind. Die Wintermonate weisen dagegen eher unterdurchschnittliche Werte auf. Nun kann man entweder von den trendbereinigten Unfallzahlen

14

1 Einf¨ uhrung Tabelle 1.1 Gesch¨ atzte saisonale Komponente der Verkehrsunfallzahlen Monat

1

2

3

4

5

6

7

8

9

10

11

12

sk

-90

-160

-102

-67

44

64

94

101

56

68

0

-8

noch jeweils die zugeh¨ origen saisonalen Anteile subtrahieren und erh¨alt Ut − m  t − st ,

t = 7, . . . , n − 6 , ( st = st−12 f¨ ur t > 12) ,

(1.10)

oder man kann alternativ auf Basis der lediglich saisonbereinigten Zeitreihe Ut − st , t = 1, . . . , n , erneut eine Sch¨ atzung der Trendkomponente durchf¨ uhren und diesen neu gesch¨ atzten Trend zur Bereinigung verwenden. Im Grundsatz ¨andert sich an der Darstellung (1.10) dadurch nichts. Wir sind diesen zweiten Weg gegangen und stellen in Abbildung 1.12 die gesch¨atzte Saisonkomponente f¨ ur die Verkehrsunfallzahlen zuz¨ uglich eines nach Saisonbereinigung erneut gesch¨atzten linearen Trends dar. Abbildung 1.13 gibt schließlich die auf diese Weise trend– und saisonbereinigten Unfallzahlen wieder.   Die Formel (1.10) legt nahe, f¨ ur die Modellierung von Zeitreihen mit Saison– und Trendkomponente den folgenden Ansatz Xt = Zt + mt + st ,

t = 1, . . . , n ,

(1.11)

zu w¨ahlen. Dabei stellen (mt ) bzw. (st ) die deterministischen – also nicht vom Zufall beeinflussten – Trend- bzw. saisonalen Anteile dar. (Zt ) ist eine Zeitreihe mit station¨ arem Verhalten, wie wir sie im weiteren Verlauf dieses Buches betrachten wollen. Die eigentlich zugrunde liegende Zeitreihe (Xt ) entsteht ¨ durch additive Uberlagerung dieser drei Anteile. ¨ Wir wollen die Uberlegungen zu Trend– und Saisonanteilen hiermit abschließen und uns ab dem n¨ achsten Kapitel ausschließlich mit sogenannten station¨aren Zeitreihen – dann allerdings in mathematisch weit rigoroserer Form – auseinandersetzen.

Aufgaben Aufgabe 1.1 Gegeben sei eine Zeitreihe X = (Xt : t ∈ N) , die gegl¨attet ˆ t , t ≥ m + 1 , f¨ ur gegewerden soll. Zur Berechnung der gegl¨ atteten Werte X benes m ∈ N wird in den Punkten (r, Xr ) , r = t − m, . . . , t + m , das Polynom p−ten Grades (2m + 1 > p) P (r) =

p
i=0

ai (r − t)i

1 Aufgaben

15

140 100 60 20 −20 −60 −100 −140 0

12

24

36

48

60

72

84

96 108 120 132 144 156 168 180

Abb. 1.13 Trend– und saisonbereinigte Anzahl der t¨ odlich verletzten Unfallopfer in Deutschland von 1991 bis 2005 (vgl. mit Abbildung 1.8)

nach der Methode der kleinsten Quadrate angepasst, d.h. die Koeffizienten ai , i = 0, . . . , p , werden bestimmt durch Minimierung der Zielfunktion Z(a0 , . . . , ap ) :=

+m


(Xt+s − P (t + s))2 .

s=−m

ˆ t = P (t) = a0 . Man setzt dann X a) Durch Differentiation leite man ein m¨ oglichst einfaches Gleichungssystem zur Bestimmung des interessierenden Wertes a0 her. (In diesem System treten nur die Koeffizienten mit geradem Index i auf.) b) Aus dem System +min a) kann man herleiten, dass a0 eine Linearkombination der Terme s=−m Xt+s s2j ist, wobei die Koeffizienten cj dieser Terme ˆ t darstellbar ist als nicht von den Xt+s abh¨ angen. Hieraus folgere man, dass X gleitender Durchschnitt +m
ˆt = X Xt+s αs (1.12) s=−m

mit Gewichten αs , die nicht von Xt+s abh¨ angen und αs = α−s ,

+m


αs = 1

(1.13)

s=−m

erf¨ ullen. c) Speziell f¨ ur m = 3, p = 1 und p = 3 bestimme man die Koeffizienten αs in

16

1 Einf¨ uhrung

b) und gl¨ atte f¨ ur 4 ≤ t ≤ 10 die Zeitreihe (X1 , . . . , X13 ) = (0.7, 2.4, 2.0, 1.8, 2.0, 2.2, 3.2, 5.4, 5.2, 4.8, 4.6, 5.2, 6.4) Hinweis: Die zweite Aussage in (1.13) kann durch Wahl der speziellen Zeitreihe Xt = c > 0 ∀ t bewiesen werden. Aufgabe 1.2 Man betrachte den Trendsch¨ atzer m(t)  =

1 (−Xt−2 + 4Xt−1 + 3Xt + 4Xt+1 − Xt+2 ) 9

und zeige, dass f¨ ur Xt = a0 + a1 t + a2 t2 + a3 t3 die Gleichung m(t)  = Xt gilt und dass durch Bildung von m(t)  eine saisonale Komponente mit der Periode 3 eliminiert wird. Aufgabe 1.3 Man zeige, dass ein gleitendes Mittel jedes Polynom vom Grad k genau dann unver¨ andert l¨ asst, wenn die Gewichte wj , j = −q, . . . , q , des gleitenden Mittels die Beziehungen q


q


wj = 1 und

j=−q

j r wj = 0

∀ r = 1, . . . , k ,

j=−q

erf¨ ullen. Speziell f¨ ur wj = 1/(2q + 1) gilt also, dass das zugeh¨orige gleitende Mittel lineare Ausdr¨ ucke U +V t f¨ ur beliebige Zufallsvariable U, V unver¨andert l¨asst. Aufgabe 1.4 Seien et , t ∈ Z , reelle, paarweise unkorrelierte Zufallsvariable ur das gleitende Mittel mit Eet = 0 und V ar et = σe2 . Man zeige, dass f¨ Xt =

q
j=−q

1 et−j , 2q + 1

∀t ∈ Z,

eine zentrierte Zeitreihe (Xt ) mit V arXt = σe /(2q + 1) entsteht.

2 Stationarit¨ at und grundlegende Modelle der Zeitreihenanalyse

Mathematisch verstehen wir unter einer Zeitreihe, oft auch nur kurz Reihe genannt, einen reell- oder auch komplexwertigen stochastischen Prozess in diskreter Zeit, d.h. eine Familie X = (Xt : t ∈ T ) von reell- bzw. komplexwertigen Zufallsvariablen Xt (auf einem Wahrscheinlichkeitsraum (Ω, A, P )) indiziert mit einer Zeit t ∈ T . T ⊂ R stellt dabei eine diskrete Menge dar. Da wir uns nur mit einer ¨ aquidistant eingeteilten Zeitachse befassen werden, betrachten wir der Einfachheit halber stets t ∈ Z = {0, ±1, ±2, . . .} bzw. t ∈ N = {1, 2, . . .}. Sind die Zufallsvariablen Xt Rd - bzw. Cd –wertig, so sprechen wir von einer multivariaten (reellen oder komplexen) Zeitreihe. Zun¨achst wollen wir uns aber ausschließlich dem Fall d = 1 zuwenden. Im ersten Abschnitt werden die Begriffe der Stationarit¨at und der Autokovarianz bzw. der Autokorrelation vorgestellt. Hieran anschließend beinhaltet Abschnitt 2.2 mit dem weißen Rauschen, den ARMA–Modellen und zyklischen Zeitreihen grundlegende Zeitreihenmodelle und gibt erste wichtige Resultate f¨ ur diese wichtigen Prozesse an. Erste statistische Aspekte begegnen uns dann im Abschnitt 2.3 bei der Untersuchung der empirischen Autokovarianz und der sog. Yule–Walker–Parametersch¨ atzer. Schließlich ist der Abschnitt 2.4 Gaußschen Zeitreihen gewidmet, bevor wir uns noch kurz der partiellen Autokorrelation in Abschnitt 2.5 zuwenden.

2.1 Stationarit¨ at von Zeitreihen Da wir in den allermeisten Anwendungen nur eine einzige Realisation eines Ausschnitts X1 , X2 , . . . , Xn aus der zugrunde liegenden Zeitreihe X = onnen, sind statistische R¨ uckschl¨ usse auf das die (Xt : t ∈ Z) beobachten k¨ Zeitreihe generierende wahrscheinlichkeitstheoretische Modell bzw. Aussagen u unftige Verhalten der beobachteten Zeitreihe nur m¨oglich, wenn ¨ber das zuk¨ die wesentlichen Strukturen des beobachteten Ausschnittes X1 , . . . , Xn charakteristisch f¨ ur die gesamte Zeitreihe, also auch f¨ ur zuk¨ unftige Werte sind.

18

2 Stationarit¨ at und grundlegende Modelle der Zeitreihenanalyse

Eine sehr g¨ angige und h¨ aufig unterstellte Annahme ist die der Stationarit¨at. Die in der folgenden Definition auftretenden Erwartungswerte f¨ ur komplexwertige Zufallsvariable Y = U + iV mit Realteil U und Imagin¨arteil V sind gem¨aß EY = EU + iEV definiert, siehe Anhang A.2. Obere Querstriche bedeuten in diesem Zusammenhang die konjugiert komplexen Gr¨oßen. Definition 2.1 (Stationarit¨ at, Autokovarianz und Autokorrelation) X = (Xt : t ∈ Z) sei eine reell– oder komplexwertige Zeitreihe. i) Falls f¨ ur alle n ∈ N und alle t1 , t2 , . . . , tn , h ∈ Z gilt L (Xt1 , . . . , Xtn ) = L (Xt1 +h , . . . , Xtn +h ) ,

(2.1)

dann heißt die Zeitreihe X = (Xt : t ∈ Z) streng station¨ ar. 2 ur alle t ∈ Z heißt ii) Eine Zeitreihe X = (Xt : t ∈ Z) mit E |Xt | < ∞ f¨ ar oder auch nur L2 –Zeitreihe. Eine L2 –Zeitreihe heißt schwach station¨ station¨ ar, falls (2.2) und (2.3) gelten. EXt = µ

∀ t ∈ Z , (also unabh¨ angig von t)

Cov (Xt+h , Xt ) = E (Xt+h − µ) (Xt − µ) ist f¨ ur jedes h ∈ Z unabh¨ angig von t.

(2.2) (2.3)

Die Funktion γ = γX : Z → C mit γ (h) = E (Xt+h − µ) (Xt − µ) ,

∀h ∈ Z,

(2.4)

heißt dann die Autokovarianzfunktion der Zeitreihe X = (Xt : t ∈ Z). Dabei ist γ (0) stets reell und nicht negativ. Falls γ (0) > 0 ist, so heißt die Funktion  = X : Z → C mit  (h) =

γ (h) γ (0)

(2.5)

Autokorrelationsfunktion von X = (Xt : t ∈ Z) . Zeitverschiebungen h, wie sie in obiger Definition auftreten, nennen wir wie im Englischen Lag. Wir werden nat¨ urlich in den allermeisten Anwendungen reellwertigen Zeitreihen oder multivariaten Zeitreihen mit reellwertigen Komponenten begegnen. Trotzdem macht es Sinn, bereits an dieser Stelle die Definition einer Zeitreihe auf den komplexen Fall auszudehnen. Wir werden sp¨ ater immer wieder auch auf komplexwertige Zeitreihen zur¨ uckgreifen m¨ ussen, um gewisse Argumentationen effizient darstellen zu k¨onnen. Auch bei der Bezeichnung der R¨ aume der quadratintegrierbaren Zufallsvariablen, aume, wollen wir unterscheiden: der sog. L2 –R¨ • Den Hilbertraum der reellwertigen und quadratintegrierbaren Zufallsvariablen auf einem Wahrscheinlichkeitsraum (Ω, A, P ) bezeichnen wir mit R LR 2 (Ω, A, P ) oder kurz mit L2 .

2.1 Stationarit¨ at von Zeitreihen

19

  C den Hilbertraum der • Entsprechend bezeichnet LC 2 (Ω, A, P ) kurz L2 komplexwertigen und quadratintegrierbaren Zufallsvariablen auf (Ω, A, P ). Bemerkung 2.2 An dieser Stelle sei erw¨ ahnt, dass die so genannten L2 –R¨aume nat¨ urlich nur ¨ u von Zufallsvariablen korrekt erkl¨art sind. Zwei Zu¨ber Aquivalenzklassen fallsvariable heißen dabei ¨ aquivalent, wenn sie fast sicher, d.h. mit Wahrscheinlichkeit 1, u ¨bereinstimmen. Wir werden allerdings im Rahmen dieser ¨ Einf¨ uhrung nicht zwischen einer Aquivalenzklasse von Zufallsvariablen und einem Repr¨ asentanten dieser Klasse unterscheiden. aumen ist bekanntlich wie folgt defiDas Skalarprodukt ·, · in diesen L2 –R¨ niert (2.6)

X, Y  = EXY . C Hiermit werden sowohl LR andigen normierten R¨aumen (sogar 2 wie L2 zu vollst¨ zu Hilbertr¨ aumen), wobei die Norm auf den entsprechenden L2 –R¨aumen u ¨ber das Skalarprodukt induziert wird. Es gilt X = X, X = E|X|2 . (2.7)

F¨ ur eine L2 –Zeitreihe X = (Xt : t ∈ Z) k¨ onnen wir die Erwartungswerte EXt und die Autokovarianzen Cov(Xt+h , Xt ) mit Hilfe des Skalarproduktes wie folgt darstellen EXt = Xt , 1

(2.8)

Cov (Xt+h , Xt ) = Xt+h − EXt+h , Xt − EXt  .

(2.9)

und

Außerdem gilt E|Xt |2 = Xt 2

und V arXt = Xt − EXt 2 .

(2.10)

Es sei noch darauf hingewiesen, dass ·, · in beiden Komponenten linear ist, wobei im LC 2 darauf zu achten ist, dass Faktoren aus der zweiten Komponente konjugiert werden m¨ ussen, wenn sie vor das Skalarprodukt gezogen werden. Im Abschnitt 2.4 werden wir diese Skalarproduktschreibweise bereits sehr vorteilhaft einsetzen k¨ onnen. Nat¨ urlich stehen uns alle Rechenregeln f¨ ur SkalarC ugung. Eine produkte und Normen auf den Hilbertr¨ aumen LR 2 und L2 zur Verf¨ Zusammenstellung der f¨ ur uns wesentlichen Regeln ist im Anhang A.3 zu finden.   Die folgende Aussage sieht man direkt ein. Anmerkung 2.3 F¨ ur eine (reelle oder komplexe) L2 –Zeitreihe folgt die Stationarit¨at stets aus der strengen Stationarit¨ at.  

20

2 Stationarit¨ at und grundlegende Modelle der Zeitreihenanalyse

Im Weiteren soll die grundlegende Eigenschaft der Stationarit¨at und ihre Bedeutung ein wenig erl¨ autert werden. Die Annahme der strengen Stationarit¨ at bedeutet, dass die multivariate Verteilung eines beliebigen Abschnittes (nicht notwendig zu aufeinander folgenden Zeitpunkten) der Zeitreihe nur von der relativen Lage der entsprechenden Zeitpunkte untereinander abh¨ angt, jedoch nicht von deren absoluter Lage auf der Zeitachse. Unter dieser Annahme k¨ onnen wir aus einer typischen Realisierung X1 , . . . , Xn einer reellen Zeitreihe X = (Xt : t ∈ Z) wiederholt Beobachtungen u angigkeitsstruktur machen. Stellen wir uns z.B. ¨ber die Abh¨ ur vor, dass wir uns f¨ ur die Abh¨ angigkeitsstruktur zwischen Xt und Xt+h (f¨ ein h > 0) interessieren. Unter der Annahme der strengen Stationarit¨at ist diese Abh¨ angigskeitsstruktur invariant in t und unsere Stichprobe enth¨alt mit (X1 , X1+h ) , . . . , (Xn−h , Xn ) n − h wiederholte, aber allerdings im Allgemeinen abh¨ angige, Beobachtungen aus der zweidimensionalen Verteilung von (Xt , Xt+h ). Interessieren wir uns nur f¨ ur den linearen Zusammenhang zwischen Xt und Xt+h , beschrieben durch die Kovarianz Cov (Xt+h , Xt ), und setzen wir (schwache) Stationarit¨ at voraus, so enth¨ alt unsere Stichprobe X1 , . . . , Xn ebenso wiederholte Realisierungen dieser Kovarianz, auch wenn jetzt diese Realisierungen (X1 , X1+h ) , . . . , (Xn−h , Xn ) erschwerend zur Abh¨angigkeit m¨oglicherweise auch noch jeweils verschiedenen Verteilungen entspringen k¨onnen. F¨ ur station¨are (und zwar schwach station¨ are) und zentrierte Zeitreihen folgt aber auf jeden Fall, dass der folgende Sch¨ atzer n−h 1
Xt+h Xt n − h t=1

f¨ ur jedes h < n erwartungstreu f¨ ur EXt+h Xt = γ (h) (man beachte die Zentriertheit!) ist. Die Konsistenz dieses Sch¨ atzers ist aber keineswegs klar und wird Inhalt eines noch zu beweisenden Gesetzes der großen Zahlen f¨ ur Zeitreihen sein. Schon jetzt sei aber bemerkt, dass ohne weitere, u ¨ber die Stationarit¨at hinausgehende, Voraussetzungen der Nachweis der gew¨ unschten Konsistenz unm¨ oglich ist! Wenn es uns nun gelingt, mittels statistischer Verfahren wie auch immer geur artete Informationen u angigkeitsstruktur von Xt und Xt+h (f¨ ¨ber die Abh¨ festes h > 0) zu gewinnen, dann k¨ onnen wir aus dem letzten Wert Xn der vorliegenden Stichprobe gewisse Vorhersagen u unftigen Wert Xn+h ¨ber den zuk¨ treffen, da uns die Stationarit¨ at garantiert, dass der in der Vergangenheit beobachtete h–Schritt Zusammenhang auch f¨ ur die Zukunft Bestand hat. Ohne eine zur Stationarit¨ at vergleichbare Voraussetzung erscheint eine Prognose auf zuk¨ unftige Werte der Zeitreihe dagegen g¨ anzlich unm¨oglich. Abschließend sei erw¨ ahnt, dass sich die Zeitreihenanalyse in weiten Bereichen im Rahmen einer Gewinnung von Informationen allein aus der Autokovarianz– bzw. der Autokorrelationsfunktion bewegt. Insofern werden gerade die statis-

2.1 Stationarit¨ at von Zeitreihen

21

tischen Teile dieser Einf¨ uhrung besonderen Wert auf die Sch¨atzung dieser Funktionen und hieraus abgeleiteter Kenngr¨ oßen legen. Bemerkung 2.4 (Hermite–Symmetrie der Autokovarianzfunktion) F¨ ur eine komplexe station¨ are Zeitreihe X = (Xt : t ∈ Z) mit Autokovarianzfunktion γ gilt unter Verwendung der Integraldefinition komplexwertiger Funktionen aus Anhang A.2 γ (−h) = E (Xt−h − µ) (Xt − µ) = E (Xt − µ) (Xt+h − µ)

(2.11)

= E(Xt − µ) (Xt+h − µ) = γ (h) . Entsprechendes gilt f¨ ur die Autokorrelationsfunktion . Beim Nachweis beachte man, dass γ (0) stets reell ist. F¨ ur reelle station¨ are Zeitreihen bedeutet dies, dass sowohl die Autokovarianz– als auch die Autokorrelationsfunktion eine symmetrische (und reelle) Funktion darstellt. Im reellen und im komplexen Fall reicht es also aus, beide Funktionen nur f¨ ur h = 0, 1, 2, . . . zu betrachten.  

4

2

0

−2

−4 0

100

200

300

400

500

Abb. 2.1 Simulation eines normalverteilten weißen Rauschens mit Varianz 2

22

2 Stationarit¨ at und grundlegende Modelle der Zeitreihenanalyse

2.2 Grundlegende station¨ are Zeitreihenmodelle Ein einfaches aber grundlegendes Zeitreihenmodell ist das weiße Rauschen. Beispiel 2.5 (Weißes Rauschen) F¨ ur unkorrelierte reelle oder komplexe Zufallsvariable et , t ∈ Z , mit Eet = 0 2 ur alle t ∈ Z heißt die Zeitreihe und V ar et = E |et | = σe2 ∈ (0, ∞) f¨ e = (et : t ∈ Z) ein weißes Rauschen. Die Bezeichnung weißes Rauschen wird erst in den Kapiteln 4 und 5 deutlich werden. Wir schreiben zuk¨ unftig geleucken, dass Erwartungswert und Varigentlich kurz et ∼ (0, σe2 ), um auszudr¨ anz von et die Werte 0 und σe2 besitzen und entsprechend in anderen Situationen.

8 6 4 2 0 −2 −4 −6 −8 0

100

200

300

400

500

Abb. 2.2 Simulation eines nur unkorrelierten weißen Rauschens mit Varianz 2

Die Autokovarianzfunktion eines weißen Rauschens erf¨ ullt γ (0) = σe2 sowie γ (h) = 0 f¨ ur h = 0 . Entsprechend verschwindet die Autokorrelation (h) f¨ ur alle h = 0 und es gilt  (0) = 1 wegen σe2 > 0 . Die Abbildung 2.1 zeigt eine Realisierung eines normalverteilten weißen Rauschens mit σe2 = 2 . Bekanntlich sind die einzelnen Zufallsvariablen et in diesem Fall dann sogar stochastisch unabh¨ angig. Eine Realisierung eines nur unkorrelierten – jedoch nicht stochastisch unabh¨ angigen und damit auch nicht normalverteilten – weißen Rauschens, ebenfalls mit Varianz σe2 = 2, ist in Abbildung 2.2 zu sehen. Bei dem weißen Rauschen in Abbildung 2.2 bestehen zwar keine linearen Zusam-

2.2 Grundlegende station¨ are Zeitreihenmodelle

23

menh¨ange zwischen den einzelnen Beobachtungen zu verschiedenen Zeitpunkten, aber sehr wohl (nicht lineare) Abh¨ angigkeitsstrukturen. Bereits mit dem bloßen Auge sind deutliche Unterschiede in den beiden Pfaden zu entdecken.   Aus einem weißen Rauschen lassen sich drei wichtige Klassen linearer Zeitreihenmodelle ableiten, n¨ amlich die sogenannten Autoregressiven (kurz: AR) und Moving Average (kurz: MA) Zeitreihen, sowie eine Zusammensetzung beider Klassen zu sog. ARMA–Modellen. Obwohl die u ¨bergreifenden ARMA– Modelle sowohl Autoregressive wie Moving Average Zeitreihen vollst¨andig als Spezialf¨ alle enthalten, sollen diese wegen ihrer Bedeutung jeweils in eigenen Beispielen vorgestellt werden. Beginnen wir mit den einfacher zu untersuchenden Moving Average–Zeitreihen.

10

5

0

−5

−10 0

100

200

300

Abb. 2.3 Simulation einer MA(1)–Zeitreihe mit b1 = 1 und σe2 = 4

Beispiel 2.6 (Moving Average (MA)–Zeitreihen) ur reelle oder komplexe Koe = (et : t ∈ Z) bezeichne ein weißes Rauschen. F¨ effizienten b1 , . . . , bq mit bq = 0 und q ∈ N definiert Xt = et + b1 et−1 + · · · + bq et−q ,

∀t ∈ Z,

(2.12)

eine station¨ are Zeitreihe. X = (Xt : t ∈ Z) heißt Moving Average Zeitreihe der Ordnung q oder kurz MA(q)–Zeitreihe. Im Fall eines reellen weißen Rauschens und reeller Koeffizienten ist die MA(q)–Zeitreihe selbstverst¨andlich auch reell. Die Autokovarianzfunktion γ ergibt sich mit b0 := 1 zu (beachte EXt = 0 ∀t)

24

2 Stationarit¨ at und grundlegende Modelle der Zeitreihenanalyse

γ (h) = EXt+h X t q
= bk bj Eet+h−k et−j j,k=0

=

⎧ q−h ⎪ ⎨σ 2 ·  b e

⎪ ⎩0

j+h bj

, h = 0, 1, 2, . . . , q ,

(2.13)

j=0

, h > q.

Zun¨achst beweist die Darstellung (2.13) die oben behauptete Stationarit¨at von MA(q)–Zeitreihen. Außerdem zeigt die explizite Darstellung von γ, dass bei MA(q)–Zeitreihen die Autokovarianzfunktion f¨ ur alle Lags h ≥ q + 1 verschwindet. Zeitreihenwerte, deren Zeitindizes weiter als q Einheiten auseinander liegen, sind somit stets unkorreliert. Falls das weiße Rauschen aus stochastisch unabh¨ angigen Zufallsvariablen besteht, folgt sogar, dass Xt und angig sind. Xs mit |s − t| > q stochastisch unabh¨ Die Abbildungen 2.3 und 2.4 zeigen Realisierungen von MA–Zeitreihen der L¨ ange n = 500. Es f¨ allt deutlich auf, dass der Pfad der MA(7)–Zeitreihe in Abbildung 2.4 einen viel ruhigeren Verlauf als der Pfad der MA(1)–Zeitreihe in Abbildung 2.3 aufweist.  

8

4

0

−4

−8 0

100

200

300

Abb. 2.4 Simulation einer MA(7)–Zeitreihe mit b1 = . . . = b7 = 1 und σe2 = 1

2.2 Grundlegende station¨ are Zeitreihenmodelle

25

Beispiel 2.7 (AR(1)–Zeitreihe) Wir nennen eine station¨ are Zeitreihe X = (Xt : t ∈ Z) autoregressiv von der Ordnung 1, kurz AR(1)–Zeitreihe, falls es einen Parameter a ∈ C und ein weißes Rauschen e = (et : t ∈ Z) gibt, so dass gilt ∀t ∈ Z.

Xt + aXt−1 = et ,

(2.14)

Man nennt (2.14) eine lineare Differenzengleichung erster Ordnung, da abgesehen von den St¨ orungen et die Beobachtung Xt vom vorausgehenden Wert angt (was erste Ordnung bedeutet) und zwar in linearer Weise. Xt−1 abh¨ Im Gegensatz zu Moving Average Zeitreihen ist in diesem Fall nicht klar, ob es f¨ ur ein gegebenes weißes Rauschen und einen gegebenen Parameter u ur Parameter a mit ¨berhaupt derartige Zeitreihen X = (Xt : t ∈ Z) gibt. F¨ |a| < 1 k¨ onnen wir aber in der Tat stets station¨ are AR(1)–Zeitreihen konstru¨ ieren, wie die folgende Uberlegung zeigt. Durch wiederholte Anwendung von (2.14) erhalten wir f¨ ur jedes q ∈ N Xt =

q


ν

q+1

(−a) et−ν + (−a)

Xt−(q+1) .

(2.15)

ν=0

Wir k¨onnen eine station¨ are L¨ osung des AR(1)–Schemas (unter der Voraussetzung, dass eine station¨ are L¨ osung u ¨berhaupt existiert) also bis auf den Restterm (−a)q+1 Xt−(q+1) als Moving Average Zeitreihe der Ordnung q schreiben. Wegen |a| < 1 gilt aufgrund der Stationarit¨ at f¨ ur diesen Restterm  2   q+1 2(q+1) 2 E (−a) Xt−(q+1)  = |a| E |X0 | −→q→∞ 0 . Mit anderen Worten konvergiert die MA(q)–Zeitreihe auf der rechten Seite in ur q → ∞ im quadratischen Mittel (also im L2 ). Falls Formel (2.15) gegen Xt f¨ es f¨ ur (2.14) mit |a| < 1 und gegebenem weißen Rauschen e = (et : t ∈ Z) also u are L¨ osung gibt, so ist diese notwendigerweise die ¨berhaupt eine station¨ Zeitreihe Xt =

∞


ν

(−a) et−ν ,

∀t ∈ Z.

(2.16)

ν=0

Dabei ist die Konvergenz der Reihe auf der rechten Seite (wie oben erl¨autert) im L2 –Sinne zu verstehen. Man nennt eine Zeitreihe mit der Darstellung (2.16), also mit einer Darstellung als gewichtete unendliche Reihe u ¨ber ein weißes Rauschen, auch Moving Average Zeitreihe mit unendlicher Ordnung (kurz MA(∞)–Zeitreihe). Andererseits  definiert die rechte Seite von (2.16) f¨ ur |a| < 1 stets ein Element q ν aus LC ur jedes t ∈ Z eine Cauchy–Folge 2 , da ( ν=0 (−a) et−ν : q ∈ N) f¨

26

2 Stationarit¨ at und grundlegende Modelle der Zeitreihenanalyse

im LC onnen also f¨ ur ein 2 und damit konvergent ist (vgl. Aufgabe 2.1). Wir k¨ gegebenes weißes Rauschen (et : t ∈ Z) und a ∈ C mit |a| < 1 eine Zeitreihe aß (2.16) definieren. Wegen (Xt : t ∈ Z) gem¨  q  q−1

ν ν (−a) et−ν + a (−a) et−1−ν Xt + aXt−1 = L2 − lim q→∞

ν=0



ν=0





=et

∀t ∈ Z,

= et ,

erf¨ ullt die Zeitreihe (2.16) das autoregressive Schema (2.14) und ist somit also eine AR(1)–Zeitreihe. Die Stationarit¨ at der Zeitreihe (2.16) wird im Folgenden nachgewiesen. Bei den hierf¨ ur notwendigen Berechnungen des Erwartungswertes und der Autokovarianz machen wir Gebrauch von den Darstellungen (2.8) und (2.9) aus Bemerkung 2.2 und der Stetigkeit des Skalarproduktes in beiden Komponenten (vgl. Anhang A.3, Satz A.9). Zun¨ achst erhalten wir die Zentriertheit EXt = Xt , 1 = lim

q→∞

= lim

q


q→∞

q


(−a)ν et−ν , 1

ν=0

(−a)ν et−ν , 1 = 0 .

ν=0

Die Autokovarianz ergibt sich zu Cov(Xt+h , Xt ) = EXt+h Xt = Xt+h , Xt   q  q

(−a)ν et+h−ν , (−a)ν et−ν = lim q→∞

ν=0



= lim Cov q→∞

=

σe2

·

ν=0 q


ν

(−a) et+h−ν ,

ν=0

∞


q


 ν

(−a) et−ν

ν=0

(−a)ν+h (−a)ν

, vgl. (2.13)

ν=0

= σe2 ·

h

(−a)

2

1 − |a|

,

h = 0, 1, 2, . . . .

(2.17)

Zusammen mit der obigen Eindeutigkeit haben wir also f¨ ur den Fall |a| < 1 gezeigt, dass (2.16) eine station¨ are AR(1)–Zeitreihe ist und dass jede station¨are AR(1)–Zeitreihe von dieser Bauart ist. (2.17) gibt damit die Autokovarianzfunktion f¨ ur AR(1)–Zeitreihen mit Parameter |a| < 1 an. Entsprechend lautet die Autokorrelationsfunktion einer AR(1)–Zeitreihe h

 (h) = (−a) ,

h = 0, 1, 2, . . . .

(2.18)

2.2 Grundlegende station¨ are Zeitreihenmodelle

27

1.0 0.8 0.6 0.4 0.2 0.0 −0.2 −0.4 −0.6 −0.8 −1.0 0

5

10

15

20

25

30

Abb. 2.5 Korrelogramm einer AR(1)–Zeitreihe mit Parameter a ∈ (0, 1)

Es dr¨angt sich die Frage auf, ob die Reihe in (2.16) noch in einem anderen Sinne konvergiert. In der Tat ist diese Reihe sogar fast sicher absolut (d.h. mit Wahrscheinlichkeit 1) konvergent. W¨ ahrend wir f¨ ur den Nachweis der L2 – Konvergenz auf Aufgabe 2.1 verwiesen haben, soll die fast sichere absolute Konvergenz hier gezeigt werden. Zun¨ achst ergibt der Satz von der monotonen Konvergenz E

∞
ν=0

ν

|(−a) et−ν | =

∞
ν=0

ν

|a| E |et−ν | ≤



2

E |e1 |

∞


ν

|a| .

ν=0

Wegen ∞ |a| 0 und |a| < 1 erhalten wir hieraus γ (0) und γ (1) sowie mit (2.20) alle weiteren Autokovarianzen γ (h) , h ≥ 1 . Umgekehrt legen die Autokovarianzen γ (0) und γ (1) gem¨ aß (2.21) a und σe2 fest. Wir werden in Kapitel 8 Yule–Walker–Gleichungen f¨ ur station¨are autoregressive Prozesse h¨ oherer Ordnung kennen lernen und nat¨ urlich untersuchen. Auch bei der Parametersch¨ atzung in AR(p)–Zeitreihenmodellen werden die Yule– Walker–Gleichungen eine wesentliche Rolle spielen. In diesem Zusammenhang sei f¨ ur p = 1 auf Abschnitt 2.3 und f¨ ur die allgemeine Situation auf Kapitel 8 und Kapitel 11 verwiesen. Moving Average und Autoregressive Zeitreihen k¨onnen zu einer neuen Modellklasse der sog. ARMA–Zeitreihen zusammengef¨ uhrt werden. Die Hoffnung ist, dass man in einer zusammengesetzten Klasse mit weniger Parametern zur Beschreibung von realen Daten auskommt (vgl. Box/Jenkins (1970)). Definition 2.8 (ARMA(p, q)–Prozesse) Eine Zeitreihe X = (Xt : t ∈ Z) heißt ARMA(p, q)–Zeitreihe mit den Ordnungen p, q ∈ N und Koeffizienten a1 , . . . , ap und b1 , . . . , bq mit ap = 0 und bq = 0, falls f¨ ur ein weißes Rauschen e = (et : t ∈ Z) gilt

30

2 Stationarit¨ at und grundlegende Modelle der Zeitreihenanalyse

Xt +

p


aν Xt−ν =

ν=1

q


bµ et−µ + et ,

∀t ∈ Z.

(2.22)

µ=1

Die Existenz station¨arer ARMA–Zeitreihen und deren Eigenschaften werden wir in Kapitel 7 detailliert untersuchen. An dieser Stelle wollen wir uns auf die Definition beschr¨ anken und noch eine weitere grundlegende Klasse von Zeitreihen, die sogenannten zyklischen Zeitreihen, vorstellen. Definition 2.9 (Reelle zyklische Zeitreihen) F¨ ur M ∈ N bezeichnen e1j , e2j , j = 1, . . . , M, reelle, zentrierte, quadratintegrierbare und unkorrelierte Zufallsvariable mit V ar e1j = V ar e2j = σj2 . ahlte Frequenzen. Die Zeitreihe ω1 , . . . , ωM ∈ (−π, π] seien fest gew¨ Xt =

M


(e1j cos (ωj t) + e2j sin (ωj t)) ,

∀t ∈ Z,

(2.23)

j=1

heißt (reelle) zyklische Zeitreihe. ¨ Es handelt sich bei zyklischen Zeitreihen um eine Uberlagerung von Schwingungen mit festen Frequenzen und stochastischen Amplituden. Wie die folgende Rechnung zeigt sind zyklische Zeitreihen trotz ihrer deterministischen Frequenzen station¨ ar. Es gilt n¨ amlich zum einen EXt = 0 sowie zum anderen γ (h) = EXt+h Xt =

M


 Ee21j cos (ωj t) cos (ωj (t + h)) + Ee22j sin (ωj t) sin (ωj (t + h))

j=1

=

M


σj2 cos (ωj h) ,

∀ t, h ∈ Z ,

(2.24)

j=1

wobei f¨ ur die letzte Gleichung die Formel (A.5) aus Anhang A.1 verwendet wurde. Interessanterweise treten die Frequenzen ωj der Zeitreihe Xt in den Autokovarianzen wieder auf und zwar versehen mit einem Gewicht, welches gleich der orenden stochastischen Amplitude ist. Dieses Varianz der zur Frequenz ωj geh¨ Ph¨anomen, dass die Autokovarianz die in der Zeitreihe auftretenden Frequenzen widerspiegelt, werden wir in Kapitel 5 erneut aufgreifen und ersch¨opfend behandeln. Beispiel 2.10 (ARCH(1)–Zeitreihe) X0 bezeichne eine reelle Zufallsvariable mit EX02 < ∞ und (et : t ∈ N) sei ein von X0 unabh¨ angiges weißes Rauschen, bestehend aus stochastisch unabh¨ angigen und identisch verteilten (i.i.d.) Zufallsvariablen mit Varianz 1 . Man definiere dann f¨ ur a0 > 0 und 0 < a1 < 1

2.3 Empirische Autokovarianzen und Autokorrelationen

 Xt =

2 a0 + a1 Xt−1 · et ,

∀ t = 1, 2, . . . .

31

(2.25)

Man erkennt, dass Xt−1 lediglich von X0 und es mit s ≤ t − 1 abh¨angt und ur t = 1, 2, . . . deswegen unabh¨ angig von et ist. (2.25) ergibt also f¨  2 E Xt = E a0 + a1 Xt−1 · E et = 0 , (2.26)   2 2 · E e2t = a0 + a1 E Xt−1 E Xt2 = E a0 + a1 Xt−1 , (2.27) sowie f¨ ur h ≥ 1 und t = 1, 2, . . .   2 a0 + a1 Xt+h−1 Xt · E et+h = 0 . E Xt Xt+h = E

(2.28)

Setzt man EX02 = a0 /(1 − a1 ), so folgt durch rekursives Einsetzen in (2.27) schließlich a0 a0 E Xt2 = a0 + a1 = , 1 − a1 1 − a1 so dass die Zeitreihe (Xt : t ∈ N) ein weißes Rauschen darstellt. Da aber Xt u angt, liegt lediglich Unkorreliertheit aber kei¨ber (2.25) direkt von Xt−1 abh¨ ne Unabh¨ angigkeit vor. In Abbildung 2.2 ist f¨ ur den Fall a0 = 1 und a1 = 0.5 eine Simulation einer ARCH(1)–Zeitreihe angegeben. Zeitreihen, die der Rekursion (2.25) gen¨ ugen, heißen autoregressiv mit bedingter Heteroskedastizit¨ at (autoregressive with conditional heteroscedasticity (ARCH)) und wurden 1982 von Robert Engle eingef¨ uhrt, um finanzielle Zeitreihen, wie etwa die Renditen eines Finanzgutes (vgl. Abbildung 1.7 f¨ ur den DAX) angemessen modellieren zu k¨ onnen. Hierf¨ ur wurde Engle 2003 mit dem Preis der schwedischen Nationalbank zu Ehren Alfred Nobels ausgezeichnet. Wir werden in Kapitel 14 genauer auf diese Modellklasse und Erweiterungen hiervon eingehen und beschließen die Zusammenstellung von Beispielen f¨ ur Zeitreihenmodelle an dieser Stelle zun¨ achst.  

2.3 Empirische Autokovarianzen und Autokorrelationen n−h 1 Bereits im Abschnitt 2.1 haben wir mit n−h t=1 Xt Xt+h einen zumindest erwartungstreuen Sch¨ atzer f¨ ur die Autokovarianz γ (h) einer reellen station¨aren und zentrierten Zeitreihe X = (Xt : t ∈ Z) kennen gelernt. Im Falle einer nicht zentrierten reellen station¨ n aren Zeitreihe bietet sich die empirische Zentrierung mit X := X n := n1 t=1 Xt an, wobei der Querstrich hier die Durchschnittsbildung kennzeichnet und nicht konjugiert komplex“. In der ” tats¨achlichen Anwendung benutzt man dann auch γ (h) :=

n−h   1
 Xt+h − X n Xt − X n , n t=1

h = 0, 1, 2 . . . , n − 1 ,

(2.29)

32

2 Stationarit¨ at und grundlegende Modelle der Zeitreihenanalyse

und γ (h) := 0 f¨ ur h ≥ n sowie (falls γ (0) > 0)  (h) :=

γ (h) , γ (0)

h = 0, 1, 2, . . . ,

(2.30)

als Sch¨ atzer f¨ ur γ bzw.  und nennt γ die empirische oder Stichproben– Autokovarianzfunktion und  entsprechend die empirische oder Stichproben– Autokorrelationsfunktion. Sicherlich verwundert zun¨ achst der f¨ ur alle Lags h identische Vorfaktor n1 an1 undung hierf¨ ur wird im Folgenden klar werden. stelle von n−h . Die Begr¨ F¨ ur station¨ are autoregressive Zeitreihen erster Ordnung haben wir mit den Yule–Walker–Gleichungen (vgl. (2.21)) einen einfachen Zusammenhang zwischen der Autokovarianzfunktion und den Parametern a und σe2 angegeben. Es liegt nun nahe, mit diesen Gleichungen und den empirischen Autokovarianur σe2 zu erkl¨aren. Dieses zen γ (0) und γ (1) Parametersch¨ atzer  a f¨ ur a und σ e2 f¨ Vorgehen ist in der Tat ¨ außerst sinnvoll und f¨ uhrt zu den sog. Yule–Walker– Parametersch¨ atzern. Es ist w¨ unschenswert, dass auch der Parametersch¨atzer  a wie der tats¨ achliche Parameter a die Eigenschaft | a| < 1 besitzt und stets σ e2 ≥ 0 gilt. Hierzu haben wir das folgende Resultat, welches wesentlich auf der Wahl des einheitlichen Vorfaktors in (2.29) beruht.

6.0 4.0 2.0 0.0 −2.0 −4.0 −6.0 0

20

40

60

80

100

Abb. 2.7 Realisierung einer AR(1)–Zeitreihe mit Parameter a = 0.95

Lemma 2.11 F¨ ur gegebene reelle Beobachtungen X1 , . . . , Xn einer Zeitreihe seien γ (0) und

2.3 Empirische Autokovarianzen und Autokorrelationen

33

γ (1) wie in (2.29) gegeben. Dann gilt γ (0) > 0 ⇐⇒ nicht alle Xt sind gleich .

(2.31)

Im Falle γ(0) > 0 gilt f¨ ur  a := −γ (1)/γ (0) = − (1) stets | a| < 1 .

(2.32)

Beweis: Wir haben γ (0) = 0 ⇐⇒

n


Xt − X n

2

=0

t=1

⇐⇒ Xt = X n ∀ t = 1, . . . , n ⇐⇒ alle Xt sind gleich . Weiter folgt f¨ ur γ (0) > 0 mit der Cauchy–Schwarz Ungleichung   n−1   1 
 Xt+1 − X n Xt − X n  |γ (1)| =   n  t=1  n−1  12
 2 1 n−1 2 1
 ≤ Xt+1 − X n Xt − X n n t=1 n t=1 2 1
 Xt − X n = γ (0) . n t=1 n

≤

Hieraus erhalten wir zun¨ achst | a| ≤ 1 . Falls | a| = 1, d.h. |γ(1)| = γ(0), folgt hieraus, dass die letzte Ungleichung eine Gleichung ist. Dies ist aber offenbar nur dann der Fall, wenn X1 = Xn = X n gilt, woraus weiter folgt  n−2    
  |nγ(1)| =  Xt+1 − X n Xt − X n  t=2

≤

 n−2


Xt+1 − X n

t=2

≤

n−1




Xt − X n


 2 n−2

Xt − X n

2  12

t=2

2

= nγ(0) .

t=2

Hieraus erh¨ alt man wegen |γ(1)| = γ(0) auf die gleiche Weise wie oben X2 = ahrt man fort und erreicht schließlich X1 = . . . = Xn−1 = X n . Sukzessive f¨ a| = 1 die Aussage γ (0) = 0 , also ein Xn = X n und damit, dass aus | Widerspruch folgt. F¨ ur ungerade n beachte man, dass aus der Tatsache, dass alle bis auf eine Beobachtung mit X n u ¨bereinstimmen sofort folgt, dass alle ussen.   Beobachtungen mit X n u ¨bereinstimmen m¨

34

2 Stationarit¨ at und grundlegende Modelle der Zeitreihenanalyse

1.0 0.8 0.6 0.4 0.2 0.0 −0.2 −0.4 −0.6 −0.8 −1.0 0

5

10

15

20

25

30

Abb. 2.8 Empirisches Korrelogramm der AR(1)–Zeitreihe aus Abb. 2.7

Bemerkung 2.12 In Satz 8.7 werden wir sehen, dass die Aussage von Lemma 2.11, dass n¨amlich der Yule–Walker–Sch¨ atzer stets zu einem gesch¨ atzten Modell f¨ uhrt, welches station¨ ar ist, auf allgemeine autoregressive Modelle u ¨bertragen werden kann.   Wir wollen diesen Abschnitt mit zwei konkreten Beispielen beschließen. Beispiel 2.13 Man betrachte den folgenden AR(1)–Prozess Xt + 0.95 · Xt−1 = et ,

∀t ∈ Z,

mit einem standardnormalverteilten weißen Rauschen. Abbildung 2.7 zeigt f¨ ur n = 100 eine Realisierung dieser Zeitreihe. Aus diesem Datensatz wurde ein empirisches Korrelogramm erstellt (vgl. Abbildung 2.8), welches im Vergleich zum tats¨ achlichen Korrelogramm aus Abbildung 2.5 zu sehen ist. In der Tat wurde in Abbildung 2.5 auch der Parameter a = 0.95 gew¨ahlt. Der Yule–Walker–Parametersch¨ atzer  a f¨ ur a ergibt sich aus den Yule–Walker– Gleichungen (2.21) f¨ ur diesen Datensatz zu  a = −  (1) = 0.911 . Um die G¨ ute des Yule–Walker–Sch¨ atzers im AR(1)–Modell beurteilen zu k¨onnen, reicht es nat¨ urlich nicht aus, eine einzige Realisierung zu betrachten. In Abbildung 2.9 ist f¨ ur 1000 AR(1)–Zeitreihen der L¨ange n = 100 mit

2.3 Empirische Autokovarianzen und Autokorrelationen

35

Parameter a = 0.95 ein Histogramm der 1000 resultierenden Yule–Walker– Sch¨atzer wiedergegeben. Man erkennt, dass der Yule–Walker–Sch¨atzer in diesem einfachen AR(1)–Modell und beim Stichprobenumfang n = 100 sehr respektable Performance zeigt. Deutlich zu erkennen ist eine Linksschiefe des Histogramms, die zeigt, dass wir den tats¨ achlichen Parameter a = 0.95 in der Regel untersch¨ atzen. Es wird auch deutlich sichtbar, dass kein einziger der Yule–Walker–Sch¨atzer

0.3

0.2

0.1

0.0 0.65

0.70

0.75

0.80

0.85

0.90

0.95

1.00

1.05

Abb. 2.9 Simuliertes Histogramm des Yule–Walker–Sch¨ atzers a im AR(1)– Modell mit Parameter a = 0.95 und Stichprobenumfang n = 100

¨ gr¨oßer oder gleich 1 ist, was in Ubereinstimmung mit Lemma 2.11 steht.

 

Das folgende Beispiel ist eines der klassischen Beispiele der Zeitreihenanalyse und darf auch in dieser Einf¨ uhrung nicht fehlen. Beispiel 2.14 (Sonnenfleckenzahlen) Die Z¨ uricher Zeitreihe der relativen Sonnenfleckenzahlen (Zurich series of sunspot relative numbers) kann mit Fug und Recht als eine klassische Datenreihe der Zeitreihenanalyse angesehen werden. Die Sonnenflecken wurden 1610 entdeckt und insbesondere die Epochen der Maxima und der Minima k¨ onnen bis zu diesem Datum angegeben werden. J¨ahrliche Mittelwerte der Sonnenfleckenzahlen gehen bis zum Beginn des 18. Jahrhunderts zur¨ uck. Die systematische Sammlung dieser Daten verbunden mit statistischen Untersuchungen ist Johann Rudolf Wolf (1816–1893) zu verdanken. Wolfs Interesse

36

2 Stationarit¨ at und grundlegende Modelle der Zeitreihenanalyse

an Sonnenfleckenbeobachtungen begann, als er 1847 Direktor des Observatoriums in Bern in der Schweiz wurde. Laut Izenman (1983) begann er genau am 4. Dezember 1847 mit regelm¨ aßigen t¨ aglichen Beobachtungen und setzte diese auch sp¨ ater als Professor am Polytechnikum Z¨ urich (der heutigen ETH Z¨ urich) fort. 1848 hat Wolf als Maß f¨ ur die Sonnenfleckent¨atigkeit die sogenannten relativen Sonnenfleckenzahlen eingef¨ uhrt. In seinem Testament

Abb. 2.10 Johann Rudolf Wolf (1816–1893), George Udny Yule (1871–1951) und Alfred Wolfer (1854–1931) (von links nach rechts)

hat Rudolf Wolf festgelegt, dass j¨ ahrlich eine Ausgabe der Astronomischen Mitteilungen zu statistischen Arbeiten u ¨ber die Fleckenh¨aufigkeit der Sonne herausgegeben werden solle. Der seinerzeitige Sch¨ uler und Assistent von Rudolf Wolf und sp¨atere Direktor der Eidgen¨ ossischen Sternwarte in Z¨ urich Alfred Wolfer (1854–1931) u ¨bernahm diesen Auftrag und hat 1925 eine komplette Revision der relativen Sonnenfleckenzahlen f¨ ur den Zeitraum 1749–1924 publiziert (vgl. Wolfer (1925)). Diese Arbeit von Wolfer hat nun Sir George Udny Yule (1871–1951) zum Anlass genommen, um zum ersten Mal ein autoregressives Zeitreihenmodell anzuwenden (Yule (1927)). Yule war es auch, der den Namen Wolfer’s Sunspot Series pr¨ agte und damit (sicher unbewusst) das ganz bestimmt weit gr¨ oßere Verdienst des akademischen Lehrers von Wolfer, n¨amlich von Johann Rudolf Wolf, f¨ ur lange Zeit in den Hintergrund r¨ uckte. Yule erhielt damals aus den j¨ ahrlichen Mittelwerten von 1749–1924 unter anderem das folgende AR(2)–Zeitreihenmodell f¨ ur die mit dem arithmetischen Mittel X n = 44.3328 zentrierten Sonnenfleckenzahlen Xt Xt − 1.34254 · Xt−1 + 0.65504 · Xt−2 = et ,

(2.33)

mit E e2t = 15.412 . Eine wichtige Fragestellung bei der Untersuchung der Sunspot Numbers ist, ob eine Periodizit¨ at der Sonnenfleckent¨ atigkeit nachzuweisen ist. Bereits 1844

2.3 Empirische Autokovarianzen und Autokorrelationen

37

publizierte Schwabe (1844) die Vermutung, dass die Sonnenflecken eine gewisse Periodizit¨ at von etwa 10 Jahren aufwiesen. Wolf (1852) gelangte aufgrund ausf¨ uhrlicher Untersuchungen zu einer Periode von 11.11 Jahren und wies damals einen Standardfehler von 0.038 Jahren (also knapp 14 Tagen) ohne weitere Begr¨ undung f¨ ur die von ihm angegebene Periode aus. 1961 war es der Direktor des Schweizer Observatoriums in Z¨ urich, Professor Waldmeier, der eine vollst¨ andig u ¨berarbeitete und revidierte Liste der t¨aglichen relativen Sonnenfleckenzahlen, sowie monatliche und j¨ahrliche Mittelwerte f¨ ur den Zeitraum 1700–1960 ver¨ offentlichte (Waldmeier (1961)). Dem interessierten Leser sei der historische Artikel von Izenman (1983) und die Einleitung der Ver¨ offentlichung von Waldmeier (1961) zur weiteren Lekt¨ ure empfohlen. Heutzutage kann man die vollst¨ andigen Sonnenfleckenzahlen von der Internetseite des Solar Influences Data Analysis Center (SIDC), RWC Belgium, World Data Center for the Sunspot Index, Royal Observatory of Belgium (http://sidc.oma.be) erhalten. Wir geben an dieser Stelle (vgl. Abbildung 2.11) die j¨ ahrlichen arithmetischen Mittelwerte der t¨aglichen relativen Sonnenfleckenzahlen f¨ ur den Zeitraum 1700–2004 aus der genannten Quelle wieder. In der Tat ist in Abbildung 2.11 in erster N¨ aherung eine etwa 11–j¨ahrige

200 160 120 80 40 0 1700

1750

1800

1850

1900

1950

2000

Abb. 2.11 Sunspot Relative Numbers, SIDC, RWC Belgium, World Data Center for the Sunspot Index, Royal Observatory of Belgium, 1700–2004

Periodizit¨ at zu erkennen. Aus den Daten erhalten wir gem¨aß (2.29) und (2.30) die folgenden empirischen Autokorrelationen

38

2 Stationarit¨ at und grundlegende Modelle der Zeitreihenanalyse

(1) = 0.82043 , (2) = 0.45021 , (3) = 0.03861 ,

(2.34)

sowie den arithmetischen Mittelwert X n = 50.22 und die empirische Autokovarianz γ(0) = 1634.08. F¨ ur die mit dem arithmetischen Mittel zentrierten Sonnenfleckendaten ergibt sich hieraus mit Hilfe von sp¨ater zu behandelnden Parametersch¨ atzverfahren f¨ ur autoregressive Zeitreihenmodelle das folgende an die Daten angepasste AR(2)–Modell Xt − 1.380 · Xt−1 + 0.682 · Xt−2 = et

(2.35)

mit E e2t = 16.902 . Wir werden sp¨ ater sehen, dass ein AR(2)–Modell grunds¨atzlich in der Lage ist eine gewisse Periodizit¨ at darzustellen. F¨ ur das in (2.35) genannte Modell ergibt sich ein Zyklus von etwa 11.36 Jahren. Eine genauere Beschreibung der hier verwendeten Methoden zur Parametersch¨atzung geben wir in Kapitel 11.  

2.4 Gaußsche Zeitreihen ¨ In den bisherigen Uberlegungen haben Annahmen an die Verteilungsstruktur von Zeitreihen noch keine Rolle gespielt. Dies wollen wir jetzt nachholen. Genau wie in der allgemeinen Stochastik liegt es nahe, an die M¨oglichkeit einer Normalverteilungsannahme zu denken. In der Tat findet man insbesondere in der klassischen Zeitreihenanalyse derartige Verteilungsannahmen, die zu sogenannten Gaußschen Zeitreihen f¨ uhren. Definition 2.15 (Gaußsche Zeitreihen) Wir nennen eine reellwertige Zeitreihe (Xt : t ∈ Z) eine Gaußsche Zeitreihe, falls f¨ ur jedes n ∈ N und alle t1 , . . . , tn ∈ Z gilt, dass die gemeinsame Verteilung von (Xt1 , . . . , Xtn ) eine n–dimensionale Normalverteilung mit ErT wartungswertvektor  µ(t1 , . . . , tn ) = (EXt1 , . . . , EXtn ) und Kovarianzmatrix ur dieΣ(t1 , . . . , tn ) = Cov(Xtj , Xtk ) : j, k = 1, . . . , n besitzt. Wir benutzen f¨ se Aussage auch die folgende Schreibweise: L (Xt1 , . . . , Xtn ) = N (µ(t1 , . . . , tn ), Σ(t1 , . . . , tn )) . F¨ ur station¨ are reelle Zeitreihen ergibt sich, dass diese Verteilung vollst¨ andig durch den Erwartungswert µ = EXt und die Autokovarianzfunktion γ(h) = Cov(Xt+h , Xt ) , h ∈ Z , beschrieben ist. Wie gerade in der Definition 2.15 gesagt, legt der Erwartungswert und die Autokovarianzfunktion einer Gaußschen Zeitreihe diese vollst¨andig fest. Wir werden sp¨ ater sehen (vgl. Satz 3.1), dass zu jeder m¨oglichen Autokovarianzfunktion und zu jedem Erwartungswert stets eine station¨are Gaußsche Zeitreihe existiert, die genau diesen Erwartungswert und diese Autokovarianzfunktion besitzt.

2.5 Die partielle Autokorrelation

39

F¨ ur ein Gaußsches weißes Rauschen e = (et : t ∈ Z) erhalten wir aus beur kannten Resultaten der Stochastik, dass die Zufallsvariablen es und et f¨ s = t nicht nur wie f¨ ur ein weißes Rauschen vorausgesetzt unkorreliert, sondern stets unabh¨ angig sind. Diese stochastische Unabh¨angigkeit u ¨bertr¨agt sich auch auf Tupel (es1 , . . . , esm ) und (et1 , . . . , etn ) , solange nur die Indexmengen {s1 , . . . , sm } und {t1 , . . . , tn } disjunkt sind. Ferner wird als bekannt vorausgesetzt, dass eine lineare Transformation eines Zufallsvektors eine f¨ ur diesen bestehende Normalverteilungsannahme grunds¨ atzlich erh¨ alt. Genauer folgt f¨ ur einen n–dimensionalen Zufallsvektor Z mit L(Z) = N (µ, Σ) unter der linearen Transformation Az + b mit einer m × n–Matrix A und einem  m–dimensionalen Vektor b die Aussage  L(AZ + b) = N Aµ + b, AΣAT . Aus dieser Tatsache erhalten wir das folgende Resultat. Bemerkung 2.16 Reelle Moving Average Zeitreihen der Ordnung q mit Gaußschem weißen Rauschen stellen selbst stets Gaußsche Zeitreihen dar. Sogar  f¨ ur die AR(1)–Zeitreihe aus Beispiel 2.7 gilt wegen der Darstellung ∞ Xt = ν=0 (−a)ν et−ν und der L2 –Konvergenz der unendlichen Reihe (vgl. Beispiel 2.7), dass X = (Xt : t ∈ Z) unter der Voraussetzung, dass ein Gaußsches weißes Rauschen vorliegt, selbst eine Gaußsche Zeitreihe ist, vgl. Aufgabe 11.1.   Es sei erw¨ ahnt, dass Gaußsche Zeitreihen im Rahmen der Zeitreihenanalyse keine u ¨berragende Rolle spielen. Was nicht bedeutet, dass eine Reihe von relevanten Kenngr¨ oßen (etwa die Autokovarianz) und gewisse sp¨ater einzuf¨ uhrende Methoden von einer normalverteilten Situation herr¨ uhren oder in diesem Bereich eine besondere Bedeutung haben. Wir werden auf diesen Aspekt im Rahmen dieser Einf¨ uhrung in einigen Abschnitten wieder zu sprechen kommen.

2.5 Die partielle Autokorrelation Neben der Autokovarianz– und der Autokorrelationsfunktion von station¨aren Zeitreihen wird zus¨atzlich in vielen F¨ allen auch die im Folgenden definierte partielle Autokorrelationsfunktion betrachtet. Im Gegensatz zur Autokorrelation (h), die ein Maß f¨ ur den linearen Zusammenhang von Xt und Xt+h darstellt, gibt die partielle Autokorrelation eine Maßzahl f¨ ur den verbleibenden (linearen) Zusammenhang von Xt und Xt+h an, der u ¨ber den Einfluss der zwischen diesen beiden Gr¨ oßen liegenden Zufallsvariablen Xt+1 , . . . , Xt+h−1 hinausgeht. Betrachtet man unter diesem Aspekt station¨are AR(1)–Zeitreihen, so besitzen diese zun¨ achst eine nicht verschwindende Autokorrelation f¨ ur alle Lags h ≥ 0 (vgl. Beispiel 2.7), d.h. die Zufallsvariable Xt hat im Prinzip Einfluss auf alle zuk¨ unftigen Beobachtungen Xt+h . Aufgrund der Struktur

40

2 Stationarit¨ at und grundlegende Modelle der Zeitreihenanalyse

Xt + aXt−1 = et einer AR(1)–Zeitreihe und der obigen (zun¨achst nur verbalen) Erl¨ auterung vermutet man aber vielleicht, dass Xt keinen u ¨ber denjeur h ≥ 2 besitzt. Wir nigen von Xt+h−1 hinausgehenden Einfluss auf Xt+h f¨ werden weiter unten sehen, dass dies tats¨ achlich der Fall ist. Vorher ist aber eine pr¨ azise Definition der partiellen Autokorrelation notwendig. Hierzu ist als Erstes festzulegen, wie der Einfluss der Zufallsvariablen Xt+1 , . . . , Xt+h−1 auf Xt bzw. auf Xt+h zu quantifizieren ist. Dazu nehmen wir vereinfachend an, dass die vorliegende Zeitreihe reell und zentriert ist. Da wir mit Korrelationen grunds¨ atzlich nur lineare Zusammenh¨ ange erfassen k¨onnen, soll dieser Einfluss mittels der Projektion Pspan{Xt+1 ,...,Xt+h−1 } von Xt bzw. Xt+h auf den von Xt+1 , . . . , Xt+h−1 aufgespannten linearen Teilraum span{Xt+1 , . . . , Xt+h−1 } onnen ja aldes LR 2 – also ebenfalls linear – gemessen werden. Bekanntlich k¨ le Elemente dieses linearen Teilraumes durch Linearkombinationen der Zufallsvariablen Xt+1 , . . . , Xt+h−1 beschrieben werden. Eigentlich k¨onnten die Zufallsvariablen auch komplex sein. Da die partielle Autokorrelation in diesem Fall in der Theorie und der Praxis bedeutungslos ist, verzichten wir hier auf diese Verallgemeinerung. Bevor wir uns Gedanken u ¨ber die Berechnung der Projektionen machen, soll die partielle Autokorrelation aber erst einmal definiert werden. Definition 2.17 (Partielle Autokorrelation) are und zentrierte Zeitreihe. Mit X = (Xt : t ∈ Z) sei eine reellwertige, station¨ dem linearen Teilraum H = span{Xt+1 , . . . , Xt+h−1 } von LR 2 , wobei H := {0} oße f¨ ur h = 1 gesetzt werde, und der Projektion PH auf H nennen wir die Gr¨ π(h) = Corr (Xt+h − PH (Xt+h ), Xt − PH (Xt )) , h = 1, 2, . . . ,

(2.36)

partielle Autokorrelation der Zeitreihe X = (Xt : t ∈ Z) zum Lag h. Dass diese Gr¨ oße f¨ ur station¨ are Zeitreihen in der Tat unabh¨ angig von t ist, werden wir erst sp¨ ater beweisen. F¨ ur nicht zentrierte reelle und station¨ are Zeitreihen definieren wir die partielle Autokorrelation als die partielle Autokorrelation der zugeh¨ origen zentrierten Zeitreihe. achst Wegen P{0} (Xs ) = 0 gilt zun¨ π(1) = Corr (Xt+1 , Xt ) = (1) .

(2.37)

Im Kapitel 4 u ¨ber Vorhersagen von Zeitreihen leiten wir eine Berechnungsmethode f¨ ur partielle Autokorrelationen her, die wir schon hier benutzen wollen. Und zwar gilt unter der Voraussetzung, dass die Korrelationsmatrix ((r − s) : r, s = 1, . . . , h) nicht singul¨ ar (also invertierbar) ist und somit die L¨osung des linearen Gleichungssystems ⎞ ⎛ ⎛ ⎞ (1)   dh,1 (r − s) ⎜ .. ⎟ ⎜ .. ⎟ (2.38) ⎝ . ⎠=⎝ . ⎠ r, s = 1, . . . , h dh,h (h)

2.5 Die partielle Autokorrelation

41

eindeutig bestimmt ist, f¨ ur dieses h die Aussage π(h) = dh,h .

(2.39)

Es sei darauf hingewiesen, dass (2.38) nichts anderes darstellt als die Normalgleichungen f¨ ur die Projektion von Xt+h auf den von den Zufallsvariablen Xt , . . . , Xt+h−1 aufgespannten linearen Teilraum. Der Koeffizient dh,h von Xt in der Darstellung der Projektion, also die partielle Autokorrelation, gibt den linearen Einfluss von Xt (auf Xt+h ) wieder (zumindest dann, wenn die Koeffizienten der Projektion eindeutig bestimmt sind). Diese Tatsache ist eine weitere Interpretationshilfe f¨ ur die partielle Autokorrelation. Die Darstellung (2.39) zusammen mit (2.38) und unter der Voraussetzung der Nicht–Singularit¨ at der empirischen Autokorrelationsmatrix ( (r − s) = γ(r − s)/γ(0) : r, s = 1, . . . , h) erlaubt dar¨ uberhinaus eine eing¨angige Definition der empirischen partiellen Autokorrelation zum Lag h gem¨aß π (h) := dh,h mit dh,h aus 

(r − s) r, s = 1, . . . , h



(2.40)

⎛

⎞ ⎛ ⎞ dh,1 (1) ⎜ .. ⎟ ⎜ .. ⎟ ⎝ . ⎠=⎝ . ⎠, (h) dh,h

(2.41)

wobei  in (2.30) definiert wurde. Nun kehren wir zum Abschluss des Abschnittes 2.5 und auch des Kapitels 2 noch einmal zum autoregressiven Prozess erster Ordnung zur¨ uck. Beispiel 2.18 (Partielle Autokorrelation in AR(1)–Zeitreihen) Gegeben sei eine reellwertige, station¨ are AR(1)–Zeitreihe X = (Xt : t ∈ Z) mit Xt + aXt−1 = et , wobei e = (et : t ∈ Z) ein reelles, weißes Rauschen bezeichnet und a ∈ R mit |a| < 1 ist. In Abbildung 2.12 ist f¨ ur eine Realisierung dieser AR(1)–Zeitreihe ein sog. Xt−1 −Xt –Plot gegeben, d.h. eine Darstellung der Punkte (Xt−1 , Xt ) f¨ ur t = 2, . . . , n . Man erkennt sehr gut, dass die eingezeichnete Gerade y = a · x mit a = 0.8 eine gute lineare Beschreibung dieser Daten liefert. Dies steht im Einklang mit der u ¨blichen Regressionsanalyse. Die Steigung der aus dem Xt−1 − Xt –Plot gewonnenen Geraden liefert wegen atzer f¨ ur die Autokorrelation zum Lag 1 . V ar(Xt−1 ) = V ar(Xt ) einen Sch¨ Wegen (2.37) und (2.18) gilt zun¨ achst π(1) = (1) = −a . F¨ ur h¨ohere Lags h ≥ 2 gehen wir von der Definition in Gleichung (2.36) aus h−1 ur PH (Xt+h ) mit und bestimmen eine Darstellung der Form j=1 cj Xt+h−j f¨ H = span{Xt+1 , . . . , Xt+h−1 } . Die Koeffizienten cj , j = 1, . . . , h − 1, stellen eine L¨ osung des linearen Gleichungssystems ⎞ ⎛ ⎛ ⎞ c1 (1)   (r − s) ⎜ .. ⎟ ⎜ ⎟ .. (2.42) ⎝ . ⎠=⎝ ⎠ . r, s = 1, . . . , h − 1 ch−1 (h − 1)

42

2 Stationarit¨ at und grundlegende Modelle der Zeitreihenanalyse 5 4 3 2 1 0 −1 −2 −3 −4 −5 −5

−4

−3

−2

−1

0

1

2

3

4

5

Abb. 2.12 Xt−1 − Xt –Plot einer Realisierung der L¨ ange n = 500 einer AR(1)–Zeitreihe mit Parameter a = −0.80 und die Gerade y = 0.8x

dar (vgl. (2.38)). Mit der Darstellung der Autokorrelationsfunktion einer AR(1)–Zeitreihe aus (2.18) erhalten wir mit leichter Rechnung, dass c1 = −a osung von (2.42) darstellt. Damit gilt also f¨ ur und c2 = . . . = ch−1 = 0 eine L¨ h≥2 (2.43) Pspan{Xt+1 ,...,Xt+h−1 } (Xt+h ) = −aXt+h−1 . Da Xt+h + aXt+h−1 = et+h gilt und Pspan{Xt+1 ,...,Xt+h−1 } (Xt ) auf jeden Fall eine Linearkombination von Xt+1 , . . . , Xt+h−1 ist, die wegen der MA(∞)– Darstellung der AR(1)–Zeitreihe (vgl. (2.16)) linear von es , s ≤ t + h − 1, abh¨angt, folgt  des weißen Rauschens direkt  aufgrund der Unkorreliertheit π(h) = Corr et+h , Pspan{Xt+1 ,...,Xt+h−1 } (Xt ) = 0 . Bereinigt man die Werte Xt+2 bzw. Xt um die jeweiligen Projektionen auf den von Xt+1 aufgespannten Teilraum (mit aus den Daten gesch¨atztem Koeffizienten), so erh¨ alt man Abbildung 2.13. Man erkennt sehr deutlich, dass es sich hier um eine mehr oder weniger unkorrelierte Situation handelt (im Gegensatz zu Abbildung 2.12). Die Eigenschaft, dass die partielle Autokorrelation f¨ ur einen autoregressiven Prozess erster Ordnung ab Lag 2 verschwindet, k¨onnen wir vorteilhaft zur Identifikation eines solchen Modells verwenden, indem wir die empirische partielle Autokorrelation betrachten und schauen, ob sich nur die erste partielle Autokorrelation signifikant von 0 unterscheidet. Wir werden sp¨ ater sehen, dass sich diese Eigenschaft der partiellen Autokorrelation auf autoregressive Prozesse h¨ oherer Ordnung ausdehnt. Es gilt n¨amlich,

2 Aufgaben

43

5 4 3 2 1 0 −1 −2 −3 −4 −5 −5

−4

−3

−2

−1

0

1

2

3

4

5

Abb. 2.13 Plot der Punkte (Xt + aXt+1 , Xt+2 + aXt+1 )

dass f¨ ur einen station¨ aren AR(p)–Prozess die partiellen Autokorrelationen f¨ ur Lags h ≥ p + 1 verschwinden. Die partielle Autokorrelation wird in den Anwendungen dann auch tats¨ achlich zur Selektion autoregressiver Zeitreihen eingesetzt. Wir wollen dies an dieser Stelle f¨ ur die in Beispiel 2.14 betrachteten Sonnenfleckenzahlen tun. Aus den zentrierten Sonnenfleckenzahlen erhalten wir gem¨aß (2.40) die folgenden empirischen partiellen Autokorrelationen π (1) = 0.82085 , π (2) = −0.68188 , π (3) = −0.13517 und π (4) = 0.05506 .

(2.44)

Genau wie Yule (1927) ist man auf dieser Basis in der Tat geneigt, eine AR(2)– oder eine AR(3)–Zeitreihe an die Sonnenfleckendaten anzupassen.  

Aufgaben q Aufgabe 2.1 Man zeige in Beispiel 2.7, dass { ν=0 (−a)ν et−ν : q ∈ N} f¨ ur jedes t ∈ Z eine Cauchy–Folge ist, falls |a| < 1 gilt. Aufgabe 2.2 Gegeben sei eine zyklische Zeitreihe Xt = e1 cos(ωt) + e2 sin(ωt)

(2.45)

bzw. in der ¨ aquivalenten Darstellung Xt = A sin(ωt + φ) mit dem Zusammenhang

44

2 Stationarit¨ at und grundlegende Modelle der Zeitreihenanalyse

e1 = A sin φ, e2 = A cos φ. Man zeige: Falls e1 und e2 stochastisch unabh¨ angige N (0, 1)–verteilte Zufallsvariable sind, so sind A und φ stochastisch unabh¨angig mit φ ∼ R(−π, π), A2 ∼ χ22 . Dabei bezeichnet R(a, b) die Rechteck– oder Gleichverteilung auf dem Intervall (a, b) und χ2k die Chi–Quadrat–Verteilung mit k Freiheitsgraden. Hinweis: Transformationssatz f¨ ur Dichten. Aufgabe 2.3 Man untersuche den folgenden Prozess auf schwache Stationarit¨at Xt := a · Xt−1 + et ,

t = 1, 2, . . .

X0 := e0 mit a ∈ R und einem reellen weißen Rauschen e = (et : t ∈ Z), et ∼ (0, σe2 ). Man diskutiere das Ergebnis. Aufgabe 2.4 Seie = (et : t ∈ Z) ein weißes Rauschen mit et ∼ (0, σe2 ). Man ∞ zeige, dass Xt = j=0 (−a)j et−2j , t ∈ Z, eine L¨osung der linearen Differenzengleichung zweiter Ordnung, vgl. Beispiel 2.7, Xt + aXt−2 = et ,

∀ t ∈ Z,

ist, wobei a ∈ C mit |a| < 1 gelte. Man zeige weiter, dass die Autokovarianzfunktion gleich γ(h) = σe2

(−a)h/2 1 − |a|2

f¨ ur gerade h ∈ N0

und f¨ ur ungerade h ∈ N0 gleich 0 ist. F¨ ur negative h gilt nat¨ urlich wie stets γ(h) = γ(−h). Aufgabe 2.5 (Spezielles Kronecker–Lemma) Seien ck ∈ C, k ∈ Z, absolut summierbar. Man zeige mit Hilfe des Satzes von Lebesgue (siehe Anhang A.2) 1
|kck | → 0 f¨ ur n → ∞. (2.46) n |k|≤n

Hinweis: ahlende Maß auf Z . Damit ist die linke Seite in (2.46) # Sei µ das abz¨ gleich fn dµ mit fn (k) = n1 1 (|k| ≤ n) |kck | . Aufgabe 2.6 Nach Bemerkung 2.16 sind MA(q)–Reihen mit Gaußschem weißen Rauschen selbst Gaußsche Zeitreihen. Man berechne die Ausdr¨ ucke µ(tt , . . . , tn ) und Σ(tt , . . . , tn ) aus Definition 2.15 f¨ ur eine MA(2)–Reihe mit Parametern b1 , b2 ∈ R und stochastisch unabh¨angigen normalverteilten Zufallsvariablen et ∼ N (0, σe2 ) .

2 Aufgaben

45

Aufgabe 2.7 Seien X = (Xt : t ∈ Z) und Y = (Yt : t ∈ Z) zwei unkorrelierte, station¨ are Zeitreihen, d.h. Cov(Xs , Yt ) = 0 ∀ s, t. Weiter seien die Autokovarianzen von X und Y beide gleich γ . √ √ Man zeige, (X + Y )/ 2 := ((Xt + Yt )/ 2 : t ∈ Z) und √ dass dann auch √ (X − Y )/ 2 := ((Xt − Yt )/ 2 : t ∈ Z) unkorrelierte, station¨are Zeitreihen sind, die ebenfalls beide die Autokovarianz γ besitzen. Aufgabe 2.8 Seien die Zufallsvariablen U und V gemeinsam normalverteilt mit Erwartungswert 0, gleicher Varianz σ 2 und Korrelationskoeffizient  . a) Man zeige 1 1 arcsin() . P {U > 0, V > 0} = + 4 2π b) Sei X = (Xt : t ∈ Z) eine reelle, Gaußsche, zentrierte, station¨are Zeitreihe mit Autokorrelationsfunktion X . Man definiere die Zeitreihe Y = (Yt : t ∈ Z) ur ihre Autokorrelationsfunktion Y gem¨aß Yt = 1(Xt > 0) und zeige f¨ Y (h) =

2 arcsin(X (h)) . π

Aufgabe 2.9 a) Sei X = (Xt : t ∈ Z) eine MA(1)–Zeitreihe. Man zeige f¨ ur die zugeh¨orige Autokorrelationsfunktion X die Ungleichung X (1) ≤ 0.5 . b) Sei X = (Xt : t ∈ Z) eine MA(q)–Zeitreihe. Man zeige entsprechend X (1) ≤ cos(π/(2 + q)) . c) Gibt es eine MA(2)–Zeitreihe X mit X (1) = 0.8 ? Aufgabe 2.10 Seien e1 , e2 , . . . stochastisch unabh¨angig mit et ∼ N (0, σe2 ) ∀ t ∈ N. Der rekursiv definierte Prozess (Xt : t ≥ 1) gem¨aß Xt = Xt−1 +et mit Startzufallsvariable X0 , die unkorreliert mit den et sei, heißt Random Walk. a) Man berechne EXt und V arXt und folgere daraus, dass (Xt ) kein station¨arer Prozess ist. b) Angenommen, man plottet simulierte Realisierungen eines Random Walk ur (Xt ) w¨ahlen, X0 , X1 , . . . , X200 mit σe2 = 1 . Wie sollte man den Bildbereich f¨ damit m¨ oglichst alle Pfade vollst¨ andig zu sehen sind?

3 Die Autokovarianz und die Autokorrelation

In diesem Kapitel wollen wir uns n¨ aher mit der Autokovarianz– und Autokorrelationsfunktion von Zeitreihen auseinander setzen. In Kapitel 2 haben wir bereits gesehen, dass diese Funktionen wesentliche Kenngr¨oßen f¨ ur Zeitreihen sind, und wir haben dort auch bereits f¨ ur eine ganze Reihe von Beispielen die Autokovarianzfunktion und damit die Autokorrelationsfunktion berechnet. Im Folgenden sollen nun charakterisierende Eigenschaften dieser wichtigen Kenngr¨ oßen hergeleitet werden. Wir werden im Abschnitt 3.1 zun¨achst aus der positiven Semidefinitheit einer jeden Autokovarianzfunktion grundlegende Eigenschaften ableiten, bevor wir im Abschnitt 3.2 den Begriff des Spektralmaßes und der Spektraldichte einer Zeitreihe, sowie deren Zusammenhang mit der Autokovarianz bzw. Autokorrelation kennen lernen. Um in nachfolgenden Kapiteln keine Probleme mit der G¨ ultigkeit entsprechender Resultate auch f¨ ur komplexwertige Zeitreihen zu bekommen, wird hier grunds¨atzlich eine komplexwertige station¨ are Zeitreihe unterstellt. Der Mehraufwand ist gering und erspart sp¨ ateres Nachbessern.

3.1 Grundlegende Eigenschaften Sei X = (Xt : t ∈ Z) eine komplexwertige und (schwach) station¨are Zeitreihe mit EXt = µ und Autokovarianzfunktion γ (h) = γX (h) = E (Xt+h − µ) (Xt − µ) ,

∀ h, t ∈ Z ,

(3.1)

bzw. Autokorrelationsfunktion  (h) = X (h) =

γX (h) , γX (0)

∀h ∈ Z,

(3.2)

wobei, wie schon fr¨ uher erw¨ ahnt, der Erwartungswert einer komplexwertigen Zufallsvariablen Y = U + iV mit Realteil U und Imagin¨arteil V gem¨aß EY = EU + iEV definiert ist, siehe Anhang A.2.

48

3 Die Autokovarianz und die Autokorrelation

Man spricht auch einfach von der Kovarianz– bzw. Korrelationsfunktion. Fasst man Xt als Element des komplexen Hilbertraums LC 2 (Ω, A, P ) der komplexwertigen und quadratintegrierbaren Zufallsvariablen auf (Ω, A, P ) mit dem inneren Produkt X, Y  = EXY auf, siehe Anhang A.2 , so gilt γ (h) = Xt+h − µ, Xt − µ sowie

2

 (h) = Xt+h − µ, Xt − µ/ Xt − µ . Jede Kovarianzfunktion γ ist (komplex) positiv semidefinit, d.h. es gilt r


λi λj γ (ti − tj ) ≥ 0

(3.3)

i,j=1

f¨ ur alle λ1 , . . . , λr ∈ C, t1 , . . . , tr ∈ Z, r ∈ N. Gilt in (3.3) das strikte Gr¨oßerzeichen sobald nicht alle λj verschwinden, so heißt die Autokovarianzfunktion γ (komplex) positiv definit. Zum Nachweis von (3.3) nehme man o.B.d.A. µ = 0 an. Wegen γ (ti − tj ) = EXti X tj ist die linke Seite von (3.3) r 2 gleich E | i=1 λi Xti | und damit stets reell und gr¨oßer gleich Null. Satz 3.1 (Charakterisierung von Autokovarianzfunktionen) Zu jeder (komplex) positiv semidefiniten Funktion γ : Z → C gibt es einen station¨ aren, zentrierten stochastischen Prozess mit Autokovarianzfunktion γ. Dieser Prozess kann reell gew¨ ahlt werden, falls die Autokovarianzfunktion γ reellwertig ist. Beweis: Siehe Ash/Gardner (1975), Theorem 1.2.3.

 

Unter Verwendung dieses Satzes erh¨ alt man leicht die im folgenden Lemma aufgef¨ uhrten Eigenschaften von Kovarianzfunktionen, die wir aber direkt aus der positiven Semidefinitheit herleiten wollen. Lemma 3.2 (Grundeigenschaften von Autokovarianzfunktionen) Sei γ : Z → C eine (komplex) positiv semidefinite Funktion. Dann gilt f¨ ur jedes h ∈ Z γ (0) ≥ 0, γ (−h) = γ (h) |γ (h)| ≤ γ (0) .

(3.4) (Hermite–) Symmetrie

(3.5) (3.6)

Beweis: Zum Nachweis von (3.4) setze man in (3.3) r = 1, λ1 = 1 und t1 = 0 ein. F¨ ur (3.5) verwende man in (3.3) r = 2, λ1 = λ2 = 1, t1 = 0 und t2 = h, woraus zun¨ achst 2γ (0) + γ (−h) + γ (h) ≥ 0 folgt. Da γ(0) reell ist, folgt

3.2 Spektralmaß und Spektraldichte

49

dass auch γ (−h) + γ (h) reell sein muss. Setzt man sodann in (3.3) r = 2, λ1 = i, λ2 = 1, t1 = 0 sowie t2 = h ein, so folgt ganz entsprechend 2γ (0) + i (γ (−h) − γ (h)) ≥ 0. Also ist γ (−h) − γ (h) rein imagin¨ar. Zusammen folgt (3.5). Es bleibt (3.6) zu zeigen. Sei o.B.d.A. γ (h) = 0 angenommen. Mit r = 2, λ1 = 1, λ2 = −x/γ (h), t1 = h, t2 = 0 und x ∈ R, folgt aus (3.3) γ(0) − (x/γ (h)) γ (h) − (x/γ (h))γ (−h) + (x2 /|γ (h)|2 )γ (0) ≥ 0, d.h. f¨ ur alle x ∈ R 2

0 ≤ γ(0) − 2x + x2 γ (0)/|γ (h)|   $ 2 |γ(h)|2 γ(0) |γ(h)|2 2 x− = + |γ(h)| 1 − . |γ(h)|2 γ(0) γ(0)2 F¨ ur x = |γ(h)|2 /γ(0) ergibt sich schließlich 1 − |γ(h)|2 /γ(0)2 ≥ 0, woraus sofort die Behauptung folgt.   Bemerkung 3.3 (Komplexe und reelle positive Semidefinitheit) In der Definition der positiven Semidefinitheit von γ in (3.3) ist es wesentlich, dass komplexe λi zugelassen werden, um die (Hermite–) Symmetrie folgern zu k¨onnen. W¨ urde man die Ungleichung (3.3) nur f¨ ur reelle λi verlangen (diese Eigenschaft nennen wir reelle positive Semidefinitheit), so k¨onnte daraus die Symmetrie nicht mehr gefolgert werden. Ist allerdings γ : Z → R reell positiv semidefinit bzw. reell positiv definit und symmetrisch um 0, so ist γ auch komplex positiv semidefinit bzw. komplex positiv definit wie eine leichte Rechnung zeigt.  

3.2 Spektralmaß und Spektraldichte Wir kommen nun zu einer weiteren Charakterisierung von Kovarianzfunktionen, die ein erster Schritt in Richtung auf die Spektraltheorie station¨arer Zeitreihen ist. Satz 3.4 (Herglotz–Lemma und Spektralmaß) Sei γ : Z → C eine positiv semidefinite Abbildung. Dann gibt es ein eindeutig bestimmtes, endliches Maß µ auf ((−π, π] , (−π, π] ∩ B) mit % γ (h) =

eihω dµ (ω) ,

∀ h ∈ Z.

(3.7)

(−π,π]

Umgekehrt ist jede Funktion γ : Z → C mit einer Darstellung (3.7) positiv semidefinit. Das Maß µ nennt man das Spektralmaß von γ .

50

3 Die Autokovarianz und die Autokorrelation

Besitzt das Spektralmaß µ eine Lebesgue–Dichte f auf (−π, π], d.h. es gilt mit dem #Lebesgue–Maß λ auf R f¨ ur alle B ∈ (−π, π] ∩ B die Gleichung µ (B) = B f dλ, so ist f bekanntlich λ–fast sicher eindeutig auf (−π, π] bestimmt und heißt Spektraldichte von γ . Durch eine beliebige Festlegung von f (−π) wird keine Punktmasse in −π erzeugt und µ kann im Falle einer existierenden Spektraldichte auch als Maß auf [−π, π] und f als Dichte auf [−π, π] betrachtet werden. Aus Symmetriegr¨ unden betrachtet man bei existierenden Spektraldichten f diese dann meist auf [−π, π]. Im Falle, dass µ einen diskreten Anteil mit Punktmasse in π besitzt, ist f¨ ur die Eindeutigkeit des Spektralmaßes die Einschr¨ ankung auf das halboffene Intervall (−π, π] jedoch wesentlich, wie wir im Beweis zu Satz 3.4 sehen werden! Bemerkung 3.5 Wir verwenden das Symbol µ in diesem Buch zum einen als Erwartungswert einer Zeitreihe (vgl. (3.1)) und zum anderen als Spektralmaß (vgl. (3.7)). Da diese Bezeichnungen in der Literatur u ¨blich sind, wollen wir an ihnen festhalten und denken, dass aus dem Zusammenhang stets deutlich wird, ob µ den Erwartungswert oder das Spektralmaß einer Zeitreihe bezeichnet. Mit dem Spektralmaß einer station¨ aren Zeitreihe meinen wir dabei das Spektralmaß der zur Zeitreihe geh¨ orenden Autokovarianzfunktion.   Beweis: (zu Satz 3.4) # Es gelte (3.7). Wegen γ (k − j) = (−π,π] ei(k−j)ω dµ (ω) erhalten wir die positive Semidefinitheit wie folgt: 2 % 
r r 
 itk ω  λk λj γ (tk − tj ) = λk e   dµ (ω) ≥ 0,   k,j=1

(−π,π]

∀ λ1 , . . . , λr ∈ C,

k=1

∀ t1 , . . . , tr ∈ Z,

∀ r ∈ N.

F¨ ur die umgekehrte Richtung k¨ onnen wir annehmen, dass γ (0) > 0 ist, da f¨ ur γ (0) = 0 die Aussage (3.7) mit dem Maß µ ≡ 0 erf¨ ullt ist. Mit  (k) := γ (k) /γ (0) definieren wir nun reelle Funktionen fn : [−π, π] → R, n ≥ 1, durch 1 fn (ω) : = 2π =

n−1


  |k| 1−  (k) e−ikω n

k=−n+1 n n



1 2πn

 (j − m) e−ijω eimω ≥ 0,

(3.8)

j=1 m=1

wobei die letzte Gleichheit aus der Summationsformel (A.11) des Anhangs folgt und die Nichtnegativit¨ at der Funktionen fn eine direkte Konsequenz der positiven Semidefinitheit von γ und damit von  ist. Man erh¨alt f¨ ur h ∈ Z

3.2 Spektralmaß und Spektraldichte

%π

ihω

fn (ω) e −π

 %π n−1  1
|k| dω = 1−  (k) ei(h−k)ω dω 2π n k=−n+1 −π   |h| = 1−  (h) 1(|h| < n), n

51

(3.9)

da das letzte Integral f¨ ur k = h verschwindet und f¨ ur k = h den Wert 2π besitzt. Insbesondere erhalten wir also f¨ ur h = 0 die Gleichheit %π fn (ω) dω =  (0) = 1. −π

Mit dem Lebesgue–Maß λ definieren wir nun Wahrscheinlichkeitsmaße µn # auf [−π, π] durch µn (B) = B fn dλ ∀B ∈ [−π, π] ∩ B. Nach dem Satz  von  Prohorov (siehe Anhang A.5) gibt es stets eine Teilfolge µn(k) : k ∈ N und D

ur k → ∞ , wobei ein Wahrscheinlichkeitsmaß µ0 auf [−π, π] mit µn(k) → µ0 f¨ D

→ die Verteilungskonvergenz bezeichnet, siehe Anhang A.5. Es folgt aus (3.9) und der Verteilungskonvergenz %

γ (h) = lim k→∞ γ (0) %

e

dµn(k) (ω) =

eihω dµ0 (ω)

[−π,π]

eihω dµ0 (ω) + e−ihπ µ0 ({−π})

(−π,π]

1 γ (0)

%

[−π,π]

=

=

ihω

%

eihω dµ (ω) ,

(−π,π]

wobei µ (B) := (µ0 (B ∩ (−π, π]) + µ0 ({−π}) 1B (π)) γ (0) gesetzt wurde. Damit gilt (3.7). Es bleibt die Eindeutigkeit von µ zu zeigen. Dazu verwenden wir, dass sich jede stetige Funktion f : [−π, π] → C mit f (−π) = f (π) gleichm¨ aßig auf [−π, π] durch ein trigonometrisches Polynom P (t) = N int c e approximieren l¨ asst, siehe etwa Rudin (1970), n=−N n # # Theorem 4.25. F¨ ur zwei Maße µ1 , µ2 mit (3.7) folgt aus (−π,π] P dµ1 = (−π,π] P dµ2 also # # auch (−π,π] f dµ1 = (−π,π] f dµ2 . Da man jede Indikatorfunktion 1(a,b] mit −π < a < b < π durch Folgen stetiger Funktionen fr , r ≥ 1, mit |fr | ≤ 1 und aß fr → 1(a,b] , folgt mit dem Satz fr (−π) = fr (π) approximieren kann gem¨ ur Maße liefert von Lebesgue µ1 ((a, b]) = µ2 ((a, b]). Der Eindeutigkeitssatz f¨   dann µ1 = µ2 . Reelle zyklische Zeitreihen, die wir bereits in Definition 2.9 kennen gelernt haben, eignen sich besonders, um die Bedeutung des Spektralmaßes besser zu verstehen, wie das folgende Beispiel zeigt.

52

3 Die Autokovarianz und die Autokorrelation

Beispiel 3.6 (Zyklische Zeitreihen) Sei Xt = e1 cos(ωt) + e2 sin(ωt) ,

∀t ∈ Z,

(3.10)

eine zyklische Zeitreihe mit reellen, unkorrelierten, zentrierten Zufallsvariablen e1 , e2 , beide mit Varianz σ 2 > 0 , vgl. Definition 2.9. Da sich Xt nicht ¨ des ¨andert, wenn man ω um ein Vielfaches von 2π verschiebt und Anderung Vorzeichens von ω nur zu einer Vorzeichen¨ anderung von e2 f¨ uhrt, nehmen wir o.B.d.A. an, dass ω ∈ (0, π] gilt. Jeder Pfad des Prozesses X = (Xt : t ∈ Z) ist eine periodische Funktion, deren Perioden– oder Wellenl¨ange wir λ nennen wollen. Dann ist die Anzahl der Perioden, die in eine Zeiteinheit fallen, also die Frequenz, gleich ν := 1/λ, und somit ist ω = 2πν die Frequenz in Kreisuml¨ aufen (Radian) gerechnet, woraus sich der Name Kreisfrequenz f¨ ur ω erkl¨ art. W¨ ahrend f¨ ur mathematische Darstellungen die Kreisfrequenz besser geeignet ist, l¨ asst sich die Frequenz einfacher interpretieren. Ist die Periodenl¨ ange z.B. λ = 12 Monate bei monatlichen Erhebungen, so ist die zugeh¨ orige Kreisfrequenz ω = 2π/12 = π/6, w¨ ahrend die Frequenz einfach ν = 1/12 ist. In der Sprechweise folgen wir vielen Autoren und bezeichnen, wenn der Zusammenhang klar ist, ω selbst als Frequenz. Nach (2.24) ist X station¨ ar mit Kovarianzfunktion γ(h) = σ 2 cos(ωh) σ 2 iωh (e + e−iωh ). = 2 Folglich ist das zu X geh¨ orige Spektralmaß µ ein zum Nullpunkt symmetrisches Zweipunktmaß mit Tr¨ agerpunkten ±ω gem¨aß µ(B) =

σ2 (1B (ω) + 1B (−ω)), 2

falls ω ∈ (0, π) und das Einpunktmaß µ(B) = σ 2 1B (π), falls ω = π gilt. Die Tatsache, dass die Kreisfrequenz im Herglotz–Lemma und im vorliegenden Beispiel maximal den Wert π annimmt, ist eine Konsequenz der Diskretheit der Beobachtungszeitpunkte. Offenbar k¨ onnen dann nur Periodenl¨angen von minimal λ = 2 Zeiteinheiten erkannt werden, was einer Kreisfrequenz von ω = 2π/λ = π entspricht. W¨ urde man die zyklische Zeitreihe (3.10) an den Zeitpunkten t∆ beobachten f¨ ur ein ∆ > 0, so w¨aren Periodenl¨angen von minimal λ = 2∆ zu entdecken, was zur maximal erkennbaren Kreisfrequenz (Nyquist–Frequenz ) ω = π/∆ f¨ uhrt. Bei zeitlich immer dichteren Beobachtungspunkten, also ∆ → 0, w¨ achst die Nyquist–Frequenz gegen ∞. Tats¨achlich gilt ein Analogon zum Herglotz–Lemma bei zeitkontinuierlicher Beobachtung mit Integrationsbereich (−∞, ∞) (Satz von Bochner, siehe z.B. Ash/Gardner (1975), Theorem 1.2.7). Wie wir in Kapitel 5 sehen werden, kann man beliebige station¨are Zeitreihen

3.2 Spektralmaß und Spektraldichte

53

¨ als Uberlagerung (entweder als Summe oder im allgemeinen Fall als Integral) unkorrelierter zyklischer Zeitreihen darstellen, wobei im reellen Fall die Varianz jeder zyklischen Komponente zur Frequenz ω das Gewicht der Kreisfrequenzen ±ω im zugeh¨ origen Spektralmaß ist.   Die Symmetrie des Spektralmaßes gilt bei reellen Zeitreihen allgemein, wie die folgende Bemerkung zeigt. Bemerkung 3.7 (Symmetrie des Spektralmaßes) Ist γ : Z → R eine reelle Kovarianzfunktion, so gilt f¨ ur das zugeh¨orige Spektralmaß µ µ (B) = µ (−B)

(3.11)

f¨ ur alle Borelmengen B ⊂ (−π, π) (der Punkt +π ist hier ausgeschlossen!). Dabei ist −B := {−ω : ω ∈ B}. Besitzt µ eine Spektraldichte f , so gilt f¨ ur diese f (ω) = f (−ω)

λ − f.s. auf (−π, π) .

(3.12)

Diese Symmetrie des Spektralmaßes und (bei Existenz) der Spektraldichte f¨ ur reelle Autokovararianzen sieht man wie folgt ein: Mit der Spiegelungsabbildung T : (−π, π] → (−π, π] gem¨aß T (ω) = −ω f¨ ur T . Da γ reell ist, −π < ω < π und T (π) #= π ist (3.11) ¨ aquivalent zu µ = µ # # gilt γ (h) = γ (−h), also (−π,π] eih· dµ = (−π,π] e−ih· dµ = (−π,π] eihT (·) dµ = # eih· dµT ∀ h ∈ Z. Wegen der Eindeutigkeit des Spektralmaßes folgt (−π,π] µ = µT . Besitzt µ = µT eine Spektraldichte f, so gilt wegen der Spiegelungssymmetrie λ = λT und T ◦ T (ω) = ω % % % % T f dλ = µ(B) = µ (B) = f dλ = f ◦ T ◦ T dλ = f ◦ T dλ B

T −1 (B)

f¨ ur alle B wie oben, also f = f ◦ T

T −1 (B)

λ − f.s. auf (−π, π).

B

 

Wir werden im folgenden Satz zeigen, dass das Spektralmaß einer absolut summierbaren Kovarianzfunktion stets eine stetige Lebesgue–Dichte besitzt, die mit Hilfe der sogenannten Inversionsformel berechnet werden kann. Satz 3.8 (Inversionsformel) Sei γ : Z → C eine positiv semidefinite Funktion, die absolut summierbar ist, d.h. es gilt +∞
h=−∞

Dann ist die gem¨ aß

|γ (h)| < ∞.

(3.13)

54

3 Die Autokovarianz und die Autokorrelation

f (ω) :=

∞ 1
γ (h) e−ihω , 2π

∀ ω ∈ [−π, π] ,

(3.14)

h=−∞

definierte Funktion f : [−π, π] → R nichtnegativ und stetig. Sie erf¨ ullt ferner die Gleichungen %π f (ω) dω = γ (0) ,

(3.15)

−π

sowie %π γ (h) =

eihω f (ω) dω ,

∀ h ∈ Z.

(3.16)

−π

Das Spektralmaß von γ besitzt also die stetige Spektraldichte f . Beweis: Wegen (3.13) konvergieren die offensichtlich stetigen Partialsummen in (3.14) gleichm¨ aßig in ω gegen die Funktion f , die deshalb ihrerseits auch stetig ist. Weiter gilt f¨ ur die stetigen, nichtnegativen Funktionen γ (0) · fn mit fn aus (3.8) nach dem Kronecker–Lemma, siehe Beispiel A.2 in Anhang A.2, die Aussage γ (0) · fn (ω) → f (ω) ∀ ω ∈ [−π, π].  Insbesondere ist f reell und sogar nichtnegativ. Wegen 0 ≤ fn (ω) ≤ (1/2π) h∈Z | (h)| < ∞ ∀ ω ∈ [−π, π] ∀ n ∈ N, ergibt die Anwendung des Satzes von Lebesgue auf (3.9) die Gleichung (3.16).   Bemerkung 3.9 Ist γ in der Inversionsformel reell, so sieht man direkt, dass dann f (−ω) = f# (ω) ∀ω ∈ [−π, π] gilt (vgl.(3.12)). Offenbar gilt wegen dieser Symmetrie π sin(hω)f (ω)dω = 0 und deshalb −π %π γ (h) =

%π cos (hω) f (ω)dω = 2

−π

cos (hω) f (ω)dω,

∀ h ∈ Z. (3.17)

0

  Bemerkung 3.10 (Autokorrelation als Maß f¨ ur lineare Abh¨angigkeit) Wegen  (h) = γ (h) /γ (0) gelten die S¨ atze 3.4 und 3.8, sowie die Bemerkungen 3.7 und 3.9 auch f¨ ur die Korrelationsfunktion . Das zugeh¨orige Spektralmaß ist dann sogar ein Wahrscheinlichkeitsmaß und die Spektraldichte ist eine Wahrscheinlichkeitsdichte. Ist  die Korrelationsfunktion einer reellen Zeitreiur den linearen Zusammenhang he X = (Xt : t ∈ Z) , so ist  (h) ein Maß f¨ amlich (siehe Behnen/Neuhaus (2003), von Xt+h und Xt . Bekanntlich gilt n¨ Lemma 7.15) f¨ ur h ∈ Z

3.2 Spektralmaß und Spektraldichte

55

& ' 2 min E (Xt − (a + bXt+h )) : a, b ∈ R

  2 = E ((Xt − µ) −  (h) (Xt+h − µ)) = γ (0) 1 − 2 (h) .

(3.18)

Beispiele f¨ ur den Graphen der Funktion  (h) , h = 0, 1, 2, . . . , den man wie bereits erw¨ ahnt als Korrelogramm bezeichnet, findet man in den Abbildungen 2.5 und 2.6 in Kapitel 2. Aus der speziellen Gestalt eines Korrelogramms lassen sich Eigenschaften der Zeitreihe ablesen. In der Praxis muss man nat¨ urlich aus Beobachtungen einer Zeitreihe die nicht bekannte Korrelation  (h) sch¨atzen, um so Einblicke in die Abh¨ angigkeitsstruktur der zugrunde liegenden Zeitreihe zu gewinnen.   Nun wollen wir an einigen konkreten Beispielen die zugeh¨origen Spektraldichten explizit bestimmen. Beispiel 3.11 (Weißes Rauschen) F¨ ur die Korrelationsfunktion  (·) eines weißen Rauschens e = (et : t ∈ Z), 2 2 also einer orthogonalen Folge von Elementen aus LC ur 2 mit σe = et > 0 f¨ alle t ∈ Z, gilt  (0) = 1 und  (h) = 0,

f¨ ur |h| = 1, 2, . . . .

(3.19)

Aufgrund der Inversionsformel (3.14) besitzt  (·) die Spektraldichte f (ω) =

1 , 2π

∀ ω ∈ [−π, π] .

(3.20)

Entsprechend ergibt sich die Spektraldichte fγ zur Autokovarianzfunktion γ ur h = 0 eines weißen Rauschens e zu fγ ≡ σe2 /2π. mit γ(0) = σe2 und γ(h) = 0 f¨ Im Sinne von Beispiel 3.6 gibt die Spektraldichte das Gewicht der Frequenzen der einzelnen Schwingungen an, die sich bei der Darstellung der Zeitreihe u ¨berlagern. Insofern bedeutet die Tatsache, dass die Spektraldichte des wei¨ ßen Rauschens konstant ist, dass ein weißes Rauschen als eine Uberlagerung von Schwingungen angesehen werden kann, in die alle m¨oglichen Frequenzen mit dem gleichen Gewicht eingehen. Dies geschieht in gleicher Weise beim sogenannten weißen Licht, was f¨ ur die Namensgebung weißes Rauschen gesorgt hat (im Gegensatz zu einem sogenannten farbigen Rauschen).   Beispiel 3.12 (AR(1)–Reihen) Sei Xt + aXt−1 = et , t ∈ Z, eine reelle oder auch komplexe AR(1)–Reihe mit reellem Parameter a, |a| < 1. Sie besitzt dann gem¨aß (2.18) die Korrelationsfunktion |h|

 (h) = (−a)

,

∀h ∈ Z.

(3.21)

Aufgrund der Inversionsformel (3.14) besitzt  die Spektraldichte f gem¨aß

56

3 Die Autokovarianz und die Autokorrelation 2.0

1.5

1.0

0.5

0.0 0.0

0.5

1.0

1.5

2.0

2.5

3.0

Abb. 3.1 Spektraldichte einer AR(1) Zeitreihe Xt +aXt−1 = et mit a = 0.85

6 5 4 3 2 1 0 0.0

0.5

1.0

1.5

2.0

2.5

3.0

Abb. 3.2 Spektraldichte einer AR(1) Zeitreihe Xt + aXt−1 = et mit a = −0.95

3.2 Spektralmaß und Spektraldichte

2πf (ω) =

+∞


|h| −ihω

(−a)

h=−∞ ∞


= 1+

h=1

57



e

−a · eiω

h

+

∞


−a · e−iω

h

h=1

1 1 = + −1 1 + aeiω 1 + ae−iω         1 + ae−iω + 1 + aeiω − 1 + aeiω · 1 + ae−iω = (1 + aeiω ) (1 + ae−iω ) 2 1−a , = (1 + 2a cos ω + a2 ) also f (ω) =

1 − a2 1 , 2π 1 + 2a cos ω + a2

∀ ω ∈ [−π, π] .

(3.22)

F¨ ur die zugeh¨ orige Kovarianzfunktion und die hierzu geh¨  orendeSpektraldichte multipliziere man (3.21) und (3.22) mit γ (0) = σe2 / 1 − |a|2 . Die Abbildungen 3.1 und 3.2 zeigen jeweils die Spektraldichte einer AR(1)– Zeitreihe. In Abbildung 3.1 ist der Parameter a = 0.85 gew¨ahlt worden. Die zugeh¨ orige Spektraldichte steigt monoton und wird maximal f¨ ur ω = π, d.h. sie legt ein st¨ arkeres Gewicht auf die gr¨ oßeren Frequenzen ω, also auf die kleineren Wellenl¨ angen. Unter Verwendung der bereits bei zyklischen Reihen und im Rahmen des weißen Rauschens angesprochenen Interpretation m¨ usste sich in einer Realisierung einer AR(1)–Zeitreihe mit Parameter a = 0.85 also zeigen, dass h¨ oherfrequente, oder mit anderen Worten kurzwellige, Schwingungen ausgepr¨ agter auftreten sollten. Abbildung 3.3 zeigt eine simulierte Realisation einer derartigen AR(1)–Zeitreihe und man kann das erwartete Ph¨anomen einer stark fluktuierenden Zeitreihe in der Tat beobachten. Genau umgekehrt ist die Situation im Falle des AR(1)–Modells mit Parameter a = −0.95. Die Abbildung 3.2 der Spektraldichte legt diesmal eher niederfrequente, d.h. verst¨arkt langwellige Schwingungsanteile nahe und in der Tat zeigt die Realisation einer AR(1)–Zeitreihe mit Parameter a = −0.95 (vgl. Abbildung 3.4) im Gegensatz zu Abbildung 3.3 einen deutlich ruhigeren Pfad.   Besonders gut l¨ asst sich die Bedeutung der Spektraldichte an einer speziellen AR(2)–Zeitreihe demonstrieren. Beispiel 3.13 (Spezielle AR(2)–Reihen) F¨ ur die AR(2)–Zeitreihe Xt +aXt−2 = et , t ∈ Z, mit a ∈ R, |a| < 1, berechnet sich die Autokorrelationsfunktion zu  (−a)|h|/2 , h gerade  (h) = 0 , h ungerade

58

3 Die Autokovarianz und die Autokorrelation

5 3 1 −1 −3 −5 0

100

200

300

400

500

Abb. 3.3 Simulation einer AR(1)–Zeitreihe mit Parameter a = 0.85 der L¨ ange n = 500 10

5

0

−5

−10 0

100

200

300

400

500

Abb. 3.4 Simulation einer AR(1)–Zeitreihe mit Parameter a = −0.95 der L¨ ange n = 500

3.2 Spektralmaß und Spektraldichte

59

siehe Aufgabe 3.3. F¨ ur a > 0 haben wir also u ¨ber zwei Lags (Zeitdifferenz von 2 Einheiten) die negative Korrelation −a und u ¨ber vier Lags die positive ahlen, desto ausgepr¨agter sind Korrelation a2 . Je dichter wir nun a bei +1 w¨ diese Korrelationen. Deshalb erwarten wir aufgrund dieser speziellen Struktur ein mehr oder weniger deutliches periodisches Verhalten der Pfade der zugeh¨ origen AR(2)–Zeitreihe und zwar mit Periode vier. Stimmt die oben angesprochene Heuristik der Spektraldichte, dann m¨ usste diese ein Maximum bei der Frequenz ω0 = 2π/4 = π/2 besitzen. Letzteres k¨ onnen wir wie folgt einsehen: Mit derselben Rechnung wie in Bei-

4

2

0

−2

−4 0

50

100

150

200

Abb. 3.5 Simulation der AR(2)–Zeitreihe Xt + 0.70 · Xt−2 = et der L¨ ange n = 200

spiel 3.12 erh¨ alt man n¨ amlich f¨ ur die Spektraldichte der Autokorrelation f (ω) =

1 − a2 1 , 2π 1 + 2a cos(2ω) + a2

∀ ω ∈ [−π, π] ,

(3.23)

d.h. bei 0 < a < 1 ein Maximum an der Stelle ω = π/2 mit dem Maximalwert f (π/2) = (1 + a)/((1 − a)2π), der f¨ ur a → 1 gegen ∞ strebt. Die in den Abbildungen 3.5 und 3.6 dargestellten Simulationen von Pfaden des betrachteten AR(2)–Prozesses mit Parameter a = 0.70 bzw. a = 0.95 zeigen zudem recht deutlich das erwartete periodische Verhalten. Die zugeh¨ origen Spektraldichten sind in den Abbildungen 3.7 bzw. 3.8 dargestellt und man erkennt, dass je ausgepr¨ agter der peak der Spektraldichte an

60

3 Die Autokovarianz und die Autokorrelation 10

5

0

−5

−10 0

50

100

150

200

Abb. 3.6 Simulation der AR(2)–Zeitreihe Xt + 0.95 · Xt−2 = et der L¨ ange n = 200

der Stelle ω0 = π/2 ist, desto deutlicher f¨ allt das periodische Aussehen der Realisation der speziellen AR(2)–Zeitreihe ins Auge.   Abschließend wollen wir noch die Klasse der Moving Average Zeitreihen n¨aher betrachten. Beispiel 3.14 (MA–Reihen) Die Autokovarianzstruktur von Moving Average Zeitreihen haben wir bereits in Beispiel 2.6 bestimmt. Besonders charakteristisch an dieser Autokovarianzstruktur ist, dass f¨ ur MA(q)–Zeitreihen stets γ(h) = (h) = 0 f¨ ur |h| > q gilt. Damit ergibt die Inversionsformel (vgl. Satz 3.8) die folgende Spektraldichte f¨ ur MA(q)–Zeitreihen, wobei wir der Einfachheit halber den reellen Fall, d.h. ein reelles weißes Rauschen und reelle Koeffizienten bj betrachten f (ω) =

1
(h)e−iωh 2π |h|≤q

=

q 1
1 + (h) cos(hω) , ∀ ω ∈ [−π, π] , 2π π

(3.24)

h=1

mit  q−h  (h) =

j=0

bj bj+h / 0

q

2 j=0 bj

, ,

h = 0, . . . , q h>q

.

3.2 Spektralmaß und Spektraldichte

61

1.0

0.8

0.6

0.4

0.2

0.0 0.0

0.5

1.0

1.5

2.0

2.5

3.0

Abb. 3.7 Spektraldichte der AR(2)–Zeitreihe Xt + 0.70 · Xt−2 = et

F¨ ur den MA(1)–Prozess Xt = et + b · et−1 , t ∈ Z , erhalten wir sofort die Spektraldichte f (ω) =

b 1 + cos(ω) , 2π π(1 + b2 )

∀ ω ∈ [−π, π] .

F¨ ur den speziellen MA(2)–Prozess Xt = et + b · et−2 gilt wegen (1) = 0 und (2) = b/(1 + b2 ) aufgrund von (3.24)   2π · f (ω) = 1 + (2) e2iω + e−2iω  1  1 + 2b cos(2ω) + b2 . (3.25) = 2 1+b F¨ ur 0 1 werden wir sp¨ ater mit Hilfe der Iterationseigenschaft von Projektionsoperatoren auf die Einschritt–Vorhersage zur¨ uckf¨ uhren.

4.1 Die rekursive Gram–Schmidt–Orthogonalisierung Zu jeder Folge X1 , X2 , . . . linear unabh¨ angiger Elemente von H wird nach Gram–Schmidt durch

4.1 Die rekursive Gram–Schmidt–Orthogonalisierung

2 , . . . , Yn = Xn − X n , . . . Y1 = X1 , Y2 = X2 − X

67

(4.5)

j+1 := Pj Xj+1 , j ≥ 1, und den Orthogonalprojektionen Pj : H → H auf mit X Hj := span{X1 , . . . , Xj } eine Folge orthogonaler Vektoren Yj , j ≥ 1, definiert mit der Eigenschaft Hj = span{X1 , . . . , Xj } = span{Y1 , . . . , Yj },

∀ j ≥ 1.

(4.6)

n+1 hat wegen (4.6) mit geeigneten Koeffizienten Die Einschritt–Vorhersage X cn,j die Darstellung n+1 = X

n


cn,k Yn+1−k ,

∀n ≥ 1.

(4.7)

k=1

Skalarmultiplikation von (4.7) von rechts mit Yn+1−j liefert unter Verwendung n+1 , Yn+1−j  = Xn+1 , Yn+1−j  die L¨ osungen von X cn,j = Xn+1 , Yn+1−j  Yn+1−j , Yn+1−j −1 , 1 ≤ j ≤ n.

(4.8)

Wegen der linearen Unabh¨ angigkeit der X1 , X2 , . . . sind auch die Orthogoangig, insbesondere also ungleich 0. Die nalvektoren Y1 , Y2 , . . . linear unabh¨ Gr¨oßen n+1 2 = Yn+1 , Yn+1  , vn := Xn+1 − X

∀n ≥ 1,

(4.9)

v0 := X1 , X1  nennt man quadratische (Einschritt–)Vorhersagefehler, vgl. (4.4) (hier ist allerdings keine Stationarit¨ at vorausgesetzt). aß Gleichung (4.7) eine LinearMan beachte, dass die Koeffizienten cn,j gem¨ kombination der orthogonalen Vektoren Y1 , . . . , Yn definieren. Deshalb stim(1) men sie im Allgemeinen nicht mit den Koeffizienten dn,j aus (4.1) u ¨berein, k¨onnen aber nat¨ urlich linear ineinander transformiert werden. Die orthogo2 , Y3 = X3 − X 3 , . . . werden auch als nalen Vektoren Y1 = X1 , Y2 = X2 − X Innovationen bezeichnet. Yn+1 gibt den orthogonalen Zuwachs an, der zum ugen ist, um span {X1 , . . . , Xn+1 } zu erzeuRaum span {X1 , . . . , Xn } hinzuzuf¨ gen. n+1 sowie vn Die Koeffizienten cn,j , 1 ≤ j ≤ n, der Einschritt–Vorhersage X erh¨alt man rekursiv aus den folgenden Gleichungen. Es wird dabei stets vorur alle vorkommenden i, j bekannt ist. Zun¨achst ausgesetzt, dass Xi , Xj  f¨ folgt aus (4.8) direkt cn,n = Xn+1 , X1  · X1 , X1 −1 ,

∀ n ≥ 1.

(4.10)

Die Rekursion selbst verwendet f¨ ur n ≥ 2 und 1 ≤ k ≤ n − 1 die unten verifizierten Beziehungen

68

4 Lineare Vorhersage bei endlicher Vergangenheit k−1  
cn,n−k = Xn+1 , Xk+1  − cn,n−j · vj · cTk,k−j vk−1 j=0

vn = Xn+1 , Xn+1  −

n−1


(4.11)

cn,n−j · vj · cTn,n−j .

j=0

Man erh¨ alt dann aus (4.10) und (4.11) nacheinander die Werte v0 ;

c1,1 , v1 ;

c2,2 , c2,1 , v2 ;

c3,3 , c3,2 , c3,1 , v3 ;

. . . usw.

Bemerkung 4.2 (Zur multivariaten Schreibweise) Obwohl die Koeffizienten cn,j hier reelle Zahlen sind, haben wir ein Transpo¨ niertzeichen eingef¨ ugt. Der Grund ist, dass eine analoge Uberlegung in Kapitel 15 f¨ ur multivariate Zeitreihen durchgef¨ uhrt wird. Dann werden die cn,j Matrizen sein. Auch den folgenden Nachweis haben wir so geschrieben, dass er ¨ im multivariaten Fall ohne Anderung g¨ ultig bleibt.   Zum Nachweis von (4.11) verwenden wir (4.8) f¨ ur 1 ≤ k ≤ n − 1 und n ≥ 2 (mit j = n − k). Es gilt cn,n−k vk = Xn+1 , Yk+1  k+1  = Xn+1 , Xk+1  − Xn+1 , X = Xn+1 , Xk+1  − Xn+1 ,

k


ck,j Yk+1−j 

j=1

= Xn+1 , Xk+1  −

k


Xn+1 , Yk+1−j  · cTk,j

j=1

= Xn+1 , Xk+1  −

k−1


Xn+1 , Yj+1  · cTk,k−j

j=0

= Xn+1 , Xk+1  −

k−1


cn,n−j · vj · cTk,k−j ,

j=0

wobei f¨ ur die letzte Gleichung die Aussage (4.8) mit j ersetzt durch n − j angewendet wurde. Die obige Rechnung liefert die erste Gleichung in (4.11). n+1 + Yn+1 folgt n+1 und Yn+1 und Xn+1 = X Aus der Orthogonalit¨ at von X   die Gleichung vn = Xn+1 , Xn+1  − Xn+1 , Xn+1  und schließlich mit (4.7) die zweite Gleichung in (4.11). ((h) Die h–Schritt–Vorhersage X n+h Bezeichnet Pn den Projektionsoperator auf Hn , so folgt wegen Pn Pn+h−1 = Pn (die Iterationseigenschaft von Projektionen)

4.2 Die Levinson–Rekursion

69

 (h) = Pn Xn+h X n+h n+h = Pn Pn+h−1 Xn+h = Pn X n+h−1 
 = Pn cn+h−1,j Yn+h−j j=1 n+h−1


=

cn+h−1,j Yn+h−j ,

j=h

ur k > n, also Pn Yk = 0 f¨ ur k > n. Es folgt wegen Yk ⊥ Hn f¨  (h) = X n+h

n+h−1


  n+h−j cn+h−1,j Xn+h−j − X

(4.12)

j=h

und somit f¨ ur den quadratischen h–Schritt–Vorhersagefehler  (h) 2 = Xn+h 2 − X  (h) 2 Xn+h − X n+h n+h = Xn+h 2 −

n+h−1


c2n+h−1,j · vn+h−j .

(4.13)

j=h

W¨ahrend es f¨ ur die gerade behandelte Gram–Schmidt–Orthogonalisierung keine Rolle spielt, ob die Zeitreihe X = (Xt : t ∈ Z) station¨ar ist, wird bei der nun zu betrachtenden Rekursion nach Levinson (1947) ausgiebig von der Stationarit¨ at der zugrunde liegenden Zeitreihe Gebrauch gemacht werden.

4.2 Die Levinson–Rekursion Wir verwenden dieselben Bezeichnungen wie bei der Gram–Schmidt–Rekursion und machen zus¨ atzlich die Stationarit¨ atsannahme, dass das Skalarprodukt

Xi , Xj  = EXi Xj =γ (|i − j|) nur vom Abstand |i − j| abh¨angt. Die Vektoangig im reellen Hilbertraum H. Pn sei der ren X1 , X2 , . . . seien linear unabh¨ Projektionsoperator auf Hn = span {X1 , . . . , Xn }. n+1 = Pn Xn+1 als LinearkombiWir wollen nun die Einschritt–Vorhersage X aß nation der X1 , . . . , Xn darstellen gem¨ n+1 = dn,1 Xn + · · · + dn,n X1 , X

∀n ≥ 1.

(4.14)

Den quadratischen (Einschritt–) Vorhersagefehler bezeichnen wir wie oben mit

70

4 Lineare Vorhersage bei endlicher Vergangenheit

n+1 ||2 vn = ||Xn+1 − X ⎞ ⎛ n
= E ⎝Xn+1 − dn,j Xn+1−j ⎠ Xn+1

(4.15)

j=1

−

n


  n+1 Xn+1−h dn,h E Xn+1 − X

h=1

= γ(0) −

n


dn,j γ(j) ,

∀n ≥ 1,

j=1

n+1 ) ∀ h = 1, . . . , n . Mit d1,1 = γ (1) /γ (0) und da Xn+1−h ⊥ (Xn+1 − X v0 = γ (0) gilt die Levinson–Rekursion n−1  
−1 dn,n = γ(n) − dn−1,j γ(n − j) · vn−1 ,

(4.16)

j=1

dn,j = dn−1,j − dn,n · dn−1,n−j ,

1 ≤ j ≤ n − 1,

(4.17)

und   2 vn = vn−1 1 − dn,n .

(4.18)

Man berechnet damit rekursiv v0 ;

d1,1 , v1 ;

d2,2 , d2,1 , v2 ;

d3,3 , d3,2 , d3,1 , v3 ;

. . . usw.

Um die G¨ ultigkeit der Levinson-Rekursion einzusehen, folgen wir der Darstellung von Brockwell/Davis (1991) und zerlegen Hn = span {X1 , . . . , Xn } in die zueinander orthogonalen Teilr¨ aume K1 = span {X2 , . . . , Xn } und K2 = span {X1 − PK1 X1 }, also Hn = K1 ⊕ K2 , wobei PKi die Projektion auf Ki bedeutet. Es gilt dann n+1 = PK Xn+1 + PK Xn+1 X 1 2 = PK1 Xn+1 + a (X1 − PK1 X1 )

(4.19)

mit a=

Xn+1 , X1 − PK1 X1  . X1 − PK1 X1 2

(4.20)

F¨ ur die Vektoren (Z1 , . . . , Zn ) := (X2 , . . . , Xn+1 ) gilt wegen der Stationarit¨atsannahme Zi , Zj  = Xi+1 , Xj+1  = Xi , Xj , 1 ≤ i, j ≤ n, und deshalb PK1 Xn+1 =

n−1
j=1

dn−1,j Zn−j =

n−1
j=1

dn−1,j Xn+1−j .

(4.21)

4.2 Die Levinson–Rekursion

71

Entsprechend gilt f¨ ur (Z1 , . . . , Zn ) := (Xn , . . . , X1 ) die Beziehung Zi , Zj  =

Xn+1−i , Xn+1−j  = Xi , Xj  und folglich P K1 X 1 =

n−1


n−j = dn−1,j Z

j=1

n−1


dn−1,j Xj+1 .

(4.22)

j=1

Weiter gilt offenbar vn−1 = X1 − PK1 X1 2 = Xn+1 − PK1 Xn+1 2 n 2 . = Xn − X

(4.23)

Einsetzen von (4.21) und (4.22) in (4.19) liefert n+1 = aX1 + X

n−1


(dn−1,j − a dn−1,n−j ) Xn−j+1 .

(4.24)

j=1

Aus (4.20), (4.22) und (4.23) ergibt sich weiter n−1  
dn−1,j Xn+1 , Xj+1  · a = Xn+1 , X1  − j=1 n−1  
= γ (n) − dn−1,j γ (n − j) · j=1

1 vn−1

1 vn−1

(4.25)

.

Da die Vektoren X1 , . . . , Xn linear unabh¨ angig sind, sind die Koeffizienten dn,j in (4.14) eindeutig bestimmt. Es folgt also aus (4.24) und (4.14) durch Koeffizientenvergleich dn,n = a und damit sowohl (4.16) als auch (4.17). Nun zu (4.18): vn = Xn+1 − Pn Xn+1 2 = Xn+1 − PK1 Xn+1 − PK2 Xn+1 2

= Xn+1 − PK1 Xn+1 2 + PK2 Xn+1 2 − 2 Xn+1 − PK1 Xn+1 , PK2 Xn+1  = vn−1 − PK2 Xn+1 2 = vn−1 − (X1 − PK1 X1 ) · a 2   = vn−1 − vn−1 a2 = vn−1 1 − d2n,n .

Mit (4.16)–(4.18) steht dem Anwender eine sehr effiziente rekursive Methode zur Berechnung linearer Vorhersagen bei station¨aren Zeitreihen zur Verf¨ ugung. Aus (4.20), (4.23) und PK1 Xn+1 ⊥ X1 − PK1 X1 folgt

Xn+1 , X1 − PK1 X1  X1 − PK1 X1 2

Xn+1 − PK1 Xn+1 , X1 − PK1 X1  . = Xn+1 − PK1 Xn+1 · X1 − PK1 X1

dn,n =

(4.26)

72

4 Lineare Vorhersage bei endlicher Vergangenheit

Im Fall H = LR aren, reellen und zentrierten Zeitreihe 2 und einer station¨ X = (Xt : t ∈ Z) ist der letzte Ausdruck in (4.26) gerade die Korrelation von Xn+1 − PK1 Xn+1 und X1 − PK1 X1 , also die Korrelation der Anteile von Xn+1 und X1 , die senkrecht auf K1 = span {X2 , . . . , Xn } stehen. Man spricht auch von der Korrelation von X1 und Xn+1 nach (linearer) Beseitigung des Einflusses der zwischenzeitlichen Beobachtungen. Nach Definition 2.17 ist dies aber gerade die partielle Autokorrelation π(n), sodass wir als Nebenprodukt der Levinson–Rekursion nunmehr den zur¨ uckgestellten Beweis f¨ ur (2.39), also f¨ ur π(n) = dn,n ,

∀n ≥ 2,

(4.27)

erbracht haben. Wie schon in Kapitel 2 besprochen, erh¨alt man eine Stichprobenversion π  (n) von π (n), die empirische partielle Autokorrelation dadurch, dass man in der Levinson–Rekursion γ (h) durch die Stichprobenautokovarianz γ (h), siehe (2.29), ersetzt und π  (n) dann gleich dem berechneten Wert  dn,n setzt.

Aufgaben Aufgabe 4.1 Gegeben sei der Prozess X = (Xt : t ∈ N0 ) mit Xt = Xt−1 + et + (α − 1)et−1 , t ≥ 1, X0 := e0 , wobei α ∈ R und et , t ∈ N0 , stochastisch unabh¨angige, reelle, zentrierte, quadratintegrable Zufallsvariable seien. Man berechne f¨ ur s > t die optimale Vorhersage Pt Xs := E(Xs |Bt ) (d.h. den bedingten Erwartungswert von Xs gegeben Bt ) f¨ ur Xs mit Bt := σ(Xu , u ≤ t) und zeige f¨ ur s = Ps−1 Xs X die Darstellungen t+1 = αXt + (1 − α)X t , X

t+1 = α X

t


∀t ≥ 1,

(1 − α)j Xt−j .

j=0

Die Methode heißt exponentielles Gl¨ atten, vgl. auch (1.6) und das sp¨atere Beispiel 6.9. Aufgabe 4.2 Sei (Ω, A, Q) ein W–Raum, F eine Teil-σ–Algebra von A. Ist  die Aquivalenzklasse ¨ X eine A − B–messbare, reelle Funktion, so bezeichne X aller A–messbaren Funktionen Y mit X = Y [Q]. Dann ist der Raum LR 2 der

4.2 Die Levinson–Rekursion

73

2  quadratintegrierbaren Funktionen LR 2 = {X : EX < ∞} mit dem Skalarpro   dukt X1 , X2  := EX1 X2 ein reeller Hilbertraum mit Norm · := ·, ·.  := Y , Y = E(X|F). Man art durch P X Auf LR 2 werde ein Operator P erkl¨ ¨ zeige (genau zwischen Aquivalenzklassen und Repr¨asentanten unterscheiden): 2 ) = c · P X 1 + d · P X 2 , c, d ∈ R.  1 + dX a) P (cX R b) P (L2 ) =: L ist ein linearer, abgeschlossener Teilraum in LR 2 ; es gilt außer ≤ X .  dem P X 2  = X 1 , P X 2  1 , P X c) P X   d) P P X = P X 2 − P X 2  = 0 1 , X e) P X  − Y = inf{ X  − Z  : Z  ∈ L} genau dann, wenn f) F¨ ur Y ∈ L gilt X  Y = P X.  =X  gilt genau dann, wenn X  ∈ L. g) P X

Aufgabe 4.3 Sei X = (X(t) : t ∈ T ), T = ∅, ein reeller, zentrierter Gauß– ¨ Prozess. F¨ ur eine Zufallsvariable Y bezeichne Y wieder die zugeh¨orige Aquivalenzklasse aller mit Y f.s. u ¨bereinstimmenden ZV. Man zeige  E(X(t)|BS ) = E2 (X(t)|L S ), t ∈ T, S ⊂ T. s : Dabei ist BS die von den X(s), s ∈ S, erzeugte σ–Algebra und LS = span{X R R  s ∈ S} im reellen Hilbertraum L2 = L2 (Ω, A, P ) und E2 (Y |LS ) die Projektion von Y auf LS . Hinweis (ist auch zu zeigen): Bei gemeinsam normalverteilten ZV X, Y mit EX = EY = 0 gilt: EXY = 0 ⇔ X und Y sind stochastisch unabh¨angig. Aufgabe 4.4 (Die lineare Vorhersage ist nicht optimal) Seien X, Z i.i.d. ∼ N (0, 1). Man zeige f¨ ur Y := X 2 + Z und den bedingten Erwartungswert E(Y |X) die Gleichung E(Y |X) = X 2 .

(4.28)

Weiter zeige man f¨ ur V = span{1, X} PV (Y ) =: Y  = 1 ,

(4.29)

wobei PV (Y ) die Projektion von Y auf den Teilraum V in LR 2 bezeichne. Man zeige außerdem f¨ ur die Vorhersagefehler

und

E(Y − E(Y |X))2 = 1

(4.30)

E(Y − Y  )2 = 3 .

(4.31)

Aufgabe 4.5 Gegeben seien drei quadratintegrierbare, zentrierte, reelle Zufallsvariable U1 , U2 , U3 auf einem Wahrscheinlichkeitsraum (Ω, A, P ) mit

74

4 Lineare Vorhersage bei endlicher Vergangenheit

⎞ 1 4 5 = ⎝ 4 17 23 ⎠ . 5 23 35 ⎛

(Cov(Ui , Uj ))i,j=1,...,3

Man bestimme mit dem Gram–Schmidt–Orthogonalisierungsverfahren unkor2 , U 3 mit span{U 1 } = span{U1 }, span{U 1 , U 2 } = 1 , U relierte Zufallsvariable U    span{U1 , U2 } und span{U1 , U2 , U3 } = span{U1 , U2 , U3 }.

5 Der Spektralsatz fu are Zeitreihen ¨ r station¨

In diesem Kapitel werden wir den Spektralsatz f¨ ur station¨are Zeitreihen formulieren und beweisen. F¨ ur zyklische Zeitreihen, die wir in Definition 2.9 bereits eingef¨ uhrt haben und im ersten Abschnitt dieses Kapitels erneut aufgreifen, k¨ onnen wir die Aussage des Spektralsatzes, n¨amlich die Darstellung ¨ einer station¨ aren Zeitreihe als Uberlagerung von Schwingungen mit stochastischen Amplituden, besonders gut deutlich machen. Die wesentliche Idee der Formalisierung einer solchen Darstellung f¨ ur beliebige station¨are Zeitreihen ist die Herstellung einer Isometrie, d.h. einer linearen, bijektiven und Skalarprodukt erhaltenden Abbildung zwischen dem Raum der quadratintegrierbaren Funktionen auf (−π, π] (versehen mit dem Spektralmaß der gegebenen station¨ aren Zeitreihe) und dem von der Zeitreihe selbst aufgespannten Teilraum der quadratintegrierbaren Zufallsvariablen. Wir werden in Lemma 5.5 sehen, dass unabh¨ angig vom Maß der Raum der diesbez¨ uglich quadratintegrierbaren Funktionen auf (−π, π] durch die Abbildungen eit· : ω → eitω , t ∈ Z, aufgespannt wird. Die angesprochene Isometrie kann dann durch die Zuordnung eit· → Xt , t ∈ Z, realisiert werden. Es wird sich zeigen, dass die Zuordnungsvorschrift die Eigenschaften eines Integrals besitzt, so dass wir Xt in gewisser Weise als Integral u ¨ber eitω in der Variablen ω auffassen k¨onnen. Allerdings sind die Werte dieser stochastischen Integration Zufallsvariable, so dass wir in Abschnitt 5.2 noch eine Reihe von Schritten zu pr¨azisieren haben. Der Spektralsatz selbst wird dann der Inhalt von Abschnitt 5.3 sein und eine f¨ ur sp¨ater sehr wichtige Substitutionsregel f¨ ur stochastische Integrale (Abschnitt 5.4) schließt dieses Kapitel ab. Man mag sich an dieser Stelle fragen, warum hier grunds¨atzlich nur von Frequenzen ω aus dem Intervall (−π, π] die Rede ist. Der Grund hierf¨ ur liegt in ur jedes t ∈ Z . der 2π–Periodizit¨ at der Funktionen ω → eitω f¨

5.1 Die Spektraldarstellung zyklischer Zeitreihen In Kapitel 2 hatten wir das zyklische Modell

76

5 Der Spektralsatz f¨ ur station¨ are Zeitreihen

Xt =

M


(e1j cos ωj t + e2j sin ωj t) ,

∀t ∈ Z,

(5.1)

j=1

kennen gelernt. Dort wurden e1j und e2j , j = 1, 2, . . . , M, als zentrierte, quadratintegrierbare und unkorrelierte reelle Zufallsvariable angenommen und ωj bezeichneten feste Kreisfrequenzen, die aufgrund der 2π–Periodizit¨at von cos(ωt) und sin(ωt) f¨ ur jedes t ∈ Z aus (−π, π] angenommen werden k¨onnen, andern. ohne den Wert von Xt zu ver¨

10 8 6 4 2 0 −2 −4 −6 −8 −10 0

50

100

150

200

250

300

Abb. 5.1 Simulation einer zyklischen Zeitreihe (gepunktet) mit M = 2 und origen Amplituden Frequenzen ω1 = 0.06, ω2 = 0.4 sowie Varianzen der zugeh¨ σ12 = 9 bzw. σ22 = 1 (vgl. (5.1)) und die beiden Schwingungsanteile getrennt (duchgezogen)

Beispiel 5.1 (Zyklische Zeitreihe) Mit M = 2 und den Frequenzen ω1 = 0.06 und ω2 = 0.4 werde die zyklische Zeitreihe (5.1) betrachtet. Die zuf¨ alligen Amplituden ekj seien unabh¨angig und normalverteilt mit Erwartungswert Null und Varianzen Ee211 = Ee221 = 9 sowie Ee212 = Ee222 = 1 . Eine Realisierung dieser speziellen zyklischen Zeitrei¨ he ist in Abbildung 5.1 gegeben. Man erkennt sehr deutlich die Uberlagerung der beiden unterschiedlichen Schwingungsanteile und auch deren unterschiedliche Intensit¨ at, die proportional zur Varianz der zuf¨alligen Amplituden ist.   F¨ ur die weitere Diskussion der allgemeinen zyklischen Zeitreihe l¨asst sich (5.1) in eine wesentlich elegantere komplexe Form umschreiben. Unter Beachtung

5.1 Die Spektraldarstellung zyklischer Zeitreihen

77

der Identit¨ at e1 cos α + e2 sin α =

1 1 (e1 − ie2 ) eiα + (e1 + ie2 ) e−iα 2 2

(5.2)

erh¨alt man n¨ amlich mit Zj := (e1j − ie2j ) /2 , j = 1, 2, . . . , M, Z−j := Z j , Z0 := 0 sowie ω−j := −ωj und ω0 := 0 die zu (5.1) a¨quivalente Darstellung Xt =




Zj eiωj t ,

∀t ∈ Z,

(5.3)

j∈J

mit J = {−M, −M + 1, . . . , M } . Man rechnet leicht nach, dass die Zufallsvariablen Zj , j ∈ J, aufgrund der Voraussetzungen an die e1j , e2j , j ∈ J , ebenfalls zentrierte und unkorrelierte, nun aber komplexwertige, Zufallsvariable sind (siehe Aufgabe 5.1). Fasst man die endliche Summe in (5.3) in formaler Analogie zur u ¨blichen Integration bzgl. reellwertiger Maße nun als Integral“ bzgl. eines diskreten ” ” Maßes“ Z u agerpunkten ωj , j ∈ J , und zufallswertiger ¨ber (−π, π] mit Tr¨ ” achst rein formal – als Integral Masse“ Zj auf ωj auf, so kann man (5.3) – zun¨ % Xt =

eitω Z (d ω)

(5.4)

(−π,π]

schreiben. F¨ ur eine  Borel–Menge B ⊂ (−π, π] wird man dann ihr Maß“ unter Z als ” Z (B) = j∈J 1B (ωj ) Zj setzen. Z(B) ist dann offensichtlich eine zentrierte Zufallsvariable, genauer ein Element des Teilraumes span{Zj : j ∈ J} von C LC 2 . Das ”Maß“ Z nimmt also Werte in L2 an. Die Unkorreliertheit der Zj impliziert, dass f¨ ur disjunkte Mengen B1 und B2 die Bildwerte Z(B1 ) und Z(B2 ) auch unkorreliert sind, was zusammen mit ihrer Zentriertheit gerade bedeutet, dass sie im Raum LC 2 zueinander orthogonal sind. Die Darstellung (5.3) bzw. in formaler Analogie auch (5.4) bezeichnet man als Spektraldarstellung der zyklischen Zeitreihe X = (Xt : t ∈ Z) . Da alle Zufallsvariablen Zj , wie auch alle Z(B), zentriert sind, quantifizieren wir das Gewicht der Schwingung mit Frequenz ωj in der Darstellung (5.3) durch die Varianz  der Zufallsvariablen Zj . Ersetzen wir nun in der Darstellung Z(B) = j∈J 1B (ωj )Zj die Zufallsvariablen Zj durch die Varianzen dieser Zufallsvariablen, so erhalten wir das diskrete Spektralmaß µ der zyklischen Zeitreihe (vgl. Beispiel 3.6 f¨ ur den Fall M = 1 und das sp¨atere Beispiel 5.9). Auf diesen Zusammenhang zwischen Spektraldarstellung einer zyklischen ¨ Zeitreihe als Uberlagerung von Schwingungen mit stochastischen Amplituden (repr¨asentiert durch das zufallswertige Maß“ Z) und dem Spektralmaß als ” Varianz des Maßes“ Z sei besonders hingewiesen. ” Unser Ziel im Folgenden ist es, eine Darstellung (5.4) (den sog. Spektralsatz)

78

5 Der Spektralsatz f¨ ur station¨ are Zeitreihen

f¨ ur alle zentrierten, station¨ aren (komplex– oder reellwertigen) Zeitreihen herzuleiten, wobei dann u ahlbar viele Kreisfrequenzen ω zugelassen werden ¨berabz¨ ¨ m¨ ussen. Der Ubergang von Integralen bzgl. diskreter Maße“ zu allgemeinen ” Maßen“ ist in unserem Zusammenhang ¨ ahnlich demjenigen in der u ¨blichen ” Integrationstheorie f¨ ur reellwertige Maße. Auch werden wir den Zusammenhang der Spektraldarstellung mit dem Spektralmaß f¨ ur die allgemeine Situation herstellen. Bevor wir soweit sind, m¨ ussen wir aber im folgenden Abschnitt einige Begriffsbildungen pr¨ azisieren.

5.2 Maße mit orthogonalen Werten und ein stochastisches Integral In diesem Abschnitt wollen wir pr¨ azisieren, was wir unter Maßen mit Zufallsvariablen als Werten verstehen wollen und wie bez¨ uglich dieser Maße integriert werden kann. In der folgenden allgemeinen Definition 5.2 erlauben wir f¨ ur die Maße sogar Werte in einem beliebigen Hilbertraum (H, ·, ·) . Der uns haupts¨ achlich interessierende Fall wird aber der Raum H = LC 2 (Ω, A, P ) der quadratintegrierbaren Zufallsvariablen sein. Definition 5.2 (Maß mit orthogonalen Werten (MOW)) Ein Maß mit orthogonalen Werten (MOW) Z u ¨ber einem Messraum (X , B) ist eine Abbildung Z : B → H in einen Hilbertraum (H, ·, ·) mit der Eigenschaft, dass die durch µZ (B) := ||Z(B)||2 ,

∀B ∈ B,

(5.5)

definierte Mengenfunktion µZ ein (notwendigerweise endliches) Maß u ¨ber (X , B) ist mit der Eigenschaft

Z (B1 ) , Z (B2 ) = µZ (B1 ∩ B2 ) ,

∀ B1 , B2 ∈ B .

(5.6)

Offenbar folgt aus (5.6) Z (B1 ) ⊥ Z (B2 )

falls

µZ (B1 ∩ B2 ) = 0,

(5.7)

was den Zusatz mit orthogonalen Werten“ erkl¨ art. ” Von einem Maß erwartet man eine Art von σ–Additivit¨at, also f¨ ur paarweise disjunkte Mengen Bj ∈ B die G¨ ultigkeit der Gleichheit Z

∞ 
j=1

∞ 
Bj = Z (Bj ) ,

(5.8)

j=1

 wobei, wie u “ und +“ bei Mengen deren Ver¨blich, die Summenzeichen ” ” einigung bedeuten, falls diese paarweise disjunkt sind.

5.2 Maße mit orthogonalen Werten und ein stochastisches Integral

79

Tats¨achlich folgt (5.8) schon aus (5.6). Es gilt n¨ amlich mit Y := Z (B1 + B2 )− Z (B1 ) − Z (B2 ) unter Verwendung von (5.6) die Gleichung Y, Y  = 0, also Y = 0. Dies ist (5.8) f¨ ur zwei Mengen, woraus die Aussage dann auch f¨ ur endlich viele Mengen (endliche Additivit¨ at) mit vollst¨andiger Induktion folgt. Insbesondere erh¨ alt man Z

∞ 


n ∞ 

 Bj = Z (Bj ) + Z Bj .

j=1

j=1

j=n+1

Gem¨aß ∞ ∞ ) 
)2 
 ) ) ur n → ∞ Bj ) = µZ Bj −→ 0 f¨ )Z j=n+1

j=n+1

folgt hieraus (5.8). Der Spektralsatz f¨ ur Zeitreihen ergibt sich nun im Wesentlichen aus einem allgemeinen Isometriesatz f¨ ur Hilbertr¨ aume. Wir werden diesen Isometriesatz angeben und auch beweisen. Dazu ben¨ otigen wir einige Bezeichnungen. F¨ ur einen Hilbertraum (H, ·, ·) sei {u (t) : t ∈ T } eine Familie von Elementen aus H, indiziert mit einer beliebigen Indexmenge T . span {u (t) : t ∈ T } bezeichne den von {u (t) : t ∈ T } aufgespannten linearen Teil–Hilbertraum, d.h. die abgeschlossene H¨ ulle des erzeugten Vektorraums span {u (t) : t ∈ T } :=

n &


' ci u (ti ) : ci ∈ C, ti ∈ T , n ∈ N .

i=1

Dann gilt das folgende Resultat. Satz 5.3 (Isometriesatz) aume, T eine beliebige Indexmenge, Seien (Hi , ·, ·i ) , i = 1, 2, zwei Hilbertr¨ und es gelte H1 = span {u (t) : t ∈ T } , H2 = span {v (t) : t ∈ T } , sowie

u (s) , u (t)1 = v (s) , v (t)2 ,

∀ s, t ∈ T.

(5.9)

Dann gibt es eine lineare, bijektive Abbildung ψ : H1 → H2 , die Skalarprodukt erhaltend ist, d.h. mit

x, y1 = ψ(x), ψ(y)2 ,

∀ x, y ∈ H1 ,

(5.10)

eine sog. Isometrie, die jedes Element u (t) in v (t) u uhrt, d.h. ¨berf¨ ψ (u (t)) = v (t) ,

∀ t ∈ T.

Die Isometrie ψ ist durch (5.11) eindeutig festgelegt.

(5.11)

80

5 Der Spektralsatz f¨ ur station¨ are Zeitreihen





n = i=1 ci v (ti ). Dann ist ψ wohln definiert auf span{u(t) : t ∈ T }, denn aus i=1 ci u (ti ) = 0 folgt

Beweis: Man definiere ψ

n i=1 ci u (ti )

)2
)

) ) ci v (ti ) ) = ci cj v (ti ) , v (tj )2 = ci cj u (ti ) , u (tj )1 ) i

2

i,j

)
)2 ) ) =) ci u (ti ) ) = 0 ,

i,j

1

i

also n


ci v (ti ) = 0 .

i=1

Offenbar ist ψ auch linear auf span {u (t) : t ∈ T } und dort wegen einer analogen Rechnung wie oben ebenfalls Skalarprodukt erhaltend:

x, y1 = ψ(x), ψ(y)2

∀ x, y ∈ span {u (t) : t ∈ T } .

(5.12)

Aus (5.12) folgt, dass jede Cauchy–Folge (un ) in span {u (t) : t ∈ T } in eine Cauchy–Folge in span {v (t) : t ∈ T } transformiert wird, und es gilt lim un = 0 ⇔ lim ψ(un ) = 0

n→∞

n→∞

(5.13)

ur u = limn→∞ un den Wert wegen un 1 = ψ(un ) 2 . Definiert man also f¨ ψ(u) durch ψ(u) := limn→∞ ψ(un ), so ist ψ (u) wegen (5.13) wohldefiniert, und es gilt f¨ ur x, y ∈ H1 mit xn → x, yn → y, xn , yn ∈ span {u (t) : t ∈ T } unter Verwendung der Stetigkeit des inneren Produkts in beiden Komponenten, siehe Satz A.9

x, y1 = lim xn , yn 1 = lim ψ(xn ), ψ(yn )2 = ψ(x), ψ(y)2 . n→∞

n→∞

Ebenso u agt sich die Linearit¨ at von ψ unmittelbar von span {u (t) : t ∈ T } ¨bertr¨   auf span {u (t) : t ∈ T }. Wir wollen # nun, ausgehend von einem MOW Z (vgl.C Definition 5.2), das Integral f dZ definieren. Dabei bezeichnet LC 2 (µ) := L2 (X , B, µ) den Raum der komplexen und quadratintegrierbaren Funktionen auf einem Maßraum (X , B, µ) . Lemma 5.4 Sei (X , B, µ) ein endlicher Maßraum und (H0 , ·, ·) ein Hilbertraum. a) Ist ein MOW Z : B → H0 gegeben mit HZ := span {Z (B) : B ∈ B} = H0 und µZ = µ , so wird durch Z (B) = ψ (1B ) ,

∀B ∈ B,

(5.14)

5.2 Maße mit orthogonalen Werten und ein stochastisches Integral

81

eine Isometrie ψ ψ : LC 2 (µ) → H0 .

(5.15)

eindeutig definiert. b) Ist umgekehrt ψ eine Isometrie wie in (5.15), so wird durch die Gleichung (5.14) ein MOW Z : B → H0 definiert mit HZ = H0 und µZ = µ . Beweis: a) Ist Z ein MOW mit µZ = µ und HZ = H0 , so gilt f¨ ur B1 , B2 ∈ B %

1B1 , 1B2 µ = 1B1 · 1B2 dµ = µ (B1 ∩ B2 ) = Z (B1 ) , Z (B2 ). (5.16)   Da die Indikatoren {1B : B ∈ B} den Hilbertraum LC 2 (µ) , ·, ·µ aufspannen, bestimmt die Zuordnung 1B → Z (B) nach Satz 5.2 genau eine Isometrie ψ. b) Ist nun umgekehrt ψ eine Isometrie und Z durch (5.14) definiert, so ist Z ein MOW mit µZ = µ und HZ = H0 , denn (5.6) gilt wegen

Z (B1 ) , Z (B2 ) = ψ (1B1 ) , ψ (1B2 ) = 1B1 , 1B2 µ = µ (B1 ∩ B2 ) .   Jede Isometrie ψ : LC aß (5.14) die Fortsetzung“ 2 (µ) → H0 ist also gem¨ ” eines MOW´s Z von den Mengen B, d.h. von den Indikatorfunktionen 1B , C auf den vollen Raum L2 (µ). Wegen (5.14) gibt es nur ein einziges MOW Z, welches zu ψ geh¨ort. Eine Isometrie ψ mit zugeh¨origem MOW Z besitzt die Eigenschaften eines Integrals (siehe die unten stehenden Rechenregeln). Deshalb schreibt man intuitiver % % ∀ f ∈ LC (5.17) ψ (f ) =: f (x) Z (dx) =: f dZ , 2 (µZ ) , X

#

und nennt ψ (·) = · dZ ein stochastisches Integral bzgl. Z. # Zugegebenerweise ist diese Definition von f dZ nicht besonders anschaulich. Ein großer Vorteil der Definition u ¨ber eine Isometrie ψ ist allerdings, dass wir die gesamten Eigenschaften der Isometrien ohne weiteren Aufwand direkt zu Rechenregeln des stochastischen #Integrals umformulieren k¨onnen. So folgen aus der Isometrieeigenschaft von f dZ = ψ(f ) unmittelbar die nachstehenden Rechenregeln f¨ ur alle a, b ∈ C, B ∈ B, f, g, fn ∈ LC 2 (X , B, µZ ) und n → ∞

82

5 Der Spektralsatz f¨ ur station¨ are Zeitreihen

% 1B dZ = Z (B) %

(5.18) %

%

(af + bg) dZ = a

f dZ + b g dZ % % C fn → f in L2 (X , B, µZ ) ⇔ fn dZ → f dZ in HZ % *% + % f dZ, g dZ = f g dµZ )2 %   )% 2 ) ) ) f dZ ) = f  dµZ % % f = g ⇔ f dZ = g dZ .

(5.19) (5.20) (5.21) (5.22) (5.23)

Die R¨ uckrichtungen in (5.20) und (5.23) sind eine Spezialit¨at des hier eingef¨ uhrten Integrals. Sie sind Ausdruck der Isometrieeigenschaft von ψ . Bekanntlich gelten derartige Aussagen f¨ ur das u ¨bliche Maßintegral nicht. An dieser Stelle wollen wir das stochastische Integral mit der abstrakten, aber f¨ ur die sp¨ atere Anwendung sehr schlagkr¨ aftigen, Definition (5.17) zun¨achst stehen lassen. Im Anschluss an den Spektralsatz werden wir eine Verst¨andnis– und Interpretationshilfe f¨ ur den uns speziell interessierenden Fall (X , B) = ((−π, π] , (−π, π] ∩ B) und H0 = span {Xt : t ∈ Z} ⊂ LC 2 (Ω, A, P ) in Form einer Art Riemann–Approximation angeben. Sp¨ater ben¨ otigen wir noch die folgende hilfreiche Aussage. Lemma 5.5 Ist µ ein endliches Maß u ¨ber (X , B) = ((−π, π] , (−π, π] ∩ B), so gilt  it·  C LC :t∈Z 2 (µ) := L2 (X , B, µ) = span e

(5.24)

mit den Exponentialfunktionen eit· : (−π, π] → C, ω → eitω . Beweis: Die Inklusion ⊃“ ist trivial. F¨ ur die umgekehrte Richtung be” nutzen wir die Tatsache, dass sich jede stetige Funktion f auf (−π, π] mit f (−π) = f (π) gleichm¨ aßig, also in der sup–Norm, durch ein trigonomeN int approximieren l¨asst, siehe Rudin trisches Polynom P (t) = n=−N cn e (1970), Theorem 4.25. Wegen %

     f − P 2 dµ ≤ µ (−π, π] · sup2 f (t) − P (t)  : −π ≤ t ≤ π

(−π,π]

ist dies auch eine Approximation in LC 2 (µ). Weiter gibt es zu jeder stetigen und beschr¨ ankten Funktion g auf (−π, π] eine stetige Funktion f auf [−π, π] mit f (−π) = f (π) derart, dass der LC 2 (µ)–Abstand von g und f beliebig klein wird. Dazu definiere man f¨ ur −π < s < π eine lineare Funktion fs auf

5.3 Der Spektralsatz

83

(−π, s] mit fs (−π) = g (π) , fs (s) = g (s) und setze fs = g auf (s, π]. F¨ ur s → −π wird dann wegen der Endlichkeit von µ der LC 2 (µ)-Abstand von fs und g beliebig klein. Ber¨ ucksichtigt man nun noch, dass die stetigen und beschr¨ankten Funktionen in LC 2 (µ) dicht liegen, siehe Dunford/Schwartz (1957), Lemma IV 8.19, so folgt daraus die Behauptung.   Bemerkung 5.6 Anstelle des Zitats aus Dunford/Schwartz (1957) kann man auch direkt argumentieren. Siehe dazu Aufgabe 5.1.  

5.3 Der Spektralsatz Nun k¨ onnen wir den angek¨ undigten Spektralsatz formulieren und beweisen. Satz 5.7 (Spektralsatz) Sei X = (Xt : t ∈ Z) eine station¨ are und zentrierte Zeitreihe mit Kovarianzfunktion γ : Z → C und zugeh¨ origem Spektralmaß µ, d.h. %

eitω µ (d ω) ,

γ (t) =

∀t ∈ Z.

(5.25)

(−π,π]

Dann definiert die Abbildung eit· → Xt ,

∀t ∈ Z,

(5.26)

C C eine Isometrie ψ : LC 2 (µ) → span {Xt : t ∈ Z} ⊂ L2 (Ω, A, P ) , wobei L2 (µ) = C aß (5.14) L2 (X , B, µ) mit X = (−π, π] und B = X ∩ B ist. Ist Z das gem¨ zu ψ korrespondierende MOW, also Z (B) = ψ (1B ), so gilt µZ = µ, HZ = span {Z (B) : B ∈ B} = span {Xt : t ∈ Z} sowie

% ψ (f ) =

f dZ ,

∀ f ∈ LC 2 (µ) .

(5.27)

(−π,π]

Insbesondere gilt also % Xt =

eitω Z (d ω) ,

∀t ∈ Z.

(5.28)

(−π,π]

Z ist durch (5.28) und die Forderung µZ = µ eindeutig bestimmt. Beweis: Mit dem u ¨blichen inneren Produkt ·, ·µ in LC 2 (µ) und ·, · in C L2 (Ω, A, P ) gilt nach (5.25)

84

5 Der Spektralsatz f¨ ur station¨ are Zeitreihen is·

it·

%

e , e µ =

eisω e−itω µ (d ω) = γ (s − t)

= Xs , Xt  ,

(5.29)

∀ s, t ∈ Z .

Wegen Lemma 5.5 ist der Isometriesatz auf die R¨aume LC 2 (µ) und span{Xt : t ∈ Z} anwendbar. Damit ist ψ eine Isometrie. Bis auf die letzte Eindeutigkeitsaussage folgen nun alle Behauptungen aus Lemma 5.4. Zum Nachweis der Eindeutigkeit seien nun Z1 und Z2 zwei MOW´s, die (5.28) erf¨ ullen. F¨ ur die korrespondierenden Isometrien ψZ1 , ψZ2 folgt deren Gleich  heit zun¨ achst auf eit· : t ∈ Z und dann auch auf LC 2 (µ), woraus wegen (5.14)   sofort Z1 = Z2 folgt. Bemerkung 5.8 # Es sei darauf hingewiesen, dass ψ(f ) = (−π,π] f dZ in (5.27) als Element von span {Xt : t ∈ Z} aufgrund der in Satz 5.7 vorausgesetzten Zentriertheit der Zeitreihe X stets selbst zentrierte Zufallsvariable darstellen.   # Um das stochastische Integral f dZ im Zusammenhang mit dem Spektralsatz besser verstehen und interpretieren zu k¨ onnen, betrachten wir eine Art Riemann–Approximation. Sei dazu Z das zu einer station¨aren und zentrierten orende MOW mit zugeh¨origem Spektralmaß µ. Zeitreihe X = (Xt : t ∈ Z) geh¨ = −π < ω1 < . . . < f sei eine zu integrierende Funktion auf (−π, π] und ω0  n ωn = π eine Folge von Unterteilungspunkten. Falls fn = j=1 f (ωj )1(ωj−1 ,ωj ] C im Raum L2 (µ) gegen f konvergiert (was z.B. dann der Fall ist, wenn f gleichm¨ aßig stetig ist und die maximale Differenz der Unterteilungspunkte # gegen Null konvergiert), dann wird das stochastische Integral f dZ wegen Rechenregel (5.20) – ebenfalls im quadratischen Mittel – approximiert durch die folgende Riemann–Summe % fn dZ =

n


f (ωj )Z ((ωj−1 , ωj ]) .

(5.30)

j=1

Dabei sind die Zufallsvariablen Zj := Z ((ωj−1 , ωj ]) , j = 1, . . . , n , zentriert und wegen (5.7) auch unkorreliert. Wenden wir diese Approximation auf die ¨ speziellen (und im Ubrigen gleichm¨ aßig stetigen) Funktionen eit· an, so erhalten wir unter Beachtung von (5.28) die folgende Approximation an Xt im Sinne der Konvergenz im quadratischen Mittel Xt ≈

n


eitωj Zj .

(5.31)

j=1

Die rechte Seite in (5.31) stellt demnach eine zyklische Zeitreihe, also eine ¨ Uberlagerung von Schwingungen mit Frequenzen ωj , j = 1, . . . , n, dar. Die Intensit¨ at des Schwingungsanteils mit Frequenz ωj , gemessen durch die Varianz der Zufallsvariable Zj , ergibt sich wegen (5.22) zu

5.3 Der Spektralsatz

85

%

) )2 VarZj = E|Zj |2 = ) 1(ωj−1 ,ωj ] dZ ) % = |1(ωj−1 ,ωj ] |2 dµ = µ(ωj−1 , ωj ] .

(5.32)

Die Intensit¨ at des Schwingungsanteils mit Frequenz ωj wird also durch die Masse des Spektralmaßes in der N¨ ahe dieser Frequenz bestimmt. Diese ¨ Uberlegung erlaubt das Spektralmaß bzw. die Spektraldichte dahingehend zu interpretieren, dass die Bereiche im Intervall (−π, π], die eine besonders große Masse bzgl. des Spektralmaßes besitzen, dazu f¨ uhren, dass in der Spektraldar¨ stellung der Zeitreihe als Uberlagerung von Schwingungen den Frequenzen aus diesen Bereichen ein besonders großes Gewicht zukommt. Falls eine Spektraldichte existiert, dann k¨ onnen ausgepr¨ agte Maxima an bestimmten Frequenzen so verstanden werden, dass Realisierungen der Zeitreihe ausgepr¨agte Schwingungsanteile mit diesen Frequenzen widerspiegeln. Dass dies der Fall ist, haben wir in einem konkreten Simulationsbeispiel in Kapitel 3 (vgl. Beispiel 3.13) schon gesehen. Ein Wort der Vorsicht zur Approximation in (5.31) ist angebracht. Trotz Stationarit¨ at gilt diese n¨ amlich im Allgemeinen nicht gleichm¨aßig f¨ ur alle t ur ein festes t. Deshalb mit demselben n und denselben Zj , sondern nur f¨ kann man die approximierende zyklische Zeitreihe auf der rechten Seite in (5.31) auch nicht zur Vorhersage k¨ unftiger Werte der Zeitreihe verwenden. Tats¨achlich k¨ onnen bei zyklischen Zeitreihen, sobald ein gen¨ ugend langer Anfangsabschnitt bekannt ist, alle zuk¨ unftigen Werte exakt berechnet werden. Schon daraus erkennt man, dass sie als Approximation allgemeiner station¨arer Zeitreihen nicht geeignet sein k¨ onnen. ¨ Ausgangspunkt der Uberlegungen zum Spektralsatz war die Summenformel (5.3) f¨ ur das zyklische Modell, die wir im folgenden Beispiel als Spezialfall des Spektralsatzes wiedererkennen werden. Beispiel 5.9 (Zeitreihen mit diskretem Spektralmaß) a) Sei X = (Xt : t ∈ Z) eine zentrierte und station¨are Zeitreihe mit diskretem Spektralmaß µX . Die Tr¨ agerpunkte von µX seien {ωj : j ∈ J} ⊂ (−π, π]. Dann gilt in LC 2 (Ω, A, P ) die Gleichheit Xt =




eitωj Zj ,

∀t ∈ Z,

(5.33)

j∈J

wobei die Elemente Zj := Z ({ωj }) , j ∈ J, in LC 2 (Ω, A, P ) zentriert und ) )2  paarweise unkorreliert sind mit j∈J )Zj ) < ∞. Als Folgerung aus (5.33) erh¨alt man eine Zerlegung der Varianz V arXt = Xt 2 von Xt in die Summe der Varianzanteile V ar Zj = Zj 2 zur Frequenz ωj gem¨aß
V arXt = V ar Zj . (5.34) j∈J

86

5 Der Spektralsatz f¨ ur station¨ are Zeitreihen

Das zu X geh¨ orige MOW Z ist darstellbar als Z (B) =




Zj 1B (ωj ) ,

∀ B ∈ B = (−π, π] ∩ B ,

(5.35)

j∈J

und das Spektralmaß µX als 3µX (B) =


) )2 )Zj ) 1B (ωj ) ,

∀B ∈ B.

(5.36)

j∈J

b) Wird umgekehrt eine Zeitreihe X = (Xt : t ∈ Z) durch (5.33) definiert mit ahlbar), und zentrierten, paarweise unkorrelierten ωj ∈ (−π, π] , j ∈ J (abz¨ ) )2  C Elementen Zj ∈ L2 (Ω, A, P ) mit j∈J )Zj ) < ∞, so ist X zentriert und station¨ ar mit zugeh¨origem MOW Z gem¨ aß (5.35) und Spektralmaß µX gem¨aß (5.36).   achst gilt f¨ ur alle t ∈ Z die Gleichheit Beweis: a) Zun¨ eit· =




eitωj 1{ωj } µX − −f.s.

(5.37)

j∈J

Wegen 
2
  eitωj 1{ωj }  = 1{ωj } ∀ J0 ⊂ J ,  j∈J0

j∈J0

bilden die Partialsummen in (5.37) in LC 2 (µX ) eine Cauchy–Folge, konverit· gieren wegen (5.37) also in LC 2 (µX ) gegen e . Die Rechenregeln (5.18) – (5.22) liefern dann zusammen mit dem Spektralsatz die Darstellung (5.33) mit Zj = Z ({ωj }). Wegen Zj ∈ span {Xt : t ∈ Z} sind die Zj zentriert und ur j = k wegen Zj , Zk  = Z ({ωj }) , Z ({ωk }) = µX ({ωj } ∩ {ωk }) = 0 f¨ auch paarweise unkorreliert. Analog folgt aus der Gleichheit 1B =




1B (ωj ) 1{ωj } µX − −f.s.

j∈J

)2 ) die Darstellung (5.35) und damit wegen µX (B) = )Z (B) ) auch (5.36), ) )  2 insbesondere j∈J )Zj ) = µX (−π, π] < ∞. b) Wegen der Zentriertheit und Unkorreliertheit der Zj ergibt sich aus der Darstellung (5.33) zun¨ achst, dass X station¨ ar ist mit %
γX (h) = Zj 2 eiωj h = eih· dµX , j∈J

(−π,π]

5.4 Eine Substitutionsregel f¨ ur stochastische Integrale

87

wobei µX das in Gleichung (5.36) definierte Maß ist, das sich somit als das eindeutig bestimmte Spektralmaß erweist. Die in (5.35) definierte Mengenfunktion Z ist offenbar ein MOW mit Z(B) 2 = µX (B) ∀ B ∈ B. Wegen der LC 2 (µX )–Konvergenz in (5.37) und wegen Z({ωj }) = Zj in (5.35) folgt %
eit· dZ = eitωj Zj = Xt , ∀t ∈ Z. j∈J

Wegen der Eindeutigkeit der MOW’s im Spektralsatz ist Z das zu X geh¨orige MOW. (5.36) folgt aus (5.35).   Der Spektralsatz ist besonders n¨ utzlich als technisches Hilfsmittel, z.B. zum Nachweis der Existenz von L¨ osungen der AR–, MA– oder ARMA–Gleichungen, wie wir in Kapitel 7 sehen werden, und zur Herleitung von Spektraldarstellungen von Kovarianzfunktionen. Letztere werden in der Praxis zur Interpretation vorliegender Zeitreihen bevorzugt herangezogen.

5.4 Eine Substitutionsregel fu ¨ r stochastische Integrale ¨ Abschließend kehren wir noch einmal zu allgemeineren Uberlegungen im Zusammenhang mit MOW’s zur¨ uck und leiten eine Art Ketten– oder Substitutionsregel her. Insbesondere bei der Untersuchung von ARMA–Modellen und bei der Betrachtung von sogenannten Filtern f¨ ur Zeitreihen werden wir diese Substitutionsregel vorteilhaft einsetzen. Lemma 5.10 Sei Z ein MOW u ¨ber (X , B) mit Werten in einem Hilbertraum H mit innerem aß (5.5) sei das zugeh¨ orige Maß. Produkt ·, ·. µZ gem¨ (µ ) definiere man u ber (X , B) eine H–wertige Mengenfunktion F¨ ur g ∈ LC ¨ Z 2 Z1 und ein endliches Maß µ1 durch % % g dZ := g · 1B dZ (5.38) Z1 (B) := %B |g|2 dµZ , ∀ B ∈ B . µ1 (B) := B

Dann gilt: a) Z1 ist ein MOW mit µZ1 = µ1 . C b) F¨ ur f ∈ LC 2 (µ1 ) gilt f · g ∈ L2 (µZ ) und % % ur MOW’s). f dZ1 = f g dZ (Substitutionsregel f¨

(5.39)

c) Falls |g| > 0 µZ –f.s. gilt, so folgt % Z(B) = g −1 dZ1 ,

(5.40)

B

∀B ∈ B.

88

5 Der Spektralsatz f¨ ur station¨ are Zeitreihen

Beweis: a) F¨ ur B1 , B2 ∈ B gilt

Z1 (B1 ), Z1 (B2 ) = =

%

*% %

g1B1 dZ,

+ g1B2 dZ

(5.41)

|g|2 1B1 ∩B2 dµZ = µ1 (B1 ∩ B2 ).

b) F¨ ur primitives f , also f¨ ur eine messbare Funktion, die nur endlich viele Werte annimmt, gilt die Aussage wegen der Definition von Z1 . F¨ ur beliebiges (µ ) sei (f ) eine Folge primitiver Funktionen mit der f# ∈ LC 1 n 2 #Eigenschaft 2 − f | dµ → 0 f¨ u r n → ∞. Dann gilt wegen (5.20) auch fn dZ1 → |f 1 # n f dZ1 in H. Mit (5.22) erhalten wir weiter % % % % ) ) ) ) ) fn dZ1 − f · g dZ )2 = ) fn · g dZ − f · g dZ )2 (5.42) % % = |fn − f |2 |g|2 dµ = |fn − f |2 dµ1 → 0. Hieraus folgt (5.39). c) Man setze g −1 := 0 auf {g = 0}. Wegen |g| > 0 µZ –f.s. folgt die Gleichung g −1 · g = 1 µZ –f.s. Mit % % |g −1 · 1B |2 dµ1 = |g|−2 · 1B · |g|2 dµZ = µZ (B) < ∞ folgt g −1 · 1B ∈ LC 2 (µ1 ). Aufgrund von Teil b) ergibt sich % % g −1 · 1B dZ1 = g −1 · 1B · g dZ = Z(B) , ∀ B ∈ B .  

Aufgaben Aufgabe 5.1 Man zeige, dass die in (5.2) definierten komplexen Zufallsvariablen Zj zentriert und unkorreliert sind. Aufgabe 5.2 µ sei ein endliches Maß auf (X , B) = ((−π, π], (−π, π] ∩ B) . Man zeige direkt, dass die stetigen und beschr¨ ankten Funktionen f : X → C (X , B, µ) liegen. dicht in LC 2 N Hinweis: Die primitiven Funktionen n=1 cn 1Bn , cn ∈ C , Bn ∈ B , liegen bekanntlich dicht in LC 2 (µ). Es reicht also f = 1B , B ∈ B, zu approximieren. Nach dem u ¨blichen Beweis des Fortsetzungssatzes von Maßen (vgl. Behnen/Neuhaus (2003), Satz # 39.1) gibt es aus einer erzeugenden Algebra B0 von B Mengen B0 , so dass |1B − 1B0 | dµ beliebig klein wird. Man kann demnach ahlt man als B0 die Familie der Summen endlich vieler B ∈ B0 voraussetzen. W¨

5.4 Eine Substitutionsregel f¨ ur stochastische Integrale

89

Intervalle (a, b], so reicht es sogar f = 1(a,b] , −π ≤ a < b ≤ π anzunehmen. Es ist nun leicht zu sehen, dass derartige Indikatorfunktionen in LC 2 (µ) durch z.B. st¨ uckweise lineare stetige Funktionen beliebig gut approximiert werden k¨onnen. Aufgabe 5.3 Sei (X , B, µ) ein endlicher Maßraum, H ein Hilbertraum und Z : B → H ein MOW. Man zeige: a) Z(B1 ) − Z(B2 ) 2 = µ(B1 B2 ) mit B1 B2 = B1 \B2 + B2 \B1 b) Aus B2 ⊂ B1 folgt Z(B2 ) ≤ Z(B1 ) c) Z(B1 ∪ B2 ) = Z(B1 ) + Z(B2 ) − Z(B1 ∩ B2 ) d) Z(B1 \ B2 ) = Z(B1 ) − Z(B1 ∩ B2 ). Aufgabe 5.4 Man betrachte f¨ ur eine zentrierte, quadratintegrierbare Zufallsvariable e die Zeitreihe Xt = (−1)t e, t ∈ Z , und zeige, dass sie schwach station¨ ar ist. Man berechne das zugeh¨ orige Spektralmaß und das M OW . Aufgabe 5.5 Seien (X , B) und (Y, C) zwei Messr¨aume, (H, ·, ·) ein Hilbertraum und Z : B → H ein MOW mit zugeh¨origem Spektralmaß µ. Ist T : X → Y eine B − C–messbare Abbildung, so sei die Abbildung Z T : C → H durch Z T (C) := Z(T −1 (C)), C ∈ C, definiert. Man zeige a) Z T ist ein MOW (das induzierte MOW) mit zugeh¨origem Maß µT . T b) Ist g ∈ LC 2 (Y, C, µ ), so gilt die Transformationsformel % % T g dZ = g ◦ T dZ . (5.43) Aufgabe 5.6 Sei X = (Xt : t ∈ Z) eine reelle, zentrierte, station¨are Zeitreihe ur mit Spektralmaß µ und MOW Z. Weiter sei g ∈ LR 2 (µ). Ist T (ω) = −ω f¨ ω ∈ (−π, π) und T (π) = π die Spiegelungsabbildung, so zeige man # a) Falls g ◦ T = g µ−fast sicher gilt, so ist g dZ reell. # b) Falls g ◦ T = −g µ−fast sicher gilt, so ist g dZ rein imagin¨ar. Aufgabe 5.7 Sei ω0 ∈ (0, π). Man zeige f¨ ur eine quadratintegrierbare, zentrierte Zufallsvariable Z = 0, dass die Zeitreihe X = (Xt := Zeitω0 : t ∈ Z) ein um 0 unsymmetrisches Spektralmaß besitzt.

6 Filterung station¨ arer Zeitreihen

In diesem Kapitel werden wir Zeitreihen mit Hilfe von sogenannten Filtern transformieren und die Eigenschaften der resultierenden Zeitreihen studieren. Filter werden in der Praxis haupts¨ achlich verwendet, um bestimmte Frequenzen zu unterdr¨ ucken oder zu verst¨ arken. Beispiele sind sogenannte low pass– und high pass–Filter, die entweder im Wesentlichen nur niederfrequente oder nur hochfrequente Anteile der Zeitreihe passieren lassen. Dar¨ uberhinaus hat die hier vorgestellte Filtertheorie aber einen entscheidenden Nutzen in der Darstellung von L¨ osungen gewisser Differenzengleichungen (ARMA–Gleichungen), in Kapitel 7. Der Einsatz der hier entwickelten Methodik wird es uns erlauben, die f¨ ur die Anwendungen so wichtige Klasse der ARMA–Zeitreihen ¨ außerst effizient und vollst¨ andig zu untersuchen.

6.1 Grundbegriffe und einfache Eigenschaften von Filtern Zun¨achst wollen wir den Begriff des Filters bei Zeitreihen definieren. Definition 6.1 (Filter) Sei Y = (Yt : t ∈ Z) eine komplexe, station¨ are und zentrierte Zeitreihe mit MOW ZY und Spektralmaß µY . Mit Hilfe einer Transferfunktion ϕ ∈ LC 2 (µY ) aß definieren wir die gefilterte Zeitreihe X = (Xt : t ∈ Z) gem¨ % Xt = ϕ (ω) eitω ZY (dω) , ∀t ∈ Z. (6.1) (−π,π]

Statt von der Transferfunktion sprechen wir auch von einem Filter ϕ, w¨ ahrend 2 orige Filterfunktion genannt wird. |ϕ| die zugeh¨ Jede zyklische Input“–Komponente eitω ZY (dω) wird also mit dem Faktor ” ϕ (ω) = |ϕ (ω)| eiϑ(ω) multipliziert, wobei die Amplitude mit |ϕ (ω)| multipliziert und die Phase um ϑ (ω) verschoben wird. Insbesondere werden Input– Komponenten je nach dem Wert von |ϕ (ω) | verst¨arkt oder geschw¨acht, also

92

6 Filterung station¨ arer Zeitreihen

gefiltert“ . ” Die grundlegenden Eigenschaften gefilterter Zeitreihen k¨onnen wir mit Hilfe des Spektralsatzes recht einfach ableiten. Satz 6.2 (Kovarianzen und Spektraldichten bei Filterung) Die gem¨ aß (6.1) definierte Zeitreihe X = (Xt : t ∈ Z) ist eine komplexe, station¨ are und zentrierte Zeitreihe mit Kovarianzfunktion % 2 γX (h) = eihω |ϕ (ω)| µY (dω) , ∀h ∈ Z, (6.2) (−π,π]

mit zugeh¨ origem MOW % ZX (B) =

∀ B ∈ (−π, π] ∩ B .

ϕ dZY ,

(6.3)

B

Sie besitzt das Spektralmaß % 2 µX (B) = |ϕ| dµY ,

∀ B ∈ (−π, π] ∩ B ,

(6.4)

B

und, falls Y eine Spektraldichte fY besitzt, die Spektraldichte 2

fX = |ϕ| fY .

(6.5)

2 ¨ ur die Anderung des Spektralmaßes verantDie Filterfunktion |ϕ| ist also f¨ wortlich.

Beweis: Wegen eit· ϕ ∈ LC 2 (µY ) ergibt sich die Existenz und Zentriertheit von Xt aus der Definition des stochastischen Integrals. Die Stationarit¨at von X folgt aus der Rechenregel (5.21); diese ergibt sogar (6.2), denn es gilt % + *% γX (h) = Xt+h , Xt  = ei(t+h)· ϕ dZY , eit· ϕ dZY % 2 = eih· |ϕ| dµY . (−π,π]

# Nach Lemma 5.10 ist Z (B) := B ϕdZY ein MOW mit % % eit· dZ = eit· ϕ dZY = Xt , woraus wegen der Eindeutigkeit des MOW in der Spektraldarstellung die Gleichheit ZX = Z, also (6.3), folgt. (6.4) ergibt sich direkt aus (6.3) mit (5.20). Schließlich impliziert (6.4) die Gleichung (6.5).  

6.1 Grundbegriffe und einfache Eigenschaften von Filtern

93

F¨ ur die Anwendungen spielen sogenannte lineare Filter eine u ¨bergeordnete Rolle, da sie sich rein im Zeitbereich, d.h. ohne die Verwendung des Spektralsatzes, schreiben lassen, wie der folgende Satz zeigt. Satz 6.3 (Filter in Reihendarstellung: Lineare Filter) Falls Konstanten cj ∈ C, j ∈ Z, existieren derart, dass f¨ ur ϕ ∈ LC 2 (µY ) die Reihenentwicklung ϕ (ω) =

+∞


cj e−ijω ,

(6.6)

j=−∞

in LC 2 (µY ) gilt, so folgt die Darstellung Xt =

+∞


cj Yt−j ,

∀ t ∈ Z,

(6.7)

j=−∞

wobei die Konvergenz in LC 2 (Ω, A, P ) zu verstehen ist. Filter in Reihendarstellung werden oft auch als lineare Filter bezeichnet. Beweis: Unter Beachtung der Rechenregeln (5.19) und (5.20) ergibt sich % Xt =

ϕeit· dZY =

%

∞


cj e−ij· eit· dZY =

j=−∞

=

∞


∞


% cj

ei(t−j)· dZY

j=−∞

cj Yt−j .

j=−∞

  Bemerkung 6.4 (Zur Reihendarstellung) ist, d.h. wenn a) Falls eine gegebene Folge cj , j ∈ Z, absolut  summierbar  −ijω |c | < ∞ gilt, so konvergiert die Reihe c e gleichm¨ aßig in ω ∈ j j j j [−π, π] und definiert eine stetige Funktion ϕ auf [−π, π]. Wegen % 
2 
2   cj e−ij·  dµY ≤ |cj | µY (−π, π]  (−π,π]

|j|≥k

|j|≥k

gilt die Konvergenz auch in LC ullt ist und damit die 2 (µY ), sodass (6.6) erf¨ Reihenentwicklung (6.7) gilt. b) Ist ϕ eine stetig differenzierbare, reelle Funktion π] mit ϕ (−π) = +∞auf [−π, 1 −ijω c e = ϕ (ω) entϕ (π), so l¨ asst sie sich in eine Fourierreihe 2π j j=−∞ #π wickeln mit absolut summierbaren Fourierkoeffizienten cj = −π ϕ (ω) eijω dω, vgl. Heuser (1981), Satz 136.5, und Aufgabe 6.1 . c) Ist Y =: e ein weißes Rauschen, gilt also µe =

σe2 2π λ|(−π,π] ,

so konvergiert f¨ ur

94

6 Filterung station¨ arer Zeitreihen

C jedes ϕ ∈ LC ur 2 (µe ) die Fourierreihe aus b) in L2 (µe ) gegen ϕ. Der Grund daf¨ ist, dass in diesem Spezialfall die Funktionen eij· , j ∈ Z , ein vollst¨andiges Orthonormalsystem in LC 2 (µe ) bilden, nach dem ϕ entwickelt werden kann, vgl. Heuser (1981), Satz 141.1.  

¨ In den bisherigen Uberlegungen durfte die Zeitreihe Y = (Yt : t ∈ Z) komplexwertig sein. In den allermeisten Anwendungen ist Y allerdings reellwertig. Wir fragen uns deshalb, wann ein Filter ϕ eine reelle Reihe wieder in eine reelle Reihe transformiert. Nach Bemerkung 3.7 ist das Spektralmaß ullt also µY einer reellen Zeitreihe Y auf (−π, π) symmetrisch um 0, erf¨ µY (B) = µY (−B) , ∀ B ∈ (−π, π) ∩ B mit −B := {−b : b ∈ B}. Unter Verwendung dieser Tatsache kann man das folgende Resultat zeigen. Satz 6.5 (Filterung reeller Zeitreihen) Ist Y = (Yt : t ∈ #Z) reell mit Spektralmaß µY und ϕ ∈ LC 2 , so ist die gefilterte Reihe Xt = (−π,π] eit· ϕ dZY , t ∈ Z, genau dann reell, wenn µY –f.s. auf (−π, π) gilt ϕ (ω) = ϕ (−ω),

(6.8)

und im Fall µ{π} > 0 der Wert ϕ(π) reell ist. Beweis: Wir definieren wie fr¨ uher die Spiegelungsabbildung T : (−π, π] → (−π, π] gem¨ aß T (ω) = −ω ∀ ω ∈ (−π, π) und T (π) = π, wobei dann offenbar ¨ von ϕ = ϕ ◦ T [µY ] T = T −1 gilt. Mit dieser Bezeichnung ist die Aquivalenz und Xt = X t , ∀ t ∈ Z, zu zeigen. Nach Bemerkung 3.7 wissen wir, dass µY = µTY gilt. Man kann nun nacheinander zeigen (1) Durch Z Y (B) := ZY (B) wird ein MOW definiert mit µY (B) = Z Y (B) 2 . # # (2) Es gilt ϕ dZY = ϕ dZ Y . Y (B) := Z Y (T (B)) wird ein MOW definiert mit (3) Durch Z Y (B) 2 . µY (B) = Z # # (4) Es gilt ϕ ◦ T dZ Y = ϕ dZY . Y . (5) Es gilt ZY = #Z (6) Es gilt X t = eit· ϕ ◦ T dZY , ∀ t ∈ Z. Aus (6) ergibt sich unmittelbar, dass die gefilterte Zeitreihe X = (Xt : t ∈ Z) genau dann reell ist, wenn gilt % % it· e ϕ ◦ T dZY = eit· ϕ dZY , ∀ t ∈ Z , was wegen (5.23) ¨ aquivalent zu ϕ ◦ T = ϕ [µY ] ist. Es bleibt also, die Aussagen (1)–(6) zu zeigen. Dies ist als Aufgabe 6.2 gestellt.  

6.2 Spezielle Filter

95

Liegt ϕ in der Reihendarstellung (6.6) mit reellen Koeffizienten cj , j ∈ Z, vor, so ist (6.8) offensichtlich erf¨ ullt. In diesem Fall sieht man auch direkt aus der Reihendarstellung (6.7), dass eine reelle Zeitreihe Y in eine reelle Zeitreihe X transformiert wird. 2 Aus (6.8) folgt, dass die Filterfunktion |ϕ| , die gem¨aß (6.4) das Spektralmaß 2 2 µX bestimmt, symmetrisch zum Nullpunkt ist, also |ϕ (ω)| = |ϕ (−ω)| µY – f.s. auf (−π, π) gilt. Zum Abschluß dieses Abschnitts wollen wir die Hintereinanderausf¨ uhrung von Filtern untersuchen Lemma 6.6 (Hintereinanderschalten von Filtern) Wird die gem¨ aß (6.1) erzeugte Zeitreihe X = (Xt : t ∈ Z) mit einem Filter (µ ) transformiert gem¨ aß ψ ∈ LC X 2 % Zt = ψ (ω) eitω dZX (ω) , ∀ t ∈ Z, (−π,π]

so gilt % Zt =

ψ (ω) · ϕ (ω) eitω dZY (ω) ,

∀ t ∈ Z,

(6.9)

(−π,π]

und

%

2

2

|ψ| |ϕ| dµY ,

µZ (B) =

∀ B ∈ (−π, π] ∩ B.

(6.10)

B

Der Beweis ergibt sich direkt aus der Substitutionsregel in Lemma 5.10.

6.2 Spezielle Filter Dieser Abschnitt stellt eine Reihe von Filtern zusammen, die in den verschiedensten Anwendungen eine wichtige Rolle spielen. H¨aufig kommen die betrachteten Methodiken gar nicht direkt aus dem Bereich der Filter, sie lassen sich aber als solche darstellen. Die Darstellung als Filter erlaubt dann aber einen guten Einblick in die Wirkungsweise auf Zeitreihendaten. Zu den betrachteten Verfahren geh¨ oren die Methode der Differenzenbildung, des gleitenden Mittels und des exponentiellen Gl¨ attens, von denen wir die letzten beiden schon in Kapitel 1 kennen gelernt haben. Beispiel 6.7 (Differenzenoperatoren) Seien in Satz 6.3 c0 = 1, c1 = −1 und cj = 0 sonst. Dann ist die gem¨aß (6.7) transformierte Reihe Xt =: ∆ Yt gleich

96

6 Filterung station¨ arer Zeitreihen

∆ Yt = Yt − Yt−1 ,

∀ t ∈ Z.

(6.11)

(∆Yt : t ∈ Z) bezeichnet man als die erste Differenz der Zeitreihe (Yt : t ∈ Z) . Die zugeh¨ orige Transferfunktion ϕ berechnet sich zu   ϕ (ω) = 1 − e−iω = e−iω/2 eiω/2 − e−iω/2 = 2ie−iω/2 sin (ω/2) = 2ei(π−ω)/2 sin (ω/2) ,

(6.12)

2

woraus sich die Filterfunktion |ϕ| zu 2

|ϕ (ω)| = 4 sin2 (ω/2) = 2 (1 − cos ω)

(6.13)

ergibt. Wiederholte Differenzenbildung f¨ uhrt auf den Differenzenoperator n–ter Ordnung. Es gilt ∆n (Yt ) = ∆n−1 (Yt ) − ∆n−1 (Yt−1 )   n
n r = (−1) ∀t ∈ Z,∀n ≥ 1, Yt−r , r

(6.14)

r=0

wobei ∆n (Yt ) als n–te Differenz der Zeitreihe (Yt : t ∈ Z) bezeichnet wird. Dieser Filter hat wegen Lemma 6.6 die Transferfunktion ϕn (ω) = 2n ein(π−ω)/2 sinn (ω/2) mit der Filterfunktion 2n

|ϕ (ω)|

n

= 2n (1 − cos ω) .

(6.15)

In Abbildung 6.1 sind die Filterfunktionen die Differenz erster Ordnung und die d–Differenz (d = 5) dargestellt. Differenzenoperatoren ∆n sind high ” pass“–Filter. Sie lassen vornehmlich hohe Frequenzen passieren und unterdr¨ ucken niedrige Frequenzen. Der Differenzenoperator ∆ wird in der Praxis haupts¨ achlich angewandt, um Trends aus einer Reihe zu beseitigen, also eigentlich auf eine nichtstation¨ are Reihe. Jeder Trend kann jedoch als Beginn einer langwelligen Schwingung aufgefasst werden, die dann durch den high ” pass“–Filter unterdr¨ uckt wird. Entsprechend werden Differenzenoperatoren n–ter Ordnung in der Praxis verwendet, um polynomiale Trends aus einer Reihe zu entfernen. Es gilt n¨ amlich (siehe Aufgabe 6.3) Ist P (t) ein Polynom n–ten Grades, so ist ∆n P (t) eine konstante Funktion, also ∆n+1 P (t) = 0,

(6.16)

wobei P sogar stochastische Koeffizienten besitzen darf. Die Wirkungsweise der Differenzenbildung wollen wir anhand der schon in Ka-

6.2 Spezielle Filter

97

4

3

2

1

0 −3

−2

−1

0

1

2

3

Abb. 6.1 Filterfunktion f¨ ur die Differenz erster Ordnung (durchgezogen) und f¨ ur die d–Differenz, d = 5 (gestrichelt)

1000 800 600 400 200 0 −200 0

20

40

60

80

100

120

140

160

180

Abb. 6.2 Monatliche Anzahl der durch Verkehrsunf¨ alle get¨ oteten Personen und die durch Differenzenbildung gefilterte Zeitreihe (vgl. mit Abbildung 1.8)

98

6 Filterung station¨ arer Zeitreihen

pitel 1 dargestellten Anzahlen der monatlich durch Verkehrsunf¨alle get¨oteten Personen demonstrieren (vgl. Abbildung 1.8). In Abbildung 6.2 sind sowohl die sehr deutlich linear abfallenden Unfalltodesf¨ alle wie die hieraus durch Differenzenbildung erhaltene gefilterte Zeitreihe zu sehen. Man erkennt, dass der linear abfallende Trend sehr gut eliminiert wurde. Demgegen¨ uber wurde das saisonale Verhalten der Unfallzahlen u ¨ber die jeweiligen Kalenderjahre nur unwesentlich ver¨ andert. Anstelle der Differenzenbildung an direkt aufeinanderfolgenden Zeitpunkten, kann man auch f¨ ur d = 1, 2, 3, . . . die sogenannte d–Differenz Xt = Yt − Yt−d ,

∀ t ∈ Z,

(6.17)

bilden mit Transferfunktion ϕ (ω) = 1 − e−iωd und Filterfunktion 2

|ϕ (ω)| = 2 (1 − cos (ωd)) .

(6.18)

Diese Transfer– und Filterfunktion verschwinden genau f¨ ur ω = k ωd ∈ (−π, π] mit ωd := (2π)/d, k ∈ Z. Dies bedeutet, dass aus der Zeitreihe Y alle zyklischen Komponenten mit Kreisfrequenzen k ωd durch die d–Differenz entfernt werden. Z.B. wird bei einer Zeitreihe, die eine periodische Komponente mit Periode d = 12 (Monate) besitzt, diese bei Anwendung der d–Differenz unterdr¨ uckt. Dar¨ uberhinaus werden sogar alle zyklischen Komponenten mit Kreisfrequenzen (k π)/6 ∈ (−π, π] , k ∈ Z, unterdr¨ uckt.   In Abbildung 6.1 sind die Filterfunktionen f¨ ur die Differenz erster Ordnung und f¨ ur die d–Differenz mit d = 5 dargestellt. In den beiden folgenden Beispielen betrachten wir low pass“–Filter, die ” vornehmlich kleine Frequenzen passieren lassen und hohe Frequenzen unterdr¨ ucken. Letzteres bewirkt eine Gl¨ attung der Reihe durch den Filter. Wir beginnen mit dem gleitenden Mittel, das wir schon in Beispiel 1.2 verwendet haben, um bei einer nichtstation¨ aren Zeitreihe eine Trendkomponente zu sch¨atzen. Beispiel 6.8 (Gleitendes Mittel als Filter) F¨ ur q ≥ 1 betrachten wir das folgende gleitende Mittel von Y = (Yt : t ∈ Z) Xt =

+q
1 Yt−j , 2q + 1 j=−q

∀ t ∈ Z.

(6.19)

ur |j| ≤ q und cj = 0 Gem¨aß Satz 6.3 bedeutet dies, dass mit cj = 1/(2q + 1) f¨ f¨ ur |j| > q durch (6.19) ein Filter definiert wird mit der Transferfunktion ϕ (ω) =

=

q
1 e−ijω 2q + 1 j=−q  1 1 sin(ω(2q+1)/2) 2q+1 sin(ω/2)

f¨ ur f¨ ur

ω=0 ω = 0 ,

(6.20)

6.2 Spezielle Filter

99

siehe (A.6) im Anhang A.1, und zugeh¨ origer Filterfunktion 2

|ϕ (ω)| =

2π k2q+1 (ω) , 2q + 1

(6.21)

mit dem aus der Fourieranalyse bekannten Fej´er–Kern  sin2 (ωN/2) f¨ ur ω = 0 2 2πN kN (ω) = N sin (ω/2) (6.22) f¨ ur ω = 0, 2π #π N ≥ 1, f¨ ur den −π kN (ω) dω = 1 gilt, wie aus der Orthogonalit¨at der Funktionen eij· in LC 2 (−π, π] (Integration bzgl. des Lebesgue–Maßes) folgt. Aus Abbildung 6.3 erkennt man, dass tats¨ achlich ein low pass“–Filter vor”

1.00

0.75

0.50

0.25

0.00 −3

−2

−1

0

1

2

3

Abb. 6.3 Filterfunktion f¨ ur das gleitende Mittel mit q = 5 (vgl. (6.21))

liegt. Besitzt Y = (Yt : t ∈ Z) z.B. eine beschr¨ ankte Spektraldichte fY auf (−π, π] so folgt % 2π V arXt = γX (0) = k2q+1 fY dλ 2q + 1 (−π,π]

2π sup fY (ω) . ≤ 2q + 1 −π t ungef¨ ahr gleich groß sind. Im vorliegenden f¨ ur Ys mit s < t und f¨ Beispiel w¨ urde ein solches Vorgehen zu einem h von 2 oder 3 f¨ uhren, was in Einklang mit Abbildung 6.5 ist.  

102

6 Filterung station¨ arer Zeitreihen 150 125 100 75 50 25 0 −25 −50 1700

1750

1800

1850

1900

1950

2000

Abb. 6.5 Zentrierte Sonnenfleckenzahlen und gem¨ aß exponentiellem Gl¨ atten (α = 0.8) gefilterte Zeitreihe

Beispiel 6.10 (Unterdr¨ uckung einer festen Frequenz ω0 ) Wir wollen einen Filter konstruieren, der eine vorgegebene Frequenz ω0 einer uckt. Betrachten wir dazu einen Moving vorgegebenen Zeitreihe (Yt ) unterdr¨ Average–Filter der L¨ ange 2 gem¨ aß Xt = Yt + b1 Yt−1 + b2 Yt−2 ,

∀ t ∈ Z.

Hierzu geh¨ ort die Filterfunktion  2 2 |ϕ(ω)| = 1 + b1 e−iω + b2 e−2iω  .

(6.28)

(6.29)

Mit B(z) = 1+b1 z +b2 z 2 gilt ϕ(ω) = B(e−iω ). Gesucht sind nun Koeffizienten b1 und b2 derart, dass B(z) gerade an der Stelle z0 = e−iω0 (und damit automatisch auch in z 0 = eiω0 ) eine Nullstelle besitzt. Ein solches Polynom zweiten Grades B(z) k¨ onnen wir leicht gem¨ aß     B(z) = 1 − ze−iω0 1 − zeiω0 = 1 − 2 cos (ω0 ) z + z 2

(6.30)

erzeugen. Die resultierende Filterfunktion lautet (vgl. (6.29)) 2

|ϕ(ω)| = 2 + 4 cos2 (ω0 ) − 8 cos(ω0 ) cos(ω) + 2 cos(2ω). F¨ ur die konkrete Frequenz ω0 = 0.55 erhalten wir den Filter

(6.31)

6.2 Spezielle Filter

15

103

2.0

1.5

10

1.0 5 0.5 0

0.0 −3

−2

−1

0

1

2

3

−3

−2

−1

0

1

2

3

Abb. 6.6 Moving Average–Filterfunktion |ϕ|2 gem¨ aß (6.31) (links) und Filterfunkton der Hintereinanderschaltung des Moving Average–Filters mit einem exponentiellen Gl¨ atten (α = 0.8) (rechts)

6 4 2 0 −2 −4 −6 0

50

100

150

200

250

300

Abb. 6.7 Simulierte zyklische Zeitreihe der L¨ ange n = 300 mit Frequenzen ω1 = 0.10, ω2 = 0.55, ω3 = 1.50 und Varianzen der Amplituden σ12 = 9, σ22 = 4, σ32 = 1 (vgl. Definition 2.9)

104

6 Filterung station¨ arer Zeitreihen

Xt = Yt − 1.705Yt−1 + Yt−2 ,

∀ t ∈ Z.

(6.32)

In Abbildung 6.6 ist die gem¨ aß (6.30) gegebene Filterfunktion dargestellt. In der Tat hat sie die gew¨ unschte Eigenschaft ϕ(ω0 ) = 0. Allerdings ist diese Filterfunktion f¨ ur große Frequenzen recht groß, so dass wir mit einer deutlichen Verst¨ arkung entsprechender Frequenzanteile in der gefilterten Zeitreihe rechnen m¨ ussen. Zudem werden Frequenzen ω, die kleiner als ω0 sind, nur mit einem relativ kleinen Gewicht versehen. Wenden wir den konkreten Filter ¨ (6.32) auf eine simulierte zyklische Zeitreihe an, die sich aus der Uberlagerung von drei Schwingungsanteilen mit den Frequenzen ω1 = 0.10, ω2 = 0.55 und ω3 = 1.50 ergibt (vgl. Definition 2.9). Die Varianzen f¨ ur die zugeh¨origen Amplituden wurden wie folgt gew¨ ahlt σ12 = 9, σ22 = 4 und σ32 = 1. In Abbildung 6.7 ist eine Simulation der L¨ ange n = 300 einer solchen zyklischen Zeitreihe zu sehen. Abbildung 6.8 gibt die mit dem Filter (6.32) gefilterte zyklische Zeitreihe an. Die gew¨ unschte Unterdr¨ uckung der Frequenz ω0 = 0.55, aber auch die oben angesprochene Verst¨ arkung hoher und die gleichzeitige Reduzierung kleiner Frequenzen ist recht deutlich zu erkennen. Um die beiden unerw¨ unschten

6 4 2 0 −2 −4 −6 0

50

100

150

200

250

300

Abb. 6.8 Gem¨ aß (6.32) gefilterte zyklische Zeitreihe aus Abbildung 6.7 (kleiner Amplitude) und Komponente der zyklischen Zeitreihe nach Weglassen des Frequenzanteil ω2

Effekte zu unterbinden schalten wir hinter den Filter aus (6.32) noch ein exponentielles Gl¨ atten mit Parameter α = 0.8 (vgl. dazu die Darstellung der

6.2 Spezielle Filter

105

Filterfunktion dieses exponentiellen Gl¨ attens in Abbildung 6.4) und eine Multiplikation der gefilterten Zeitreihe mit dem Faktor 3.33 (entsprechend Multiplikation der Filterfunktion mit 3.332 . Die Multiplikation stellt sicher, dass die sich durch Produktbildung ergebende Gesamtfilterfunktion an der Stelle ω = 0 den Wert 1 annimmt. Eine graphische Darstellung der Gesamtfilterfunktion ist ebenfalls in Abbildung 6.6 angegeben. Diese Gesamtfilterfunktion hat nun genau den gew¨ unschten Effekt der Ausl¨ oschung einer bestimmten Frequenz uhrt nicht zu der unerw¨ unschten Verst¨arkung der hohen Freω0 = 0.55 und f¨ quenzen. Abbildung 6.9 gibt die mit dem zweistufigen Filter gefilterte Reihe und zum Vergleich die Komponente der zyklischen Zeitreihe aus Abbildung 6.7 an, die durch Weglassen des Schwungungsanteils mit Frequenz ω2 = 0.55 entsteht. Man erkennt sehr sch¨ on die gute Approximationseigenschaft der aus der urspr¨ unglichen zyklischen Zeitreihe durch Filterung entstandenen Reihe. Die Zeitverschiebung resultiert erneut aus der Einseitigkeit der verwendeten Filter und k¨ onnte entsprechend der Bemerkung in Beispiel 6.9 kompensiert werden.  

6 4 2 0 −2 −4 −6 0

50

100

150

200

250

300

Abb. 6.9 Mit Gesamtfilter gefilterte zyklische Zeitreihe aus Abbildung 6.7 (fett) und zum Vergleich Komponente der zyklischen Zeitreihe nach Weglassen des Frequenzanteil ω2 .

106

6 Filterung station¨ arer Zeitreihen

6.3 Zweiseitige MA–Reihen In diesem Abschnitt wollen wir die schon in der Einleitung des Kapitels erw¨ahnte Eigenschaft von gefilterten Zeitreihen als L¨osungen von Differenzengleichungen vorbereiten. Das folgende Beispiel ist f¨ ur diese Fragestellung, die in Kapitel 7 ausf¨ uhrlich behandelt wird, grundlegend. Hierin charakterisieren wir die Zeitreihen, die aus der Filterung eines weißen Rauschens entstehen. Beispiel 6.11 (Zweiseitige MA–Reihen)   2 Ist  2 e = (et : t ∈ Z) ein weißes Rauschen mit et ∼ 0, σe , so ist µe = σe /(2π) λ|(−π,π] das zugeh¨ orige Spektralmaß. Dann l¨asst sich nach BemerC kung 6.4 c) jeder Filter ϕ ∈ LC 2 (µe ) in eine in L2 (µe ) konvergente Reihe ϕ=

+∞


cj e−ij·

(6.33)

j=−∞

#π 1 entwickeln mit Fourier–Koeffizienten cj = 2π ϕ (ω) eijω dω, welche qua−π +∞ 2 ullen. Umgekehrt definiert eidratsummierbar sind, also j=−∞ |cj | < ∞ erf¨ ne beliebige quadratsummierbare Folge cj , j ∈ Z, einen Filter ϕ gem¨aß (6.33). Wir folgern also: Jede Reihe X = (Xt : t ∈ Z) , die durch Filterung eines weißen Rauschens e = (et : t ∈ Z) entsteht, hat eine in LC 2 (Ω, A, P ) konvergierende Reihendarstellung +∞


Xt =

cj et−j ,

∀ t ∈ Z,

(6.34)

j=−∞

mit quadratsummierbaren, komplexen Konstanten cj , j ∈ Z. Umgekehrt geh¨ort zu jeder Reihendarstellung (6.34) mit quadratsummierbaren, kompleaß (6.33) derart, dass xen Konstanten cj , j ∈ Z, ein Filter ϕ ∈ LC 2 (µe ) gem¨ # it· Xt = (−π,π] e ϕ dZe , t ∈ Z, gilt. Wir nennen Reihen X = (Xt : t ∈ Z) mit (6.34) zweiseitige MA–Reihen. Eine zweiseitige MA–Reihe X gem¨aß (6.34) hat nach (6.5) die Spektraldichte 2

fX = |ϕ|

σe2 2π

mit

ϕ=

+∞


cj e−ij· .

(6.35)

j=−∞

 

Aufgaben Aufgabe 6.1 Sei ϕ : [−π, π] → C eine stetig differenzierbare Funktion mit ϕ(−π) = ϕ(π). Dann konvergiert bekanntlich die Fourierreihe

6.3 Zweiseitige MA–Reihen

107

∞ 1
bj e−ijω = ϕ(ω) 2π j=−∞

im Raum L2 [−π, π]# bzgl. des Lebesguemaßes λ gegen ϕ , wobei die Koeffiziπ enten gem¨ aß bj := −π ϕ(ω)eijω λ(dω) definiert sind. Man zeige:


|bj | < ∞.

j∈Z

Aufgabe 6.2 Man verifiziere die im Hinweis zum Beweis von Satz 6.5 aufgef¨ uhrten Beweisschritte (1) − (6). Aufgabe 6.3 Sei ∆ der Differenzenoperator erster Ordnung, also ∆Yt = Yt − Yt−1 und ∆k seine k–fach iterierte Anwendung. Man zeige ∆k tk = k! und folgere daraus die Aussage (6.16). ¨ Aufgabe 6.4 Man zeige, dass beim Ubergang von der station¨aren zentrierten Zeitreihe Y = (Yt : t ∈ Z) zur gefilterten Reihe Xt =

1 [Yt + Yt−1 + Yt−2 ] , 3

die Frequenzen von Y in der N¨ ahe von

2π 3

∀t ∈ Z,

und − 2π uckt werden. 3 unterdr¨

Aufgabe 6.5 Man berechne zu einem reellen weißen Rauschen e = (et : t ∈ Z) mit et ∼ (0, σe2 ) die Varianz von Yt = et − et−1 (Problem des over– differencing). Aufgabe 6.6 Sei X = (Xt : t ∈ Z) ein reeller, zentrierter, station¨arer Prozess mit zugeh¨ origem MOW Z und Spektralmaß µ. Weiter sei T : (−π, π] → (−π, π] mit T (ω) = −ω , ∀ ω ∈ (−π, π) und T (π) = π die Spiegelungsabbildung, f¨ ur die nach Bemerkung 3.7 µ = µT gilt. Das induzierte MOW Z T T gem¨aß Z (B) = Z(T −1 (B)) hat deshalb nach Aufgabe 5.5 ebenfalls µ als zugeh¨origes Maß. Nach dem Beweispunkt (5) zu Satz 6.5 gilt Z(B) = Z T (B). Deshalb gilt f¨ ur B ∈ (−π, π] ∩ B U (B) := und V (B) :=

1 (Z(B) + Z T (B)) = Re Z(B) 2

i (Z(B) − Z T (B)) = −Im Z(B) . 2

Man zeige a) U und V sind reellwertige MOW’s auf ((0, π), (0, π) ∩ B) mit zugeh¨origem Maß 12 µ|(0,π) , die orthogonal zueinander sind, d.h. mit U (B1 ) ⊥ V (B2 ) f¨ ur

108

6 Filterung station¨ arer Zeitreihen

B1 , B2 ∈ (0, π) ∩ B . # # # ur V b) Mit der Definition g dU := ( g dZ + g dZ T )/2 und entsprechend f¨ zeige man % % Xt = cos(tω) dU (ω) + sin(tω) dV (ω) , ∀ t ∈ Z . (6.36) (−π,π]

(−π,π]

c) Falls µ({0}) = µ({π}) = 0 gilt, so zeige man % % Xt = 2 cos(tω) dU (ω) + 2 sin(tω) dV (ω) , (0,π)

(0,π)

∀ t ∈ Z , (6.37)

wobei nun die Integrale rechts stochastische Integrale bzgl. der MOW’s aus a) sind. Die Darstellung (6.37) ist im Falle eines diskreten Spektralmaßes mit Tr¨ager {ω1 , . . . , ωM } gerade die reelle zyklische Zeitreihe (2.23). Aufgabe 6.7 Man betrachte die folgenden vier Filter ϕk , k = 1, . . . , 4, in ur k = 1, der Reihendarstellung (6.6) mit Koeffizienten c−1 = · · · = c2 = 1/4 f¨ ur k = 2, c−2 = · · · = c2 = 1/5 f¨ ur k = 3 und c−2 = · · · = c1 = 1/4 f¨ ur k = 4; alle u ur die c±2 = −3/4 , c±1 = 3/4 , c0 = 1 f¨ ¨brigen Koeffizienten f¨ vier Filter seien 0. ,4 Man zeige, dass der zusammengesetzte Filter ϕ = k=1 ϕk die Reihendarstellung (6.6) besitzt mit Koeffizienten cj = c−j , ∀ j , sowie cj = 0 , ∀ j > 7 , und 1 [74, 67, 46, 21, 3, −5, −6, −3 ] . [c0 , . . . , c7 ] = 320 Dies ist Spencer’s 15–Punkte Moving Average–Formel. Aufgabe 6.8 Sei X = (Xt : t ∈ Z) ein station¨arer Prozess mit Autokovarianzfunktion γ . Die Autokovarianz–erzeugende Funktion von X ist definiert gem¨aß G(z) =

∞


γ(h)z h ,

(6.38)

h=−∞

falls die Reihe f¨ ur alle z ∈ C mit −1 < |z| <  ,  > 1 geeignet, konvergiert. a) Man zeige f¨ ur eine zweiseitige MA–Reihe wie in (6.34) mit ϕ aus (6.33), ∞ ur alle z ∈ C mit −1 < |z| <  ,  > 1 wobei zus¨ atzlich j=−∞ |cj ||z|j < ∞ f¨ geeignet, gelte, dass f¨ ur diese z die Gleichung G(z) = σe2 ϕ(z)ϕ(z −1 ) erf¨ ullt ist. b) F¨ ur eine MA(2)–Reihe Xt = et + b1 et−1 + b2 et−2 zeige man G(z) = σe2 ((1 + b21 + b22 ) + (b1 + b1 b2 )(z + z −1 ) + b2 (z 2 + z −2 )) und leite daraus die Autokovarianzen γ(h) , h ∈ Z , ab.

7 ARMA–Modelle

In diesem Abschnitt untersuchen wir die in Kapitel 2 schon kurz eingef¨ uhrten autoregressive moving average“–Zeitreihen, kurz ARMA–Reihen, im Detail. ” Ihre Bedeutung ergibt sich unter anderem daraus, dass man sie so konstruieren kann, dass ihre Spektraldichte jede vorgegebene stetige Spektraldichte beliebig gut approximiert, vgl. Satz 9.12 und 9.13. ARMA–Reihen sind spezielle zweiseitige MA–Reihen im Sinne von Beispiel 6.11, deren lineare Struktur sie besonders attraktiv macht.

7.1 Definition und Existenz von ARMA–Reihen Wir wiederholen die Definition 2.8 von ARMA–Zeitreihen aus Kapitel 2. Definition 7.1 (ARMA–Reihen) Eine ARMA(p, q)–Reihe X = (Xt : t ∈ Z) ist eine komplexe, zentrierte, station¨ are Zeitreihe, die eine Gleichung Xt +

p
j=1

aj Xt−j = et +

q


bj et−j ,

∀ t ∈ Z,

(7.1)

j=1

erf¨ ullt mit gegebenen Konstanten aj , bj ∈ C; p, q ∈ N; ap = 0, bq = 0 , und einem geeigneten reellen oder komplexen weißen Rauschen e = (et : t ∈ Z) mit  et ∼ 0, σe2 . Mit a = (a1 , . . . , ap )T , b = (b1 , . . . , bp )T und der Varianz σe2 des weißen Rauschens schreibt man manchmal in Kurzform X ∼ ARMA(p, q, a, b, σe2 ). urlich auf demselben HintergrundEine L¨ osung X = (Xt : t ∈ Z) muss nat¨ raum (Ω, A, P ) wie das weiße Rauschen e = (et : t ∈ Z) erkl¨art sein und die ¨ Gleichung (7.1) ist wie u der auftre¨blich als Gleichung der Aquivalenzklassen tenden Zufallsvariablen oder gleichbedeutend als fast sichere Gleichheit von Repr¨asentanten zu verstehen.

110

7 ARMA–Modelle

Die sogenannte Differenzengleichung (7.1) setzt sich aus dem autoregressiven AR–Anteil der linken Seite und dem moving average MA–Anteil der rechten Seite zusammen. Ist q = 0, d.h. verschwindet der Summenterm auf der rechten Seite in (7.1), so ist X eine AR(p)–Reihe, in Kurzform X ∼ AR(p, a, σe2 ). Ist entsprechend p = 0, so ist X eine MA(q)–Reihe, in Kurzform X ∼ MA(q, b, σe2 ). Wir rekapitulieren die schon fr¨ uher erw¨ ahnten Modellvorstellungen, die zu den ARMA–Prozessen gef¨ uhrt haben: Bei einer AR(p)–Reihe bedeutet (7.1) gerade Xt = − (a1 Xt−1 + · · · + ap Xt−p ) + et ,

∀ t ∈ Z, .

(7.2)

Dies ist eine Regressionsgleichung wie sie aus der Statistik bekannt ist. Allerdings sind dort die Regressoren Xt−1 , . . . , Xt−p meist feste, unabh¨angige Gr¨oßen, w¨ ahrend sie hier aus den Beobachtungen selber stammen, was zum Namen auto–regressiv gef¨ uhrt hat. Die Modellvorstellung, die hinter der Gleichung (7.2) steht, ist offensichtlich: Der Wert Xt der Zeitreihe X zum Zeitpunkt t wird durch die mit (−a1 ) , . . . , (−ap ) gewichteten, vergangenen Werte Xt−1 , . . . , Xt−p bestimmt, sowie durch eine damit unkorrelierte St¨orung et . MA–Reihen sind aus der Modellvorstellung entstanden, dass der Wert Xt einer Messgr¨ oße durch gewichtete Schocks“ es der Vergangenheit s < t beeinflusst ” wird. Xt kann z.B. ein ¨ okonomischer Indikator sein, der durch verschiedene zuf¨allige Ereignisse wie Streiks, Katastrophen, usw. beeinflusst wird, die nicht nur momentan wirken, sondern noch Nachwirkungen u ¨ber einen gewissen Zeitraum haben k¨ onnen. Das Zusammenf¨ ugen von AR– und MA–Gleichungen zu ARMA–Gleichungen geschieht mit dem Ziel, gegebene Zeitreihen mit m¨oglichst wenigen Parametern beschreiben zu k¨ onnen (principle of parsimony). Bemerkung 7.2 (Die ARMA–Gleichung in Filterdarstellung) Seien mit a0 := b0 := 1 A (z) =

p
j=0

aj z j , B (z) =

q


bj z j ,

∀z ∈ C,

j=0

die zugeh¨ origen sogenannten ur die A(0) = B(0) = 1  z–Transformationen,  f¨  gilt, und ϕ (ω) = A e−iω , sowie ψ (ω) = B e−iω , ω ∈ (−π, π], damit gebildete Filter. Dann schreibt sich (7.1) als Gleichung der gefilterten Reihen X und e gem¨ aß % % eit· ϕ dZX = eit· ψ dZe , ∀ t ∈ Z. (7.3) Dabei bezeichnen ZX und Ze die zu X und e geh¨orenden MOW’s. Hieraus folgt mit den Bezeichnungen aus Kapitel 6 und den Spektralmaßen µX und µe

7.1 Definition und Existenz von ARMA–Reihen

%

2

%

|ϕ| dµX = B

2

|ψ| dµe ,

∀ B ∈ B ∩ (−π, π] .

111

(7.4)

B

  Bemerkung 7.3 (Die ARMA–Gleichung in Kompaktform) Mit dem sogenannten Lag–Operator L gem¨ aß Li Xt = Xt−i , i ∈ Z, kann man die  Differenzengleichung (7.1) Verwendung der formalen Polynome unter p q A (L) = j=0 aj Lj und B (L) = j=0 bj Lj in der kompakten Form ∀ t ∈ Z, (7.5) A (L) Xt = B (L) et , r j schreiben. Ist dann C (z) = j=0 cj z ein weiteres Polynom und χ(ω) :=  −iω  der zugeh¨ orige Filter, so kann die Anwendung von χ auf (7.5) auch C e gem¨aß C (L) A (L) Xt = C (L) B (L) et , ∀ t ∈ Z, (7.6)     geschrieben werden. Wegen Li Lj Xt = Li+j Xt = Lj Li Xt kann man mit den formalen Polynomen wie mit u ¨blichen Polynomen rechnen. Es gilt z.B. C (L) A (L) Xt = A (L) C (L) Xt , t ∈ Z, usw.   Der folgende Satz gibt eine notwendige und hinreichende Bedingungen f¨ ur die Existenz von L¨ osungen der ARMA–Gleichung (7.1) an und beschreibt f¨ ur den Fall, dass mindestens eine L¨ osung existiert, die L¨osungsmenge. F¨ ur seine Formulierung verwenden wir die folgenden Bezeichnungen: Haben A und B gemeinsame Nullstellen, so gibt es Polynome A0 und B0 ohne gemeinsame Nullstellen mit A0 (0) = B0 (0) = 1 und ein Polynom H derart, dass A = A0 · H und B = B0 · H gilt. (Falls A und B keine gemeinsamen Nullstellen besitzen, werde H ≡ 1 gesetzt.) origen Filter bezeichnen wir der Reihe nach mit Die zu A, B, A0 , B0 , H geh¨ ϕ, ϕ0 , ψ, ψ0 , η , also z.B. A(e−iω ) = ϕ(ω). Außerdem bezeichnen wir wie bisher mit ZU und µU das MOW und Spektralmaß zu einer station¨aren Zeitreihe U = (Ut : t ∈ Z). Damit schreibt sich die ARMA–Gleichung in Filterdarstellung gem¨ aß % % it· ∀ t ∈ Z. (7.7) e ϕ0 η dZX = eit· ψ0 η dZe , Die durch Weglassen von η, d.h. K¨ urzen gemeinsamer Faktoren von A und B, entstehende Gleichung in Kompaktform A0 (L) Xt = B0 (L) et , oder in Filterdarstellung % % it· e ϕ0 dZX = eit· ψ0 dZe ,

∀ t ∈ Z,

∀ t ∈ Z,

(7.8)

(7.9)

112

7 ARMA–Modelle

nennen wir die reduzierte ARMA–Gleichung. Wir werden sehen, dass man sich in allen interessierenden F¨ allen auf die reduzierte ARMA–Gleichung zur¨ uckziehen kann. Man kann dann deshalb ohne Beschr¨ankung der Allgemeinheit von vornherein annehmen, dass die Originalgleichung (7.1) schon in reduzierter Form vorliegt, also dass A und B keine gemeinsamen Nullstellen besitzen. Satz 7.4 (L¨ osungen der ARMA–Gleichung) a) Genau dann gibt es zu einem beliebig vorgegebenem weißen Rauschen ullt, wenn e = (et : t ∈ Z) mindestens eine ARMA(p, q)–Reihe, die (7.1) erf¨ die reduzierte z–Transformation A0 keine Nullstelle z mit |z| = 1 besitzt. In diesem Fall ist X0 = (X0t : t ∈ Z) mit % ψ0 dZe , ∀ t ∈ Z, (7.10) X0t = eit· ϕ0 eine L¨ osung sowohl der Ursprungsgleichung (7.1) als auch der reduzierten Gleichung (7.9), die nur diese einzige L¨ osung besitzt. b) Die allgemeine L¨ osung X von (7.7) im Fall A0 (z) = 0 f¨ ur |z| = 1 (falls also eine L¨ osung existiert) hat die Gestalt Xt = X0t + X1t ,

∀ t ∈ Z,

(7.11)

mit X0 aus (7.10) und einer zyklischen Zeitreihe X1 gem¨ aß X1t =

r


eiωj t Zj ,

∀ t ∈ Z,

(7.12)

j=1

wobei N := {ω1 , . . . , ωr } die Menge der Nullstellen ω von H(e−iω ) auf (−π, π] sei und Z1 , . . . , Zr unkorrelierte, zentrierte Elemente aus LC 2 (Ω, A, P ) bezeichne, die untereinander und mit allen X0t unkorreliert sind. achst, dass, falls die Originalgleichung (7.7) eine Beweis: a) Wir zeigen zun¨ L¨osung besitzt, so auch die reduzierte Gleichung und umgekehrt. Sei also X eine L¨ osung der ARMA–Gleichung (7.7).# Dann ist wegen η = η 1N c und der Substitutionsregel auch die durch Yt := eit· 1N c dZX definierte Zeitreihe Y eine L¨ osung von (7.7). Das zugeh¨ orige Spektralmaß µY (B) = µX (B ∩N c ) legt per Konstruktion keine Masse auf die Nullstellen von η. Deshalb gilt |η| > 0 urlich auch µe –f.s.. Eine Anwendung des Filters η −1 auf beide µY –f.s. und nat¨ Seiten der Gleichung (7.7) f¨ ur Y liefert nach K¨ urzen von η auf der rechten Seite die reduzierte Gleichung (7.9) mit Y statt X. Wenn es also eine L¨osung X von (7.7) gibt, so auch eine L¨ osung Y der reduzierten Gleichung. (Wir werden sehen, dass die reduzierte Gleichung h¨ ochstens eine einzige L¨osung besitzt.) Umgekehrt zeigt eine Anwendung des Filters η auf die reduzierte Gleichung (7.9), dass eine L¨ osung der reduzierten Gleichung auch eine L¨osung der Originalgleichung (7.7) ist. F¨ ur den weiteren Existenzbeweis k¨onnen wir

7.1 Definition und Existenz von ARMA–Reihen

113

also die reduzierte Gleichung (7.9) zugrunde legen. Nehmen wir zun¨ achst an, dass ϕ0 (ω) = A0 (e−iω ) = 0 ∀ ω ∈ [−π, π] gilt. Dann folgt die Ungleichung inf {|ϕ0 (ω)| : −π ≤ ω ≤ π} > 0. Somit ist die Funktion |ψ0 /ϕ0 | beschr¨ ankt, insbesondere ein Element von LC 2 (µe ). Also ist die Reihe X0 = (X0t : t ∈ Z) mit % ψ0 X0t = eit· dZe , ∀ t ∈ Z, (7.13) ϕ0 zentriert und station¨ ar mit % % % ψ0 it· it· dZe = eit· ψ0 dZe , e ϕ0 dZX0 = e ϕ0 · ϕ0

∀ t ∈ Z.

Die Reihe (7.13) ist also L¨ osung von (7.9). Diese L¨osung ist eindeutig bestimmt, denn Anwendung des Filters ϕ−1 0 auf (7.9) liefert gerade obige Formel (7.13). Umgekehrt gebe es eine station¨ are L¨ osung X von (7.9). Wir zeigen, dass dann ur einen WiderspruchsA0 keine Nullstellen auf der Einheitskreislinie hat. F¨ beweis sei dazu angenommen, dass z0 = e−iω0 , ω0 ∈ (−π, π], eine Nullstelle von A0 ist, sodass sich A0 mit einem geeigneten Polynom A1 in der Form A0 (z) = (1 − z/z0 ) A1 (z) schreiben l¨ asst. Wegen der Gleichung     −iω   i(ω−ω ) −i(ω−ω0 )   = e 2 0 − e 1 − e 2  = 2 |sin (ω − ω0 )|  e−iω0  # ergibt sich f¨ ur die gefilterte Reihe Ut = A1 (e−i · ) eit· dZX entsprechend (7.4) die Gleichung % % 2 2 4 sin ((ω − ω0 )/2) dµU (ω) = |ψ0 | dµe ∀ E ∈ B ∩ (−π, π] . (7.14) E

E

ur ein gen¨ ugend Da ϕ0 und ψ0 keine gemeinsamen Nullstellen besitzen, gilt f¨ kleines ε > 0 und eine Konstante c > 0 die Ungleichung 2

ur ω ∈ I (ε) = {ω ∈ (−π, π] : |ω − ω0 | ≤ ε} . |ψ0 (ω)| ≥ c f¨ Wegen |sin x| ≤ |x| ergibt sich mit E = I (ε) aus (7.14) durch Absch¨atzung der linken Seite nach oben und der rechten Seite nach unten die Ungleichung ε2 µU (−π, π] ≥ c ·

σe2 · ε, 2π

wobei µU (−π, π] endlich ist. Nach K¨ urzen von ε ergibt sich f¨ ur ε ↓ 0 offenbar ur |z| = 1. ein Widerspruch und damit A0 (z) = 0 f¨ b) Ist X L¨ osung # von (7.7), so ist, wie im Beweisteil zu a) schon gezeigt, die Zeitreihe Yt = eiωt 1N c (ω) dZX (ω) , t ∈ Z, L¨ osung von (7.9). Da diese aber

114

7 ARMA–Modelle

nur eine L¨ osung besitzt, n¨ amlich X0 aus (7.12), gilt Y = X0 . Mit # einzige iωt 1N (ω) dZX (ω) , t ∈ Z, gilt dann zun¨ achst offenbar (7.11). Wegen X1t = e r eit· 1N = j=1 eitωj 1{ωj } folgt die Gleichheit (7.12) mit Zj = ZX ({ωj }), wobei wegen der Grundeigenschaften von MOW’s offenbar die dort angegebenen Eigenschaften f¨ ur die Zj gelten Sind umgekehrt solche Zj gegeben, ort nach Beispiel 5.9 zur Zeitreir so geh¨ Z 1 he (7.12) das MOW Z1 (B) := j=1 j B (ωj ) mit Spektralmaß µ1 (B) = r 2 (ω ). Wegen η(ωj ) = 0 ∀ j ergibt die Anwendung des Filters j=1 Zj 1B # j # η auf X1t = eit· dZ1 den Wert 0, folglich auch ϕ0 η dZX1 = 0. Damit ist osung von (7.7). Insgesamt ist also b) gezeigt.   X0 + X1 L¨ Bemerkung 7.5 (Eindeutigkeit von L¨ osungen, reelle L¨osungen) a) Aus Satz 7.4 folgt unmittelbar, dass nur dann mehrere L¨osungen auftreten k¨ onnen, wenn A und B gemeinsame Nullstellen auf der Einheitskreislinie besitzen. Diese Situation ist auch dadurch charakterisiert, dass das Spektralmaß einer L¨ osung einen diskreten Anteil hat, der von der zyklischen Zeitreihe in (7.12) herr¨ uhrt. b) Interessiert man sich nur f¨ ur L¨ osungen, die ein stetiges Spektralmaß besitzen (und das wird bei uns stets so sein), so kann es nur eine einzige L¨osung geben, n¨ amlich diejenige aus (7.10), selbst wenn A und B gemeinsame Nullstellen z mit |z| = 1 haben. Man kann in diesem Fall ¨aquivalent zur reduzierten ARMA–Gleichung u ¨bergehen, ob es nun gemeinsame Nullstellen z von A und B mit |z| = 1 gibt oder nicht. Damit man nicht mehr reduzieren muss, fordert man deshalb meist, dass die z–Transformation A in der Originalgleichung (7.1) schon in reduzierter Form vorliegt, dass also A und B keine gemeinsamen Nullstellen besitzen. Damit dann u ¨berhaupt eine L¨osung existiert, darf in diesem Fall A keine Nullstelle auf der Einheitskreislinie besitzen. Nach Satz 7.4 haben gemeinsame Faktoren von A und B in der Ursprungsgleichung (7.1), die nicht auf der Einheitskreislinie liegen, keinerlei Einfluss auf ¨ die L¨osungsmenge, man m¨ usste sie also beim Ubergang zu einer reduzierten Form, wenn es nur um Existenz und Eindeutigkeit von L¨osungen geht, eigenturzen. Man tut es jedoch trotzdem, denn derartige gemeinsame lich nicht wegk¨ Faktoren von A und B w¨ urden bewirken, dass die Parametrisierung durch die Koeffizienten aj und bj nicht mehr eindeutig ist, siehe dazu auch Abschnitt 8.4. c) Wir sprechen vom reellen Fall, wenn das weiße Rauschen und die Koeffizienten von A0 und B0 in der reduzierten Gleichung reell sind. Nach Satz 6.5 folgt dann, dass auch die L¨ osung der reduzierten Gleichung reell ist, da dann ullt ist.   offenbar die Symmetriebedingung (6.8) f¨ ur ψ0 /ϕ0 erf¨ Nachdem wir die Existenz und Eindeutigkeit der ARMA–Zeitreihen eingehend untersucht haben, wollen wir uns nun deren Eigenschaften zuwenden. Eine wichtige Kenngr¨ oße einer station¨ aren Zeitreihe ist ihr Spektralmaß bzw. (bei Existenz) ihre Spektraldichte. Im folgenden Satz werden wir sehen, dass

7.1 Definition und Existenz von ARMA–Reihen

115

station¨ are ARMA–Reihen ohne zyklischen Anteil stets eine stetige Spektraldichte besitzen, die wir dar¨ uberhinaus explizit hinschreiben k¨onnen. Satz 7.6 (Die Spektraldichte bei ARMA–Reihen) Ist X L¨ osung der reduzierten ARMA–Gleichung (7.9), so besitzt sie die stetige Spektraldichte 2

fX =

σe2 |ψ0 | . 2π |ϕ0 |2

(7.15)

Im reellen Fall ist fX symmetrisch um 0. Da fX strikt positiv ist bis auf aquivalent. h¨ ochstens endlich viele Nullstellen von ψ0 , sind die Maße µX und µe ¨ Der Beweis zu Satz 7.6 ergibt sich direkt aus (6.5) und (7.10). Unter denselben Voraussetzungen wie im vorangehenden Satz kann man außerdem zeigen, dass ARMA–Reihen stets eine zweiseitige MA(∞)–Darstellung besitzen. Satz 7.7 (L¨ osungen der ARMA–Gleichung in Reihendarstellung) Sei X L¨ osung der reduzierten ARMA–Gleichung (7.9). Dann besitzt X die zweiseitige MA–Darstellung +∞


Xt =

cj et−j ,

+∞


∀t ∈ Z,

j=−∞

|cj | < ∞.

(7.16)

j=−∞

Die Konstanten cj , j ∈ Z, sind eindeutig bestimmt gem¨ aß cj = Xt , et−j /σe2 , t ∈ Z. Man kann sie als die Koeffizienten der Laurent–Entwicklung von B0 /A0 erhalten, die f¨ ur ein geeignetes  > 1 im Ringbereich 1/ ≤ |z| ≤  konvergiert. Im reellen Fall ist die L¨ osung X nach Bemerkung 7.5 c) reell und damit sind dann die Konstanten cj ebenfalls reell. Beweis: F¨ ur die Laurent–Reihe +∞
B0 (z) = cj z j , A0 (z) j=−∞

1 ≤ |z| ≤ , 

gilt stets, siehe z.B. Remmert (1991), +∞


|cj | < ∞,

j=−∞

also auch

+∞
j=−∞

Deshalb konvergiert die Reihe +∞
ψ (ω) = cj e−ij ω ϕ (ω) j=−∞

2

|cj | < ∞.

(7.17)

116

7 ARMA–Modelle

auch in LC 2 (µe ). Es folgt % Xt =

eit·

% +∞ +∞

ψ dZe = cj ei(t−j)· dZe = cj et−j . ϕ j=−∞ j=−∞  

Bemerkung 7.8 (Geometrisches Abklingen der Koeffizienten) Ist X L¨ osung der reduzierten ARMA–Gleichung, so fallen die Koeffizienten cj der zweiseitigen MA–Darstellung (7.19) in geometrischer Rate ab, d.h. es gilt |cj | ≤ c · −|j| ,

∀ j ∈ Z,

(7.18)

mit geeigneten Konstanten c > 0 und  > 1. Dies ∞ folgt unmittelbar daraus, dass in der Laurent–Entwicklung (7.17) sowohl j=0 cj z j eine Potenzreihe in ∞ j z ist, die f¨ ur |z| ≤  konvergiert als auch j=1 c−j (1/z) eine Potenzreihe in 1/z ist, die entsprechend f¨ ur |1/z| ≤ , konvergiert. Insbesondere gilt ur j → ∞ und damit (7.18).   (|cj | + |c−j |)j → 0 f¨

7.2 Kausalit¨ at und Invertibilit¨ at von ARMA–Reihen In einer zweiseitigen MA–Darstellung (7.16) wird Xt als unendliche Linearkombination von St¨orungen es sowohl der Vergangenheit als auch der Zukunft ausgedr¨ uckt. Das ist f¨ ur in der Realit¨ at auftretende Zeitreihen nat¨ urlich nicht m¨oglich. Vielmehr sollten in einer solchen Darstellung allein St¨orungen der Vergangenheit vorkommen. Dies f¨ uhrt zur Begriffsbildung der Kausalit¨at. Definition 7.9 (Kausalit¨ at) Eine ARMA(p, q)–Reihe X = (Xt : t ∈ Z), die die Differenzengleichung (7.1) erf¨ ullt, heißt kausal, wenn eine einseitige MA–Darstellung existiert gem¨ aß Xt =

∞
j=0

cj et−j ,

∀ t ∈ Z,

∞


|cj | < ∞.

(7.19)

j=0

Die Forderung der Kausalit¨ at von X beinhaltet zum einen, dass X u ¨berhaupt eine L¨ osung der ARMA–Gleichung ist und impliziert zum anderen (wegen der Reihendarstellung), dass X ein stetiges Spektralmaß besitzt. Damit ist nach Bemerkung 7.9 klar, dass es sich bei X nur um die eindeutig bestimmte L¨osung der reduzierten ARMA–Gleichung handeln kann, die nach Satz 7.7 die eindeutig bestimmte zweiseitige MA(∞)–Darstellung (7.16) besitzt. Kausale Zeitreihen sind demnach genau die L¨ osungen reduzierter ARMA– ur Gleichungen, bei denen die Koeffizienten cj in der Entwicklung (7.16) f¨ negative j verschwinden. Unter der Voraussetzung, dass X L¨ osung der reduzierten ARMA–Gleichung ist, gilt wegen Xt , ek  = ct−k σe2 die Darstellung (7.19) genau dann, wenn gilt:

7.2 Kausalit¨ at und Invertibilit¨ at von ARMA–Reihen

Xt , ek  = 0

∀ k, t ∈ Z mit k > t ,

117

(7.20)

d.h. wenn zuk¨ unftige St¨ orungen ek unkorreliert mit Xt sind (k > t). Satz 7.10 (Charakterisierung der Kausalit¨ at) Eine Zeitreihe X = (Xt : t ∈ Z) ist genau dann kausal, wenn die reduzierte z–Transformation A0 keine Nullstellen z mit |z| ≤ 1 besitzt. Beweis: Ist X kausal, so ist wegen cj = 0 ∀j < 0 die Laurent-Entwicklung von B0 /A0 in 1/ ≤ |z| ≤  sogar eine f¨ ur |z| ≤  konvergente Potenzreihe P (z) =

∞


cj z j .

(7.21)

j=0

ur |z| = 1 gilt nach dem Identit¨atssatz f¨ ur Wegen B0 (z) = P (z) A0 (z) f¨ holomorphe Funktionen diese Gleichung sogar f¨ ur |z| < . Da A0 und B0 keine ur |z| ≤ 1. Gilt umgekehrt gemeinsamen Nullstellen haben, folgt A0 (z) = 0 f¨ ur |z| ≤ 1, so l¨ asst sich bekanntlich B0 /A0 in eine f¨ ur |z| < ,  > 1 A0 (z) = 0 f¨ geeignet, konvergente Potenzreihe entwickeln, die dann die Laurentreihe von   B0 /A0 ist mit cj = 0 ∀j < 0. In Abschnitt 8.2 werden wir eine sehr effektive rekursive Methode zur Berechnung der Koeffizienten cj der Potenzreihe P (z) besprechen. Die duale Fragestellung zur Kausalit¨ at ist, ob sich die St¨orungen et in uckberechnen lassen. Da¨ahnlicher Weise aus den Werten Xt , Xt−1 , . . . zur¨ zu geben wir die folgende Definition. Definition 7.11 (Invertibilit¨ at) Eine ARMA(p, q)–Reihe X = (Xt : t ∈ Z), die die reduzierte Gleichung (7.9) erf¨ ullt, heißt invertibel, wenn Konstanten dj ∈ C, j = 0, 1, 2, . . . , existieren mit et =

∞
j=0

dj Xt−j ,

∀ t ∈ Z,

∞


|dj | < ∞.

(7.22)

j=0

In Analogie zu Satz 7.10 charakterisiert der folgende Satz die Invertibilit¨at. Satz 7.12 (Charakterisierung der Invertibilit¨ at) Eine Zeitreihe X = (Xt : t ∈ Z) ist genau dann invertibel, wenn die reduzierte z–Transformation B0 nur Nullstellen außerhalb des Einheitskreises besitzt. ankung der Allgemeinheit k¨onnen wir annehmen, dass Beweis: Ohne Einschr¨ die ARMA–Gleichung schon in reduzierter Form vorliegt, dass also A = A0 und B = B0 gilt. Zun¨ achst sei ur |z| ≤ 1 vorausgesetzt. Dann ist  B (z) = 0 f¨ ankt auf [−π, π], also quadratinteaß ψ −1 (ω) = 1/B e−iω beschr¨ ψ −1 gem¨ grabel bzgl. jedes Spektralmaßes und somit ein Filter, dessen Anwendung auf (7.3) die Gleichung

118

7 ARMA–Modelle

%

eit·

ϕ dZX = et , ψ

∀t ∈ Z,

(7.23)

ergibt. Nunist A/B f¨ ur |z| <  mit geeignetem  > 1 in eine Potenzreihe ∞ ∞ A/B (z) = j=0 dj z j entwickelbar mit j=0 |dj | < ∞. Mit ∞


ϕ (ω) = dj e−ij ω , ψ j=0

∀ ω ∈ (−π, π] ,

folgt die Reihenentwicklung (7.22) direkt aus Bemerkung 6.4 a). Gelte nun umgekehrt (7.22), also mit D (z) :=

∞


dj z j

und

  χ (ω) := D e−i ω

j=0

die Gleichung % et =

eit· χ dZX ,

∀ t ∈ Z.

Anwendung des Filters ϕ ∈ LC 2 (µe ) auf beide Seiten liefert mit t = 0 nach Lemma 6.6 die Gleichung % % ϕ dZe = χ ϕ dZX , zusammen mit (7.3) und der Substitutionsregel (5.39) also die Beziehung % % ϕ dZe = χ ψ dZe , woraus nach der Rechenregel (5.23) die Gleichheit ϕ = ψ · χ in LC 2 (µe ) folgt. Wegen der Stetigkeit von ϕ, ψ, χ gilt diese Gleichheit auf dem gesamten Inter∞ ur |z| ≤ 1 vall [−π, π]. Nun ist B(z)D(z) = j=0 αj z j eine Potenzreihe, die f¨ konvergiert und f¨ ur |z| = 1 mit A(z) u ¨bereinstimmt. Damit gilt ϕ(ω) =  ∞ −iω ∀ ω ∈ [−π, π] . Heranmultiplizieren auf beiden Seiten dieser Gleij=0 αj e chung mit den Funktionen e−ikω und Ausintegrieren mit dem Lebesgue–Maß liefert wegen der Orthogonalit¨ at dieser Funktionen (vgl. Bemerkung 6.4 c)) die Gleichheit ak = αk ∀ k ∈ Z , also die Gleichheit A(z) = B(z)D(z) ∀ |z| ≤ 1. Dann kann B keine Nullstelle z mit |z| ≤ 1 besitzen, denn diese w¨are auch eine solche von A, was nach Voraussetzung ausgeschlossen ist.   Der folgende Satz stellt sicher, dass zu einer Zeitreihe, die L¨osung einer ARMA–Gleichung in reduzierter Form ist, eine neue ARMA–Gleichung und ein neues weißes Rauschen gebildet werden kann derart, dass die Zeitreihe in der neuen Situation kausal und invertibel ist.

7.3 Lineare L1 –Filter

119

¨ Satz 7.13 (Ubergang zu einer kausalen und invertiblen Reihe) Sei X = (Xt : t ∈ Z) eine ARMA(p, q)–Reihe, wobei die ARMA–Gleichung in reduzierter Form vorliege. Seien α1 , . . . , αp ∈ C die Nullstellen von A, β1 , . . . , βq ∈ C die Nullstellen von B, sowie J := {j : |αj | < 1} und K := {k : |βk | < 1}. Ferner sei  (z) := A

-

-

 1 − αj−1 · z ,

(1 − αj · z)

j ∈J /

j∈J

 (z). Dann ist  := (t : t ∈ Z) gem¨ ahnlich B aß ¨ t :=

 (L) B (L) A e,  (L) t A (L) B

∀ t ∈ Z,

ein weißes Rauschen mit σ2 = λ · σe2 2 −2 λ := |αj | · |βk | , j∈J

(7.24)

(7.25)

k∈K

und es gilt  (L) t ,  (L) Xt = B A

∀ t ∈ Z.

(7.26)

 und B  k¨ Eventuell gemeinsame Faktoren von A onnen gek¨ urzt werden, vgl. Bemerkung 7.5 b). Nach Satz 7.10 und Satz 7.12 ist X dann kausal und invertibel bzgl. des neuen weißen Rauschens  = (t : t ∈ Z). Der einfache Beweis, bei dem die Spektraldichte von  = (t : t ∈ Z) zu berechnen ist, wird als Aufgabe 7.1 gestellt.

7.3 Lineare L1 –Filter Neben der L2 –basierten Filtertheorie in Kapitel 6, ist es auch m¨oglich, f¨ ur lineare Filter mit absolut summierbaren Koeffizienten entsprechende Aussagen zu formulieren, wobei die Filter auf beliebige reelle oder komplexe stochastische Prozesse X = (Xt : t ∈ Z) mit der einzigen Bedingung sup E|Xt | < ∞ t∈Z

angewendet werden k¨ onnen. ∞ Seien also a0 , a1 , . . . Koeffizienten mit j=0 |aj | < ∞. Dann wird durch Yt =

∞
j=0

aj Xt−j ,

∀t ∈ Z,

(7.27)

120

7 ARMA–Modelle

ein Prozess Y = (Yt : t ∈ Z) mit supt∈Z E|Yt | < ∞ definiert. Dabei gilt die Konvergenz in (7.27) sowohl f.s. als auch im Raum LC 1 (Ω, A, P ) A, P ) (s. Aufgabe 7.8). Unter Verwendung der z–Transformation bzw. LR 1 (Ω, ∞ j ur |z| ≤ 1 konvergente Potenzreihe darstellt, A(z) = j=0 aj z , die eine f¨ schreibt sich (7.27) mit dem Lag–Operator L in Kompaktform gem¨aß Yt = A(L)Xt ,

∀t ∈ Z.

(7.28)

Wir nennen die Koeffizienten (aj ) oder auch A einen linearen L1 –Filter. Genauer m¨ ussten wir nach unserer fr¨ uheren Sprechweise eigentlich von einem kausalen linearen Filter sprechen. Da wir es aber bei sp¨ateren Anwendungen in Kapitel 14 einzig mit solchen Filtern zu tun haben werden, lassen wir diesen Zusatz weg. Mit linearen L1 –Filtern kann man wie mit u rechnen, ganz analog zu Kapitel 6. Ist also zum Bei¨blichen Potenzreihen ∞ j spiel B(z) = b z ein weiterer L1 –Filter, so ist auch die Potenzreihe j=0 j ∞ k C(z) = k=0 ck z = A(z)B(z) = B(z)A(z) mit ck =

k


aj bk−j =

j=0

k


bj ak−j

j=0

ein L1 –Filter, und es gilt (s. Aufgabe 7.9) C(L)Xt = A(L)[B(L)Xt ] = B(L)[A(L)Xt ] ,

∀t ∈ Z,

(7.29)

wobei die Konvergenzen wiederum sowohl f.s. als auch in LC 1 (Ω, A, P ) gelten.

Aufgaben Aufgabe 7.1 Man beweise Satz 7.13. Hinweis: |1 − αe−iω | = |α||1 − α1 e−iω |. 2 Aufgabe ∞ 7.2 Sei e = (et : t ∈ Z) ein weißes Rauschen, et ∼ (0, σe ) und Xt = j=−∞ bj et−j , t ∈ Z, mit einer beliebigen absolut summierbaren Folge ur die Autokovarianzfunktion γX von X = (Xt : t ∈ Z) bj , j ∈ Z . Man zeige f¨ die Gleichheit ∞ ∞ 
2
  γX (h) = σe2  bj  . h=−∞

j=−∞

Aufgabe 7.3 Sei eine ARMA(1, 1)–Reihe X gegeben durch Xt + aXt−1 = et + bet−1 , et ∼ (0, σe2 ), |a| < 1. Man berechne die Spektraldichte f von X und zeichne ein Schaubild von f f¨ ur den Spezialfall a = 1/2, b = 1/4, σe2 = 1.

7.3 Lineare L1 –Filter

121

Aufgabe 7.4 Sei X = (Xt : t ∈ Z) ein reeller AR(2)–Prozess mit z– Transformation A(z) = 1 + a1 z + a2 z 2 . Man zeige, dass die Kausalit¨atsbedingung A(z) = 0 ∀ z mit |z| ≤ 1 ¨ aquivalent zu a2 < 1,

|a1 | − a2 < 1 ,

ist. Aufgabe 7.5 F¨ ur eine reelle MA(1)–Reihe X = (Xt : t ∈ Z) mit Xt = et + ρet−1 , |ρ| < 1, und weißem Rauschen e = (et : t ∈ Z) gebe man ein weißes Rauschen W = (Wt : t ∈ Z) an derart, dass 1 Xt = Wt + Wt−1 , ρ

∀ t ∈ Z,

gilt. Dies zeigt, dass ohne die Invertibilit¨ atsannahme die Parametrisierung eines MA–Prozesses nicht eindeutig ist. Aufgabe 7.6 Man zeige mit einer zum Beweis von Satz 7.12 analogen Beweismethode, dass bei einer ARMA(p, q)–Reihe X = (Xt : t ∈ Z), bei der A und B keine gemeinsamen Nullstellen besitzen, aus einer Darstellung ∞ ∞ ur |z| ≤ 1 folgt. Xt = j=0 cj et−j , j=0 |cj | < ∞, die Aussage A(z) = 0 f¨ Aufgabe 7.7 Man zeige, dass bei einer reellen kausalen AR(p)–Reihe gilt π(k) = 0 f¨ ur k > p , sowie π(p) = −ap . Aufgabe 7.8 Sei X = (Xt : t ∈ Z) ein reeller oder komplexer stochastischer Prozess mit supt E|Xt | < ∞ . Falls a0 , a1 , . . . absolut summierbare Koeffizienten sind, so zeige man, dass f¨ ur alle t ∈ Z die Reihe ∞


bj Xt−j

j=0

mit Wahrscheinlichkeit 1 absolut und im Raum LC 1 (Ω, A, P ) konvergiert und unter der zus¨ atzlichen Voraussetzung supt EXt2 < ∞ auch im quadratischen Mittel gegen denselben Grenzwert konvergiert. Aufgabe 7.9 Man zeige die Gleichung (7.29).

8 Die Autokovarianz und Autokorrelation von ARMA–Reihen im reellen Fall

In diesem Kapitel wollen wir uns mit der Berechnung und allgemeinen Eigenschaften von Autokovarianzen und Autokorrelationen bei ARMA–Reihen aftigen. Dabei setzen wir voraus, dass die ARMA– X = (Xt : t ∈ Z) besch¨ Gleichung (7.1) in reduzierter Form vorliegt, also A und B keine gemeinsamen Nullstellen besitzen. Weiter liege der reelle Fall vor, d.h. in der definierenden Gleichnug (7.1) sind alle auftretenden Koeffizienten aj und bj und das weiße Rauschen e und damit X selbst reell. Weiter werde ur das ganze Kapitel angenommen, dass die z–Transformation p f¨ A (z) = j=0 aj z j keine Nullstellen z mit |z| ≤ 1 besitzt, dass also X kausal ist. Dann hat X, wie im vorigen Kapitel diskutiert, die Darstellung Xt =

∞


cj et−j ,

∀t ∈ Z,

(8.1)

j=0

wobei die Koeffizienten cj ∈ R nach Bemerkung 7.8 in geometrischer Rate abklingen und durch die Potenzreihenentwicklung ∞

B (z)
= cj z j A (z) j=0 festgelegt sind.

8.1 Die Berechnung der Autokovarianzen von ARMA–Reihen aus der MA–Darstellung Aus (8.1) erhalten wir die folgende Darstellung f¨ ur die Autokovarianz γ (h) =

Xt+h , Xt  = EXt+h Xt einer ARMA–Zeitreihe (man beachte die Zentriertheit einer jeden ARMA–Zeitreihe)

124

8 Die Autokovarianz und Autokorrelation von ARMA–Reihen im reellen Fall

γ (h) = σe2

∞


∀h ∈ Z.

cj cj+|h| ,

(8.2)

j=0

Aus (8.2) und (7.18) folgt nun unmittelbar Bemerkung 8.1 Die Autokovarianzen γ (h) einer kausalen ARMA–Reihe fallen in geometrischer Rate ab, d.h. es gilt |γ (h)| ≤ c · −|h| ,

∀ h ∈ Z,

mit geeigneten Konstanten c ∈ (0, ∞) und  > 1 .

(8.3)  

Wir wollen nun die explizite Struktur der Autokovarianzfunktion f¨ ur spezielle ARMA–Zeitreihen anhand zweier Beispiele diskutieren. Beispiel 8.2 (ARMA(1, 1)–Reihe) Sei f¨ ur a, b ∈ R, a = b, |a| < 1 ∀ t ∈ Z,

Xt + aXt−1 = et + bet−1 ,

(8.4)

die Gleichung einer kausalen ARMA(1, 1)–Reihe. Mit A (z) = 1 + az, B (z) = 1 + bz ergibt sich f¨ ur |z| < 1/ |a| ∞ ∞
B (z)
j j−1 j = (−az) (1 + bz) = 1 + (b − a) (−a) z A (z) j=0 j=1

also c0 = 1, cj = (b − a) (−a) γ (0) =

j−1

σe2

, j ≥ 1. Aus (8.2) erh¨alt man

2  (b − a)  , c2j = σe2 1 + 1 − a2 j=0

∞


(8.5)

sowie γ (h) = σe2

(b − a) (1 − ab) |h|−1 (−a) , 1 − a2

|h| = 1, 2, . . . .

(8.6)

Setzt man b = 0, so erh¨ alt man die Kovarianzfunktion γ einer AR(1)–Reihe mit Xt + aXt−1 = et , |a| < 1, vgl. (2.17): γ (h) = σe2

|h|

(−a) , 1 − a2

∀h ∈ Z.

(8.7)  

Beispiel 8.3 (ARMA(2, 1)–Reihe) F¨ ur a ∈ R mit |a| > 1 und b ∈ R mit ab = −1 sei X = (Xt : t ∈ Z) L¨osung von

8.1 Die Berechnung der Autokovarianzen von ARMA–Reihen aus der MA–Darstellung

2 1 Xt − Xt−1 + 2 Xt−2 = et + bet−1 , a a

∀t ∈ Z.

(8.8)

Wegen A (z) = 1 −

 1 z 2 2 z + 2 z2 = 1 − a a a

besitzt also die z–Transformation A die zweifache reelle Nullstelle a. Zur Berechnung der Potenzreihenentwicklung von B (z) /A (z) mit B (z) = 1 + bz und der Autokovarianz γ (h) gem¨ aß (8.2) werden wir die Gleichung −(k+1)

(1 − x)

=

 ∞ 
j+k j=0

k

xj , |x| < 1,

k = 0, 1, 2, . . . ,

(8.9)

wiederholt anwenden. Mit (8.9) f¨ ur k = 1 ergibt sich ∞ ∞  z j
B (z)
j j = (j + 1) +b z j−1 A (z) a a j=0 j=1

=

∞
j (ab + 1) + 1 j=0

aj

· zj ,

also Xt =

∞


cj et−j mit cj =

j=0

j (ab + 1) + 1 , aj

j = 0, 1, 2, . . . .

F¨ ur γ (h) ergibt sich aus (8.2) f¨ ur h ≥ 0 mit der Abk¨ urzung d := ab + 1 ∞ 1
(jd + 1) ((j + h) d + 1) ah j=0 a2j ⎧ ⎫ ∞ ∞ 2 ⎨

(jd + 1) jd + 1 ⎬ 1 = σe2 · h + h · d . a ⎩j=0 a2j a2j ⎭ j=0

γ (h) = σe2 ·

Eine Umrechnung unter Verwendung von (8.9) f¨ ur k = 0, 1, 2 liefert schließlich die Formel γ (h) = σe2 · mit

1 (κ1 + κ2 h) , ah

h = 0, 1, 2, . . . ,

(8.10)

⎧ 2 2 4 (a+b) +(1+ab) ⎪ ⎪ ⎨κ1 = a (a2 −1)3 ⎪ ⎪ ⎩κ2 = a3 (ab+1)(a+b) . (a2 −1)2

(8.11)

125

126

8 Die Autokovarianz und Autokorrelation von ARMA–Reihen im reellen Fall

¨ Man bemerkt eine große Ahnlichkeit in der Struktur der Folgen cj , j ≥ 0, und γ (j) , j ≥ 0. Beide sind Linearkombinationen der Folgen a−j , j ≥ 0, und j a−j , j ≥ 0. Dies ist kein Zufall, sondern folgt daraus, dass beide dieselbe Differenzengleichung erf¨ ullen. Im folgenden Abschnitt werden wir noch allge¨ meine Uberlegungen hierzu durchf¨ uhren.  

8.2 Die Differenzengleichung fu ¨ r die Koeffizienten der MA–Darstellung In diesem Abschnitt geht es um die grunds¨ atzliche Struktur der Koeffizienten der MA(∞)–Darstellung einer ARMA–Reihe. Bisher haben wir diese cj als Koeffizienten der Potenzreihenentwicklung von B/A kennen gelernt. Hieraus k¨onnen wir wie folgt eine rekursive Methode zur Berechnung der cj ableiten, denn es gilt q


j

bj z =

j=0

p


ak z k ·

cr z r

r=0

k=0

=

∞


p ∞



cr ak z r+k

r=0 k=0

=

∞


(c0 aj + c1 aj−1 + · · · + cj a0 ) z j ,

(8.12)

j=0

ur j > p gesetzt wird. Setzt man entsprechend bj := 0 f¨ ur wobei aj := 0 f¨ j > q, so erh¨ alt man durch Koeffizientenvergleich die Gleichung bj =

j


cj−k ak ,

j = 0, 1, 2, . . . ,

(8.13)

k=0

oder als Rekursionsformel geschrieben cj = bj −

j


cj−k ak ,

j ≥ 1, c0 = 1 ,

(8.14)

k=1

also c1 = b1 − a1 , c2 = b2 − (c1 a1 + a2 ) = b2 − b1 a1 + a21 − a2 , . . . . ¨ Uber die reine Berechnung der cj hinaus kann man aus den Gleichungen (8.13) auch die prinzipielle Struktur der L¨ osungen {cj } gewinnen. Dazu spalten wir (8.13) in zwei Gruppen von Gleichungen auf.

8.2 Die Differenzengleichung f¨ ur die Koeffizienten der MA–Darstellung

127

Nebenbedingungen: j


cj−k ak = bj f¨ ur j = 0, . . . , max (p − 1, q) .

(8.15)

k=0

Homogene Gleichungen: p


cj−k ak = 0 f¨ ur j = max (p, q + 1) , . . . .

(8.16)

k=0

Mit dj := cj+max(p,q+1)−p wird (8.16) zu p


dj−k ak = 0 f¨ ur j ≥ p.

(8.17)

k=0

Die Gesamtheit V aller komplexen L¨ osungsfolgen {dj } = {dj : j = 0, 1, . . . } f¨ ur (8.17) bei festen Werten ak ∈ R, a0 = 1, ap = 0, bildet mit den u ¨blichen, komponentenweise definierten Operationen einen C–Vektorraum der Dimension p, da sich zu beliebig vorgegebenen Werten d0 , . . . , dp−1 die restlichen Werte dp , dp+1 , . . . rekursiv durch p (8.17) bestimmen lassen. Ist z eine (n + 1)– fache Nullstelle von A (z) = k=0 ak z k , so gilt z = 0 und die n + 1 Folgen  r −j  j z : j = 0, 1, 2, . . . , r = 0, . . . , n, (8.18) sind L¨ osungen von (8.17), die sogenannten Basisl¨ osungen, von denen es offenbar genau p gibt, wenn man alle Nullstellen von A mit ihren Vielfachheiten durchl¨ auft. Die p Basisl¨ osungen bilden eine Basis von V , sodass sich die allgemeine L¨ osung als eindeutig bestimmte Linearkombination von Basisl¨osungen schreiben l¨ asst, siehe Anhang A.4. Im Hinblick auf unsere Anwendungen interessieren uns nur reelle L¨osungsfolgen. In diesem Fall l¨ asst sich zeigen, dass die allgemeine reelle L¨osung {dj } sich als Summe von L¨ osungen der beiden folgenden Typen schreiben l¨asst. 1.Typ: (A (z) = 0, z reell) dj = κj r z −j ,

j = 0, 1, 2, . . . ,

(8.19)

mit κ ∈ R, r = 0, . . . , n, wobei n + 1 die Vielfachheit der Nullstelle z ist. 2.Typ: (A (z) = 0, z nicht reell) −j

dj = j r |z|

cos (jϕ + ϑ) ,

j = 0, 1, 2, . . . ,

(8.20)

mit  > 0, ϕ, ϑ ∈ (−π, π] , ϕ ∈ / {0, π} , r = 0, . . . , n, wobei n+1 die Vielfachheit der Nullstelle z = |z| eiϕ ist. Die Form (8.20) ergibt sich durch Zusammenfassung der Basisl¨osungen f¨ ur z und z, siehe Anhang A.4.

128

8 Die Autokovarianz und Autokorrelation von ARMA–Reihen im reellen Fall

Hat A nur Nullstellen außerhalb des Einheitskreises, so gilt in beiden obigen F¨allen |z| > 1. Dann ist (8.19) eine mit geometrischer Rate abfallende Folge und (8.20) eine mit geometrischer Rate ged¨ ampfte Kosinusschwingung. Die Gesamtl¨ osung {dj } setzt sich wie gesagt aus Summanden der beiden Typen zusammen, wobei die Werte von ϕ gem¨ aß z = |z| eiϕ durch die Nullstellen z bestimmt werden und die Werte κ, , ϑ durch d0 , . . . , dp−1 festgelegt sind.

8.3 Die Differenzengleichung fu ¨ r die Autokovarianzen und die Yule–Walker–Gleichungen bei AR–Reihen Ausgangspunkt unserer Besch¨ aftigung mit der Differenzengleichung (8.17) waren die Gleichungen (8.15) und (8.16) zur Berechnung der Koeffizienten der Potenzreihenentwicklung von B/A, u ¨ber die dann mit Formel (8.2) die Autokovarianzen γ (·) berechnet werden k¨ onnen. Nun werden wir gleich sehen, dass die Folge γ (j) , j ≥ 0, der Autokovarianzen ebenfalls die homogenen Gleiullt. Allerdings gibt es ein anderes chungen (8.16) mit cj ersetzt durch γ(j) erf¨ System von Nebenbedingungen als (8.15). Dazu beachten wir, dass f¨ ur alle j ∈ Z aus der ARMA–Gleichung (7.1) und ihrer MA–Darstellung (8.1) folgt p q

ai Xt−i , Xt−j  =

bi et−i , Xt−j 

i=0

i=0

=

=

q
i=0 q


bi et−i ,

∞


ck et−j−k 

k=0

bi ci−j σe2 ,

i=0

mit ck := 0 f¨ ur k < 0; hierbei wird die Kausalit¨ atsannahme benutzt. Wegen ur γ (j) , j =

Xt−i , Xt−j  = γ (j − i) ergeben sich analog zu (8.15) und (8.16) f¨ 0, 1, . . . , die folgenden Beziehungen p
k=0

γ (j − k) ak =

q


ck−j bk σe2 ,

j = 0, 1, 2, . . . ,

(8.21)

k=0

wobei die rechte Seite f¨ ur j ≥ q + 1 verschwindet. Im Fall der Zeitreihe aus (8.8) ergibt sich aus (8.21) Beispiel 8.4 (Fortsetzung von Beispiel 8.3, ARMA(2, 1)–Reihe) 2 1 γ(0) − γ(1) + γ(2) 2 = σe2 (1 + b(b + 2/a)) a a 1 2 γ(1) − γ(0) + γ(1) 2 = σe2 b a a 1 2 γ(j) − γ(j − 1) + γ(j − 2) 2 = 0 a a

(j = 0) (j = 1) (j ≥ 2)

(8.22)

8.3 Die Differenzengleichung f¨ ur die Autokovarianzen

129

Die allgemeine Form von γ (j) ist, da a zweifache Nullstelle von A (z) ist, γ (j) = σe2 (κ1 + κ2 j) a−j ,

j = 0, 1, 2, . . . ,

(8.23)

mit geeigneten reellen Konstanten κ1 und κ2 . Einsetzen von (8.23) in (8.22) f¨ ur j = 0 und j = 1 liefert die Gleichungen κ1 − 2κ2 (a2 − 1)−1 = (a4 /(a2 − 1)2 )(1 + b(b + 2/a)) −κ1 + κ2 (a2 + 1)/(a2 − 1) = ba3 /(a2 − 1). Man rechnet sofort nach, dass die L¨ osung (κ1 , κ2 ) dieses Gleichungssystems erneut (8.11) ergibt.   Die Beziehungen (8.21) k¨ onnen auch dazu verwendet werden, bei gegebenen Werten der γ (j), z.B. insbesondere bei vorliegenden Sch¨atzwerten, die zugeh¨origen Parameter a1 , . . . , ap und b1 , . . . , bq sowie σe2 zu berechnen. Diese Vorgehensweise ist besonders f¨ ur AR(p)–Reihen geeignet, also f¨ ur den Fall q = 0, den wir nun voraussetzen wollen. Mit den Bezeichnungen Γp := (γ(i − j))i,j=1,...,p , T

sowie a = (a1 , . . . , ap ) Gleichungen

T

γp := (γ (1) , . . . , γ (p))

(8.24)

ergibt (8.21) f¨ ur j = 0, 1, . . . , p die Yule–Walker–

γ (0) + aT γp = σe2

(j = 0)

(8.25)

und f¨ ur j = 1, . . . , p in vektorieller Form geschrieben Γp a + γp = 0.

(8.26)

Wie schon bemerkt, k¨ onnen (8.25) und (8.26) dazu verwendet werden, um aus Sch¨ atzwerten γ (0) , . . . , γ (p) der Autokovarianzen die Varianz σe2 und die Parameterwerte a1 , . . . , ap der AR(p)–Reihe zu sch¨atzen. Ein naheliegender Sch¨ atzer γ (h) f¨ ur γ (h) bei Vorliegen von Beobachtungen X1 , . . . , Xn ist die Stichprobenautokovarianz, vgl. (2.29). γ (h) =

n−|h|   1
 Xt − X n Xt+|h| − X n , n t=1

|h| ≤ n − 1,

(8.27)

mit dem Stichprobenmittel X n = (X1 + · · · + Xn ) /n. Setzt man noch γ (h) = 0 f¨ ur |h| ≥ n, so l¨ asst sich leicht zeigen (Aufgabe 8.3), dass f¨ ur jede Folge von Realisierungen der X1 , . . . , Xn die Funktion γ : Z → R positiv semidefinit ist. Wenn nicht alle Realisierungen gleich sind, so gilt offenbar γ (0) > 0. Das  = ( ap ) folgende Resultat liefert dann eindeutig bestimmte L¨osungen a a1 , . . . ,  ur (8.25) und (8.26) (mit γ ersetzt durch γ ). Man spricht dann von und σ 2 f¨ ap und σ 2 . Yule–Walker–Sch¨ atzern  a1 , . . . , 

130

8 Die Autokovarianz und Autokorrelation von ARMA–Reihen im reellen Fall

Satz 8.5 Sei γ : Z → R eine reelle Kovarianzfunktion mit γ (h) → 0 f¨ ur h → ∞, sowie ur jedes n ≥ 1. γ (0) > 0. Dann ist Γn := (γ (i − j))i,j=1,...,n nicht ausgeartet f¨ Beweis: Sei X = (Xt : t ∈ Z) ein reeller, station¨arer, zentrierter Prozess mit ur ein n ausgeartet, so gibt es ein maximales γ als Kovarianzfunktion. Ist Γn f¨ r ≥ 1 derart, dass Γr nicht ausgeartet ist. Es existiert dann ein Vektor c = T (c1 , . . . , cr+1 ) ∈ Rr+1 , cr+1 = 1, mit r+1 )2 )
) ) cj Xt+j ) = cT Γr+1 c = 0, )

∀ t ∈ Z.

j=1

Insbesondere gilt Xt ∈ span{Xt−1 , . . . , Xt−r }, ∀ t ∈ Z, also iterativ auch Xt ∈ ur einen Vektor at ∈ Rr gilt demnach mit X = span{X1 , . . . , Xr }, ∀t ≥ 1. F¨ T (X1 , . . . , Xr ) die Gleichung Xt = aTt X ∀ t ≥ 1. Multiplikation mit Xj , j = T 1, . . . , r, und Erwartungswertbildung liefert f¨ ur γt = (γ (t − 1) , . . . , γ (t − r)) T T T T −1 die Gleichung γt = at Γr , also Xt = at X = γt Γr X und damit schließlich γ (0) = Xt 2 = γTt Γr−1 Γr Γr−1 γt = γTt Γr−1 γt ,

∀ t ≥ 1.

Wegen γt → 0 f¨ ur t → ∞ und γ (0) > 0 ergibt sich ein Widerspruch.

 

Beispiel 8.6 (Sonnenfleckendaten) Aus den Daten der Sonnenfleckent¨ atigkeit, vergleiche Abbildung 2.11, ergaben sich in Kapitel 2 f¨ ur die gesch¨ atzten Autokorrelationen h := γ(h)/γ (0) die Werte 1 = 0.82043,

2 = 0.45021 .

Wir wollen zu diesen Werten die Parameter  a1 ,  a2 , einer AR(2)–Reihe berechnen. Die Division von (8.21) durch γ (0) liefert zun¨achst entsprechende Gleichungen f¨ ur die Autokorrelation h = γ (h) /γ (0) . Wir ersetzen dabei atzwerte h und erhalten gleich h durch die Sch¨ 1+ a1 1 +  a2 2 = σ e2 /γ (0) 1 +  a1 +  a2 1 = 0 a1 1 +  a2 = 0 2 + 

(j = 0) (j = 1) (j = 2) .

Aus den Gleichungen f¨ ur j = 1 und j = 2 ergibt sich      a2 = 21 − 2 / 1 − 21 = 0.682  a1 = − 1 (1 +  a2 ) = −1.380 . Unter Verwendung von γ (0) = 1634.08 erh¨ alt man einen Sch¨atzwert f¨ ur σe2 gem¨aß

8.3 Die Differenzengleichung f¨ ur die Autokovarianzen

131

σ e2 = γ (0) (1 +  a1 1 +  a2 2 ) = 285.72 = 16.902 . Die zugeh¨ orige z–Transformation des gesch¨ atzten AR(2)–Modells lautet A (z) = 1 +  a1 z +  a2 z 2 = 1 − 1.380 · z + 0.682 · z 2 und besitzt die komplexen Nullstellen z1/2 = 1.012 ± 0.665 i bzw. in Polarkoordinaten–Darstellung z1/2 = 1.211e±0.581 i . Die Tatsache, dass die z–Transformation lediglich zwei komplexe Nullstellen hat, f¨ uhrt uns sowohl bei der Berechnung der Koeffizienten der MA(∞)–Darstellung wie der Autokorrelationsfunktion zum 2. Typ (vgl. (8.20)) von L¨osungen der zugeh¨origen Differenzengleichung. Die graphische Darstellung der Autokorrelationsfunktia2 in Abbildung on des gesch¨ atzten AR(2)–Modells mit Parametern  a1 und  8.1 zeigt demgem¨ aß das Verhalten einer geometrisch ged¨ampften Kosinusschwingung. Aus der Polarkoordinatendarstellung erkennt man sofort, dass die Nullstellen

1.0 0.8 0.6 0.4 0.2 0.0 −0.2 −0.4 −0.6 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

Abb. 8.1 Autokorrelationsfunktion des aus den Sonnenfleckenzahlen gesch¨ atzten AR(2)–Modells Xt − 1.380Xt−1 + 0.682Xt−2 = et

z1/2 der z–Transformation A betragsm¨ aßig gr¨ oßer als 1 sind. Die gesch¨atzte a2 ist also kausal. Dass dies kein AR(2)–Reihe mit den Koeffizenten  a1 ,  gl¨ ucklicher Zufall ist, sondern bei Verwendung des Yule–Walker–Sch¨atzers stets gilt, besagt der folgende Satz.  

132

8 Die Autokovarianz und Autokorrelation von ARMA–Reihen im reellen Fall

Satz 8.7 Sei γ(h), h ∈ N0 , eine reelle Kovarianzfunktion derart, dass die Kovarianzur ein festes p ∈ N. matrix Γp+1 = (γ (|i − j|))i,j=1,...,p+1 positiv definit ist f¨ T

Mit γp := (γ (1) , . . . , γ (p)) Gleichung

sei a := (a1 , . . . , ap )

T

L¨ osung der Yule–Walker–

Γp a + γp = 0. p Dann hat die z–Transformation A (z) = 1 + j=1 aj z j nur Nullstellen außerhalb des Einheitskreises. Beweis: Sei Y = (Yt : t ∈ Z) eine reelle station¨are Zeitreihe mit Autokovarianzfunktion γ (·). Da wir es im Beweisverlauf auch mit komplexwertigen Zufallsvariablen zu tun haben werden, fassen wir dabei alle vorkommenden Zufallsvariablen als Elemente des komplexen LC 2 (Ω, A, P ) auf mit dem komplexen inneren Produkt ·, · und zugeh¨ origer Norm · . Wir werden jetzt zeigen, dass Yp+1 := − (a1 Yp + · · · + ap Y1 ) die Projektion von Yp+1 auf span{Y1 , . . . , Yp } ist. Dazu ist zu zeigen, dass Yp+1 − Yp+1 senkrecht auf allen Yj , j = 1, . . . , p, steht. Nun gilt aber

Yp+1 +

p


ak Yp+1−k , Yj  = γ (p + 1 − j) +

k=1

p


ak γ (p + 1 − k − j) ,

k=1

f¨ ur j = 1, . . . , p, was gerade der komponentenweise geschriebene Ausdruck Γp a + γp ist, der nach Voraussetzung verschwindet. Sei 1/a ∈ C eine Nullstelle von A. Dann hat A (z) die Darstellung A (z) = (1 − az) A0 (z) mit einem geeignetem Polynom A0 (z) = 1 + Gleichheit a =  := mit Zj := Yj +

p−1 k=1

p−1 k=1

αk z k . Wir zeigen nun die

Zp+1 , Zp  Zp+1 Zp

αk Yj−k . Dazu definieren wir das Polynom

 (z) = 1 + A

p


= ak z k := (1 − z) A0 (z)

k=1

und erhalten mit dem Lag–Operator L gem¨ aß LYt = Yt−1

(8.28)

8.4 Identifizierbarkeit der Parameter von ARMA–Zeitreihen p 2 
   (L) Yp+1 |2 E Yp+1 +  ak Yp+1−k  = E|A

133

(8.29)

k=1

= E| (1 − L) A0 (L) Yp+1 |2 = E |(1 − L) Zp+1 |

2

2

= E |Zp+1 − Zp | . Eine entsprechende Rechnung f¨ ur A (z) liefert p 2 
  ak Yp+1−k  = E|Zp+1 − aZp |2 . E Yp+1 +

(8.30)

k=1

Die Projektionseigenschaft von Yp+1 besagt nun, dass die linke Seite von (8.30) kleiner oder gleich der linken Seite von (8.29) ist. Da wegen der Stationarit¨at von Y auch Zp+1 = Zp gilt, ist Zp = (Zp / Zp ) · Zp+1 , Zp / Zp  die Projektion von Zp+1 auf span{Zp }, woraus nun folgt, dass die rechte Seite von (8.30) gr¨ oßer oder gleich der rechten Seite von (8.29) ist. Beide Ausdr¨ ucke (8.29) und (8.30) sind also gleich, woraus wegen der Eindeutigkeit der Projektion  = a folgt. Aus der Cauchy–Schwarz–Ungleichung folgt unmittelbar, dass || ≤ 1 gilt. W¨are || = 1, so erhielte man nach einfacher Rechnung Zp+1 − Zp 2 = 0, f¨ ur Zp bzw. Zp+1 also Zp+1 = Zp . Einsetzen in die Definitionsgleichung p f¨ uhrt zu einer Darstellung Yp+1 = b Y f¨ u r geeignete Koeffizienten k=1 k k T ur b := (1, −b1 , . . . , −bp ) die Gleichung b1 , . . . , bp ∈ C. Hieraus folgt f¨ bT Γp+1 b = 0 im Widerspruch zur positiven Definitheit von Γp+1 , vergleiche Bemerkung 3.3. Insgesamt gilt f¨ ur die Nullstelle 1/a von A also |1/a| > 1.   Bemerkung 8.8 F¨ ur die Anwendung wird der Satz 8.7 besonders wichtig, wenn wir dort f¨ ur γ eine gesch¨ atzte Autokovarianzfunktion verwenden und die daraus resultierenden Yule–Walker–Parametersch¨ atzer im Auge haben. Wenn wir sicherstellen, dass unser Sch¨ atzer der Autokovarianzfunktion selbst die Eigenschaften einer Autokovarianzfunktion gem¨ aß Satz 3.1 tr¨ agt (was wir in Aufgabe 8.3 f¨ ur die Stichprobenautokovarianz nachgewiesen haben!) und die Matrix Γp+1 positiv definit ist (was im konkreten Einzelfall schnell u uft werden kann), dann ¨berpr¨ ist garantiert, dass das gesch¨ atzte autoregressive Modell der Ordnung p stets station¨ ar und auch kausal ist. Diese Tatsache ist f¨ ur die reale Anwendung von großem Nutzen und ist sicher mit ein Grund f¨ ur die große Bedeutung autoregressiver Zeitreihenmodelle.  

8.4 Identifizierbarkeit der Parameter von ARMA–Zeitreihen Im vorangegangenen Abschnitt haben wir bereits den Yule–Walker–Sch¨atzer f¨ ur autoregressive Zeitreihenmodelle verwendet (siehe Beispiel 8.6). In Kapitel

134

8 Die Autokovarianz und Autokorrelation von ARMA–Reihen im reellen Fall

11 werden wir eingehend Sch¨ atzverfahren f¨ ur die Parameter in ARMA(p, q)– Modellen untersuchen. Bevor man sich sinnvoll mit Sch¨atzverfahren auseinander setzen kann, ist die grundlegende Frage zu kl¨ aren, inwieweit die Parameter von AR(p)– und genauso von ARMA(p, q)–Modellen u ¨berhaupt eindeutig be¨ stimmt sind. Wir wollen diesbez¨ ugliche Uberlegungen jetzt anstellen. Betrachten wir dazu zun¨ achst AR(p)–Zeitreihen X = (Xt : t ∈ Z). Die Frage ist, ob X m¨ oglicherweise f¨ ur zwei verschiedene Parameters¨atze p, a1 , . . . , ap , σe2 ∗ ∗ ∗ 2 und p , a1 , . . . , ap∗ , σe∗ jeweils einem autoregressiven Schema gen¨ ugen kann. Der folgende Satz besagt, dass dies f¨ ur kausale und station¨are Autoregressionen nicht m¨ oglich ist. Satz 8.9 (Identifizierbarkeit autoregressiver Modelle) Die Autokorrekationsfunktion einer kausalen AR–Zeitreihe X = (Xt : t ∈ Z) bestimmt sowohl die Ordnung p als auch die Koeffizienten a1 , . . . , ap eindeutig. Damit ist offensichtlich auch das weiße Rauschen und insbesondere dessen Varianz σe2 festgelegt. achst gilt f¨ ur ARMA–Zeitreihen stets γ(0) > 0, denn γ(0) = 0 Beweis: Zun¨ = 0 zu Xt = 0 f.s. und aß (7.1) zu dem Widerspruch f¨ uhrt wegen EX t q gem¨ q 0 = V ar(et + j=1 bj et−j ) = σe2 · (1 + j=1 b2j ). Mit  bezeichnen wir die zugrunde liegende Autokorrelationsfunktion. Da (h) → 0 f¨ ur h → ∞ (vergleiche Bemerkung 8.1) folgt wegen Satz 8.5, dass die Autokorrelationsmatrix ((r − s) : r, s = 1, . . . , p) f¨ ur alle p ∈ N nicht ausgeartet ist. Nehmen wir an, dass X = (Xt : t ∈ Z) sowohl eine AR(p)–Darstellung mit Koeffizienten a1 , . . . , ap als auch eine AR(p∗ )–Darstellung mit Koeffizienten ullt. Hierbei gilt notwendigerweise ap , a∗p∗ = 0. a∗1 , . . . , a∗p∗ erf¨ Ohne Einschr¨ ankung sei p ≤ p∗ . Dann gelten die beiden folgenden Yule– Walker–Gleichungen (vergleiche (8.26)) (h) +

p


aj (h − j) = 0 , h = 1, 2, . . .

(8.31)

a∗j (h − j) = 0 , h = 1, 2, . . . .

(8.32)

j=1

und ∗

(h) +

p
j=1

Das lineare Gleichungssystem ∗

 T

((1), . . . , (p )) =

(r − s) r, s = 1, . . . , p∗

 c

besitzt also mindestens die beiden L¨ osungen T  T c1 = − a∗1 , . . . , a∗p∗ und c2 = − (a1 , . . . , ap , 0, . . . , 0) ,

8.4 Identifizierbarkeit der Parameter von ARMA–Zeitreihen

135

was im Fall p∗ > p wegen der Invertierbarkeit der Autokorrelationsmatrix und der daraus resultierenden Eindeutigkeit der L¨osungen des obigen Gleiur chungssystems zum Widerspruch a∗p∗ = 0 und im Fall p = p∗ zu aj = a∗j f¨ uhrt.   j = 1, . . . , p (= p∗ ) f¨ Wir wollen dieses Resultat nun auf ARMA–Zeitreihen erweitern. Es gilt Satz 8.10 (Identifizierbarkeit von ARMA–Modellen) X = (Xt : t ∈ Z) sei eine ARMA–Zeitreihe. Die aus den q Parametern gebildep ogen keine ten Polynome A(z) = 1 + j=1 aj z j und B(z) = 1 + k=1 bk z k m¨ gemeinsamen Nullstellen z und nur solche mit |z| > 1 besitzen. Letzteres ist gerade die Forderung, dass X kausal und invertibel ist. In dieser Modellklasse sind sowohl die Ordnungen p und q sowie die Koeffizienten a1 , . . . , ap und b1 , . . . , bq (und mit Hilfe der Invertibilit¨ at auch das weiße Rauschen) eindeutig bestimmt. Beweis: Gem¨ aß (7.15) lautet die Spektraldichte von X = (Xt : t ∈ Z) fX (ω) =

σe2 |B(e−iω )|2 , ω ∈ [−π, π] . 2π |A(e−iω )|2

(8.33)

X gen¨ uge nun einer weiteren ARMA(p∗ , q ∗ )–Gleichung mit einem Parametersatz a∗1 , . . . , a∗p∗ , b1 , . . . , b∗q∗ und σe2∗ , wobei die entsprechenden Polynome A∗ (z) und B ∗ (z) ebenfalls keine gemeinsamen Nullstellen z und nur solche mit |z| > 1 besitzen. Genauso wie eben erhalten wir die weitere Darstellung der Spektraldichte fX (ω) =

σe2∗ |B ∗ (e−iω )|2 , ω ∈ [−π, π] . 2π |A∗ (e−iω )|2

(8.34)

Nun betrachten wir die folgende kausale AR–Gleichung A(L)B ∗ (L)Yt = ηt ,

∀t ∈ Z,

(8.35)

f¨ ur ein weißes Rauschen η = (ηt : t ∈ Z) mit ση2 = 1. Erneut nach Satz 7.6 lautet die Spektraldichte der eindeutig bestimmten L¨osung Y = (Yt : t ∈ Z) fY (ω) =

1 ∗ −iω ∗ −iω −2 |A (e )B (e )| , ω ∈ [−π, π] . 2π

(8.36)

Nun wenden wir den Filter A∗ (L)B(L) auf Y an und erhalten ηt∗ := A∗ (L)B(L)Yt ,

∀t ∈ Z,

wobei η ∗ = (ηt∗ : t ∈ Z) aufgrund von (6.5) die Spektraldichte 1 |A∗ (e−iω )B(e−iω )|2 , ω ∈ [−π, π] , 2π |A(e−iω )B ∗ (e−iω )|2

(8.37)

136

8 Die Autokovarianz und Autokorrelation von ARMA–Reihen im reellen Fall

besitzt. Wegen (8.33) und (8.34) ist dieser Ausdruck gleich (2π)−1 σe2∗ /σe2 , so dass η ∗ ebenfalls ein weißes Rauschen darstellt. Y erf¨ ullt also sowohl die autoregressive Gleichung (8.35) als auch (8.37). Da beide Darstellungen kausal sind, folgt mit der Eindeutigkeit der Parameter aus Satz 8.9 A(z)B ∗ (z) = A∗ (z)B(z) ∀z ∈ C und ση2 = ση2∗ . Da A und B sowie A∗ und B ∗ jeweils keine gemeinsamen Nullstellen besitzen folgt, dass sowohl die Nullstellen der Polynome A und A∗ als auch ussen. die Nullstellen der Polynome B und B ∗ komplett u ¨bereinstimmen m¨ Hieraus folgt, dass sich die Polynome A und A∗ (und genauso B und B ∗ ) jeweils nur um einen konstanten Faktor unterscheiden k¨onnen. Wegen A(0) = A∗ (0) = B(0) = B ∗ (0) = 1 folgt jedoch, dass dieser Faktor gleich eins sein muss. Damit ergibt sich schließlich A∗ = A und B ∗ = B, woraus wie behauptet p = p∗ , q = q ∗ , aj = a∗j (j = 1, . . . , p) und bk = b∗k (k = 1, . . . , q) folgt.  

Aufgaben Aufgabe 8.1 Gegeben sei ein weißes Rauschen e = (et : t ∈ Z) mit et ∼ (0, 1). Man bestimme die Autokovarianzfunktion der AR(3)–Zeitreihe Xt − 0.6Xt−1 + 0.11Xt−2 − 0.006Xt−3 = et . Hinweis: F¨ ur das Aufstellen der allgemeinen L¨ osung der Differenzengleichung f¨ ur die Autokovarianzen ist die Zerlegung (1−0.1L)(1−0.2L)(1−0.3L)Xt = et hilfreich. Aufgabe 8.2 Man l¨ ose die folgenden homogenen linearen Differenzengleichungen unter Beachtung der Anfangsbedingungen: a) dj −

3 9 1 dj−1 + dj−2 − dj−3 = 0, 2 16 16

j = 3, 4, . . .

d0 = 19, d1 = 9, d2 = 5. b) dj −

8 1 dj−1 + dj−2 = 0, 25 25

j = 2, 3, . . .

d0 = 5, d1 = 1. Hinweis: Aufgabenteil b) f¨ uhrt zun¨ achst auf komplexe L¨osungen. Man stelle die zugeh¨ origen reellen L¨ osungen gem¨ aß Gleichung (A.50) auf und bestimme

8.4 Identifizierbarkeit der Parameter von ARMA–Zeitreihen

137

die dortigen Parameter ρ und θ auf numerischem Wege gem¨aß der Anfangsbedingungen. Man u ufe die (expliziten) L¨ osungen in a) und b) durch ¨berpr¨ direkte (rekursive) Berechnung der ersten Folgenglieder dj . Aufgabe 8.3 Seien x1 , . . . , xn reelle Zahlen und n−h


g(h) :=

xt xt+h ,

h = 0, 1, 2, n − 1,

t=1

und g(h) = 0 f¨ ur h ≥ n, sowie g(−h) := g(h). F¨ ur G(p) := (g(| r − s |) : r, s = 1, . . . , p), p ∈ N, zeige man die Darstellung G(p) = AT A f¨ ur eine geeignete (n + p − 1) × p–Matrix A. Hieraus folgere man die positive Semidefinitheit von G(p) und zeige dar¨ uber hinaus, dass G(p) nicht ausgeartet ist, sobald nicht alle xt verschwinden. Insbesondere folgt, dass der Autokovarianzsch¨ atzer γX positiv semidefinit ist. Aufgabe 8.4 Gegeben sei eine reelle, station¨ are, zentrierte Zeitreihe X = (X(t) : t ∈ Z) mit Kovarianzfunktion γ(t) → 0 f¨ ur t → ∞. Man definiere die partielle Autokorrelationsfunktion π(k) wie in Abschnitt 2.5. F¨ ur festes t definiere man X ∗ (t + n + 1) :=

n


ani X(t + n + 1 − i); X ∗ (t) :=

i=1

n


bnj X(t + j),

j=1

wobei die Koeffizienten ani , bnj zu bestimmen sind durch Minimierung der Zielfunktion Z1 = E(X(t + n + 1) − X ∗ (t + n + 1))2 , Z2 = E(X(t) − X ∗ (t))2 . a) Man zeige durch Differentiation der Zielfunktionen Z1 , Z2 nach ani , bzw. osung des Gleichungssystems bnj , dass an = (an1 , . . . , ann )T L¨ Γn · an = (γ(1), . . . , γ(n))T ist und ani = bni ∀ i gilt. Dabei ist Γn die n × n–Kovarianzmatrix. b) Mit a) leite man direkt aus der Definition der partiellen Autokorrelation die folgende Gleichung her: n γ(n + 1) − i=1 ani γ(n + 1 − i) n , n = 1, 2, . . . . π(n + 1) = γ(0) − i=1 ani γ(i) c) Man folgere aus (2.39) mit Hilfe der Cramerschen Regel f¨ ur die partielle Autokorrelationsfunktion π(n) : π(n) =

det Γn , det Γn

wobei Γn die Matrix bezeichnet, die aus Γn durch Ersetzen der letzten Spalte durch (γ(1), . . . , γ(n))T entsteht.

138

8 Die Autokovarianz und Autokorrelation von ARMA–Reihen im reellen Fall

Aufgabe 8.5 Gegeben sei eine reelle MA(1)–Reihe Xt = et +bet−1 , ∀ t ∈ Z, ur die partielle b ∈ (−1, 1) mit weißem Rauschen et ∼ (0, σe2 ). Man zeige f¨ Autokorrelation −(−b)n (1 − b2 ) π(n) = . 1 − b2(n+1) Hinweis: Man verwende Teil c) der vorigen Aufgabe. Zur Berechnung von det Γn =: cn entwickle man mit dem Laplaceschen Entwicklungssatz nach der ersten Spalte von Γn und verwende diesen danach noch weiter, um schließlich auf die Differenzengleichung cn − σe2 (1 + b2 )cn−1 + σe4 b2 cn−2 = 0 zu kommen. Diese l¨ose man wie in Abschnitt 8.2 beschrieben. Man kommt auf den Fall mit zwei reellen Nullstellen z1 , z2 , wobei in der allgemeinen Darstellung der L¨ osung cn = κ1 z1−n +κ2 z2−n die Werte κ1 , κ2 durch die bekannten (zu bestimmenden) Werte von c1 und c2 festgelegt werden. Den Wert von det Γn bestimmt man direkt durch Entwicklung nach der letzten Spalte. Aufgabe 8.6 Sei X = (Xt : t ∈ Z) eine reelle, station¨are, zentrierte Zeitreihe mit Kovarianzfunktion γ(h) und Spektralmaß µ . r a) F¨ ur reelle Konstanten c1 , . . . , cr zeige man mit C(z) := j=1 cj z j r r

j=1 k=1

% cj ck γ(j − k) =

(−π,π]

|C(eiω )|2 µ(dω) .

b) Man zeige: Die Kovarianzmatrix Γr := (γ(j − k))j,k=1,...,r ist ausgeartet f¨ ur mindestens ein r, genau dann wenn µ ein Maß mit endlichem Tr¨ager ist. are, zentrierte, reelle Zeitreihe Aufgabe 8.7 Sei X = (Xt : t ∈ Z) eine station¨ und π(n) :=

Xn+1 − Pspan{X2 ,...,Xn } Xn+1 , X1 − Pspan{X2 ,...,Xn } X1  ||Xn+1 − Pspan{X2 ...,Xn } Xn+1 || · ||X1 − Pspan{X2 ,...,Xn } X1 ||

die partielle Autokorrelation, n ≥ 2. a) Man berechne π(2) direkt aus der Definition. b) Man berechne π(2) mit Hilfe von Aufgabe 8.4 c). c) Ist X eine AR(2)–Reihe, so dr¨ ucke man π(2) mit Hilfe von a1 , a2 aus.

9 Deterministische und rein nicht–deterministische Zeitreihen

Wir wollen in diesem Abschnitt bei einer station¨aren, komplexen, zentrierunftige ten Zeitreihe X = (Xt : t ∈ Z) die Frage untersuchen, wie gut die zuk¨ Zufallsvariable Xt+τ durch eine Linearkombination von Xs , s ≤ t, also der gesamten Vergangenheit bis zum Zeitpunkt t, im komplexen Raum LC 2 (Ω, A, P ) approximiert (linear vorhergesagt) werden kann. In der Realit¨ at ist nat¨ urlich nicht die gesamte unendliche Vergangenheit ¨ dieses Abschnitts Xs , s ≤ t, zum Zeitpunkt t bekannt. Die Uberlegungen k¨onnen demgem¨ aß nur approximativ gelten, wenn eine gen¨ ugend lange Vorgeschichte bekannt ist. Den realistischeren Fall von Vorhersagen bei endlicher Vergangenheit hatten wir schon in Kapitel 4 behandelt. Die Verwendung der ¨ unendlichen Vergangenheit erlaubt es jedoch, einige grunds¨atzliche Uberlegungen zur Natur schwach station¨ arer Zeitreihen anzustellen. Wir bezeichnen mit H (X) den linearen Teilraum span {Xt : t ∈ Z} von LC 2 (Ω, A, P ) und entsprechend Ht (X) = span 1 {Xs : s ≤ t} . Offenbar gilt ur s ≤ t . H−∞ (X) := t∈Z Ht (X) ist ein TeilhilbertHs (X) ⊂ Ht (X) f¨ raum von H (X) . Er besteht anschaulich gesprochen aus all den Elementen von H (X) , die zu jedem Zeitpunkt t ∈ Z bekannt sind. Dies f¨ uhrt zu nachfolgender Definition. Zuvor sei bemerkt, dass wir im Folgenden konsequent im komplexen Raum LC 2 (Ω, A, P ) arbeiten. Definition 9.1 (Deterministische und rein nicht–deterministische Reihen) Sei X = (Xt : t ∈ Z) eine station¨ are, zentrierte, komplexe Zeitreihe. a) X heißt deterministisch, falls H−∞ (X) = H (X) gilt, d.h. falls f¨ ur alle ullt ist. t ∈ Z die Gleichheit Ht (X) = H (X) erf¨ b) X heißt rein nicht–deterministisch, falls H−∞ (X) = {0} gilt. Es wird sich im nachfolgenden Abschnitt 9.1 zeigen, dass station¨are Zeitreihen eindeutig in deterministische und rein nicht–deterministische Zeitreihen zerlegt werden k¨ onnen (Wold–Zerlegung). Die im Rahmen einer stochastischen Behandlung von Zeitreihen besonders interessanten rein nicht–

140

9 Deterministische und rein nicht–deterministische Zeitreihen

deterministischen Zeitreihen besitzen stets eine MA(∞)–Darstellung, aller¨ dings nur mit einem unkorrelierten weißen Rauschen (vgl. Satz 9.3). Uber den Vorhersagefehler bei station¨ aren Zeitreihen gibt Satz 9.4 Auskunft. F¨ ur die Beurteilung der Bedeutung der Modellklasse der autoregressiven und moving average Zeitreihen betrachten wir in Abschnitt 9.2 eine entsprechende Approximation der Spektraldichten von allgemeinen station¨aren Zeitreihen durch solche von AR– bzw. MA–Zeitreihen. Die auf den ersten Blick aufw¨ andiger erscheinende grunds¨atzliche Formulierung vieler unser Resultate in der Welt der komplexen Zeitreihen hat haupts¨ achlich den schon fr¨ uher erw¨ ahnten Grund, dass der wichtige Spektralsatz, der immer wieder verwendet wird, viel besser in der komplexen Welt formuliert werden kann. W¨ urden wir von reellen Zeitreihen ausgehen, so m¨ usste stets die Frage untersucht werden, ob durch die Anwendung des Spektralsatzes ¨ nicht ein Ubergang in die komplexe Welt erzwungen w¨ urde. Folglich m¨ ussten wir untersuchen, ob resultierende Zeitreihen dann auch wieder reell sind. Wir haben uns dazu entschieden, grunds¨ atzlich von einer komplexwertigen Darstellung der Zeitreihen auszugehen und werden, wo immer dies m¨oglich ist (z.B. in Lemma 9.9), zeigen, dass die resultierenden Zeitreihen bei reellwertigen Ausgangszeitreihen selbst wieder reell sind. So hoffen wir der Tatsache Rechnung zu tragen, dass reellwertige Zeitreihen nat¨ urlich in der realen Anwendung die absolut dominierende Rolle spielen.

9.1 Die Wold–Zerlegung Der folgende Satz von Wold gibt einen grundlegenden Aufschluss u ¨ber die Struktur station¨ arer Zeitreihen. Satz 9.2 (Zerlegungssatz von Wold) Eine station¨ are, zentrierte, komplexe Zeitreihe X = (Xt : t ∈ Z) kann auf genau eine Weise zerlegt werden gem¨ aß Xt = X1t + X2t ,

∀ t ∈ Z,

(9.1)

wobei X1 = (X1t : t ∈ Z) rein nicht–deterministisch und X2 = (X2t : t ∈ Z) deterministisch ist, sowie X1s ⊥ X2t ∀ t, s ∈ Z ( X1 und X2 heißen dann orthogonal) und X1t , X2t ∈ Ht (X) ∀ t ∈ Z gelten. Beweis: Zum Nachweis der Existenz sei X2t := P−∞ Xt und X1t := Xt − X2t , t ∈ Z. Dabei bezeichnet P−∞ die Projektion auf den linearen Teilraum H−∞ (X) . Dann folgt X2t ∈ H−∞ (X) ⊂ Ht (X), also auch X1t ∈ Ht (X) . Wegen X2t ∈ H−∞ (X) und X1t ⊥ H−∞ (X) folgt X1s ⊥ X2t ∀ s, t ∈ Z. Aus X1t ∈ Ht (X) ∀ t ∈ Z erhalten wir H−∞ (X1 ) ⊂ H−∞ (X) . Andererseits gilt X1t ⊥ H−∞ (X) nach Konstruktion, also H−∞ (X1 ) = {0}, d.h. X1 ist rein nicht–deterministisch. In Aufgabe 9.6 wird die Stationarit¨at von X1

9.1 Die Wold–Zerlegung

141

nachgewiesen, aus der dann auch diejenige von X2 folgt. Wir zeigen nun, dass X2 deterministisch ist. Wegen X2t ∈ H−∞ (X) ∀ t ∈ Z folgt H (X2 ) ⊂ H−∞ (X) . Andererseits folgt aus (9.1) Ht (X) = Ht (X1 ) ⊕ Ht (X2 ) . Hieraus ergibt sich H−∞ (X) ⊂ Ht (X1 ) ⊕ Ht (X2 ) ∀ t ∈ Z. Da aber Ht (X1 ) ⊥ H−∞ (X) gilt, erh¨alt man sogar H−∞ (X) ⊂ Ht (X2 ) ⊂ H−∞ (X) ∀ t ∈ Z, woraus die Behauptung Ht (X2 ) = H (X2 ) ∀ t ∈ Z folgt. Zum abschließenden Nachweis der Eindeutigkeit der Zerlegung sei Xt = X1t +X2t eine beliebige Zerlegung mit den Eigenschaften des Satzes. Dann gilt zun¨achst wie oben Ht (X) = Ht (X1 ) ⊕ Ht (X2 ) = Ht (X1 ) ⊕ H (X2 ) , ∀ t ∈ Z, da X2 deterministisch ist. Hieraus folgt auch die Gleichheit H−∞ (X) = H−∞ (X1 ) ⊕ H (X2 ), wobei die Inklusion ⊃“ offensichtlich ist und ⊂ “ aus ” ” der Tatsache folgt, dass ein Element Z ∈ H−∞ (X) ⊂ Ht (X1 ) ⊕ H (X2 ) ∀ t ∈ Z eine orthogonale Zerlegung Z = Z1 + Z2 besitzt mit Z2 ∈ H (X2 ) und Z1 ∈ Ht (X1 ) ∀ t, also mit Z1 ∈ H−∞ (X1 ) . Wegen H−∞ (X1 ) = {0} folgt also H−∞ (X) = H (X2 ) . Damit gilt X2t ∈   H−∞ (X) und X1t ⊥ H (X2 ) = H−∞ (X) , also X2t = P−∞ Xt ∀ t ∈ Z . Wir werden nun zeigen, dass jede rein nicht–deterministische Zeitreihe eine MA(∞)–Darstellung besitzt. Satz 9.3 (MA(∞)–Darstellung rein nicht–deterministischer Zeitreihen) a) Sei X = (Xt : t ∈ Z) eine station¨ are, zentrierte, komplexe, rein nicht– deterministische Zeitreihe, die nicht identisch verschwindet. Dann gibt es ein weißes Rauschen e = (et : t ∈ Z) und Konstanten cj ∈ C, j = 0, 1, 2, . . . , mit ∞ 2 j=0 |cj | < ∞ derart, dass Xt =

∞


cj et−j ,

∀ t ∈ Z,

(9.2)

j=0

gilt. Das weiße Rauschen e kann so gew¨ ahlt werden, dass Ht (X) = Ht (e) f¨ ur alle t ∈ Z gilt. b) Umgekehrt folgt aus einer Darstellung (9.2) mit einem beliebigen weißen Rauschen e = (et : t ∈ Z), dass X rein nicht–deterministisch ist. Bevor wir uns dem Beweis des obigen Satzes zuwenden, definieren wir f¨ ur t ∈ Z den Shift–Operator Tt : H (X) → H (X) durch die Festlegung at von X gilt Xs1 , Xs2  = Tt Xs = Xs+t ∀ s ∈ Z . Wegen der Stationarit¨

Xs1 +t , Xs2 +t  = Tt Xs1 , Tt Xs2  ∀ s1 , s2 ∈ Z. Nach dem Isometriesatz 5.3 ist Tt als Isometrie durch die obige Festlegung bestimmt. Folglich gilt Tt Hs (X) = Ht+s (X),

∀ s, t ∈ Z.

Weiter gilt f¨ ur die Projektionen Pt auf den Raum Ht (X)

(9.3)

142

9 Deterministische und rein nicht–deterministische Zeitreihen

∀ r, s, t ∈ Z.

Tr Ps Xt = Pr+s Xr+t ,

(9.4)

Letzteres sieht man folgendermaßen: Wegen Ps Xt ∈ Hs (X) und Xt − Ps Xt ⊥ Hs (X) folgt Tr Ps Xt ∈ Hr+s (X) und Xt+r − Tr Ps Xt = Tr (Xt − Ps Xt ) ⊥ Tr Hs (X) = Hr+s (X). Damit ist Tr Ps Xt die Projektion von Xt+r auf Hr+s (X), d.h. es gilt (9.4). Die MA(∞)–Darstellung (9.2) f¨ ur eine rein nicht–deterministische Zeitreihe ist bemerkenswert und demonstriert, wie umfassend die Klasse der MA(∞)– Zeitreihen in der Tat ist. Ausdr¨ ucklich sei aber darauf hingewiesen, dass in einer solchen MA(∞)–Darstellung einer beliebigen rein nicht–deterministsichen Zeitreihe die Koeffizienten cj lediglich quadratsummierbar sind und das weiße Rauschen aus unkorrelierten Zufallsvariablen besteht. Im Gegensatz zu dieser sehr großen Klasse repr¨ asentieren die MA(∞)–Zeitreihen mit absolut summierbaren Koeffizienten und stochastisch unabh¨ angigen Innovationen et (die sogenannten linearen Prozesse) deutlich weniger station¨are Zeitreihen. Beweis: (von Satz 9.3) a) Falls f¨ ur ein s ∈ Z die Gleichung Xs = Ps−1 Xs , also Xs ∈ Hs−1 (X), gilt, so folgt nach (9.4) f¨ ur ein beliebiges t ∈ Z auch Xt = Tt−s Xs = Tt−s Ps−1 Xs = Pt−1 Xt . Folglich gilt Ht (X) = H (X) ∀ t ∈ Z, also H (X) = H−∞ (X) = {0}. Wegen X ≡ 0 ergibt sich ein Widerspruch. Es gilt also Xs − Ps−1 Xs = 0 ∀ s ∈ Z. Die Einheitsvektoren es := (Xs − Ps−1 Xs )/ Xs − Ps−1 Xs , s ∈ Z, stehen wegen es ⊥ Hs−1 (X) paarweise aufeinander senkrecht und es gilt Xt , et−j  = angig von t mit cj = 0 f¨ ur j < 0.

T−t Xt , T−t et−j  = X0 , e−j  =: cj , unabh¨ Wegen der Besselschen Ungleichung, siehe Anhang A.3, folgt weiter ∞
j=0

2

|cj | =

∞


2

| X0 , e−j | ≤ X0 2 < ∞ .

j=0

Mit Ds := span {es } gilt f¨ ur i > k Ht−k (X) = Ht−i (X) ⊕ Dt−i+1 ⊕ · · · ⊕ Dt−k

(9.5)

also auch Pt−k Xt = Pt−i Xt +

i−1


cj et−j .

(9.6)

j=k

Da die Reihe in (9.6) bei festem k f¨ ur i → ∞ konvergiert, existiert auch ort offenbar zu H−∞ (X) = {0} . Aus (9.6) folgt demlimi→∞ Pt−i Xt und geh¨ nach Pt−k Xt =

∞


cj et−j

∀ t, k ∈ Z.

(9.7)

j=k

F¨ ur k = 0 ergibt sich (9.2). Aus (9.2) folgt einerseits Ht (X) ⊂ Ht (e) und andererseits gilt et ∈ Ht (X) nach Konstruktion, d.h. Ht (e) ⊂ Ht (X), insgesamt

9.1 Die Wold–Zerlegung

143

also Gleichheit. b) Wegen Ht−1 (e) ⊥ et ∀ t gilt H−∞ (e) ⊥ H (e), also H−∞ (e) = {0}. Andererseits gilt wegen (9.2) H−∞ (X) ⊂ H−∞ (e), also insgesamt H−∞ (X) = {0}, d.h. X ist rein nicht–deterministisch.   In der Regel lassen sich, wie wir in Kapitel 7, Satz 7.10, gesehen haben, ARMA(p, q)–Reihen als MA(∞)–Reihen darstellen, sind also rein nicht–deterministisch. Wegen (9.4) ist der sogenannte lineare Vorhersagefehler δX (τ ) = δ (τ ) einer station¨ aren, zentrierten, komplexen Zeitreihe X = (Xt : t ∈ Z) gem¨aß δ (τ ) = Xt+τ − Pt Xt+τ 2 = Xτ − P0 Xτ 2 ,

∀τ ∈ Z,

(9.8)

unabh¨ angig von t. Wegen Hs (X) ⊂ Ht (X) f¨ ur s ≤ t ist δ (τ ) monoton nichtfallend in τ , und es gilt offenbar δ (τ ) = 0 f¨ ur τ ≤ 0. F¨ ur eine rein nicht–deterministische Zeitreihe X ≡ 0 wie in Satz 9.3 a) gilt gem¨aß (9.7) f¨ ur τ →∞ δ (τ ) =

τ −1
j=0

2

|cj | →

∞


2

|cj | = Xt 2 = γX (0) .

(9.9)

j=0

Allgemein k¨ onnen wir das folgende Resultat beweisen. Satz 9.4 (Vorhersagefehler) are, zentrierte, komplexe Zeitreihe. Dann gilt Sei X = (Xt : t ∈ Z) eine station¨ mit der Wold–Zerlegung X = X1 + X2 (9.1) die Gleichheit δX (τ ) = δX1 (τ ) und δX1 (τ ) → γX1 (0)

f¨ ur

τ → ∞.

(9.10)

Beweis: Ist X1 ≡ 0, so folgt (9.10) wegen (9.9), w¨ahrend sie bei X1 ≡ 0 trivial ist. Wegen X2s ∈ H−∞ (X) gilt Pt Xs = Pt X1s + X2s und wegen achst Pt X1s ∈ Ht (X1 ). Wegen X1s −Pt X1s ⊥ Ht (X) = Ht (X1 )⊕Ht (X2 ) zun¨ (1) (1) Ht (X) ⊃ Ht (X1 ) ergibt sich also die Gleichheit Pt X1s = Pt X1s , wobei Pt die Projektion auf Ht (X1 ) im Raum H (X1 ) sei. (1)

Es folgt Xt+τ − Pt Xt+τ = X1,t+τ − Pt

X1,t+τ und damit δX (τ ) = δX1 (τ ).  

Korollar 9.5 are, zentrierte, komplexe Zeitreihe. Dann gilt Sei X = (Xt : t ∈ Z) eine station¨ a) X ist deterministisch genau dann, wenn δX (τ ) = 0 ∀ τ ∈ Z gilt. b) X ist genau dann rein nicht–deterministisch, wenn δX (τ ) → γX (0) f¨ ur τ → ∞ gilt.

144

9 Deterministische und rein nicht–deterministische Zeitreihen

Beweis: a) Aus δX (τ ) = 0 ∀ τ folgt nach (9.10) X1t 2 = γX1 (0) = 0 ∀ t, d.h. X1 = 0 . Also ist X = X2 deterministisch. Die Umkehrung ist klar. b) Es gilt: X ist rein nicht–deterministisch ⇔ X2 = 0 ⇔ γX2 (0) = 0 ⇔ γX (0) = γX1 (0) (letzteres, da γX (0) = γX1 (0) + γX2 (0)). (9.10) liefert nun die Behauptung.   W¨ahrend sich also deterministische Reihen ohne Vorhersagefehler linear vorhersagen lassen, ist bei rein nicht–deterministischen Reihen f¨ ur τ → ∞ keine lineare Vorhersagefunktion besser als die Vorhersagefunktion identisch 0. Das heißt, dass sich rein nicht–deterministische Zeitreihen bei großem Vorhersagehorizont nicht besser als durch den Erwartungswert vorhersagen lassen. Hierin kommt zum Ausdruck, dass die vorhandene Abh¨angigkeitsstruktur der einzelnen Zeitreihenwerte untereinander, die ja erst eine verbesserte Prognose m¨oglich macht, mit wachsendem Vorhersagehorizont abklingt. Bemerkung 9.6 Nach Satz 9.3 in Verbindung mit Beispiel 6.11 besitzt jede rein nicht–deterministische Zeitreihe, die nicht identisch verschwindet, eine Spektraldichte. Genauer kann man zeigen, dass bei der Wold–Zerlegung X = X1 + X2 gem¨aß Satz 9.2 f¨ ur die Spektralmaße µX , µX1 , µX2 gilt µX = µX1 + µX2

(Aufgabe 9.7).

(9.11)

Ist X1 ≡ 0, so ist (9.11) die Lebesgue–Zerlegung von µX , d.h. µX1  λ1 und µX2 ⊥ λ1 (d.h es gibt eine Borelmenge N ⊂ (−π, π] mit λ1 (N ) = 0 derart, dass µX2 ((−π, π] \N ) = 0 ist.) Zum Beweis der letzten Aussage siehe Ash/Gardner (1975), Theorem 2.5.3.   Beispiel 9.7 Sei X1 = (X1t : t ∈ Z) eine rein nicht–deterministische LC 2 –Reihe, X1 ≡ 0. X1 besitzt wegen Bemerkung 9.6 stets eine Spektraldichte. Ist Y ∈ LC 2 eine zentrierte Zufallsvariable, so ist der konstante Prozess X2t := Y , t ∈ Z , deterministisch, da offenbar Ht (X2 ) = span {Y } ∀ t gilt. Ist Y mit allen X1t unkorreliert, so ist X1 + X2 gerade die Wold–Zerlegung von Xt := X1t + Y,

∀ t ∈ Z.

Um dies zu sehen, reicht es nach Satz 9.2 zu zeigen, dass X1t , X2t ∈ Ht (X) f¨ ur t ∈ Z gilt. Hinreichend hierf¨ ur ist offenbar, dass Y zu Ht (X) geh¨ort. Nach dem sp¨ ater bewiesenen Satz 10.1 gilt aber N −1 N −1 1
1
Xt−j = X1,t−j + Y → ZX1 ({0}) + Y = Y, N j=0 N j=0

da ZX1 ({0}) = 0 ist (X1 besitzt eine Spektraldichte). Es folgt Y ∈ Ht (X). Tats¨achlich werden wir in Satz 10.1 die obige Aussage nur f¨ ur reellwertige

9.1 Die Wold–Zerlegung

145

Zeitreihen formulieren, da dort nur solche betrachtet werden. Der Beweis gilt aber genauso f¨ ur komplexe Zeitreihen.   Beispiel 9.8 (Vorhersage bei AR–Zeitreihen mit unendlicher Vergangenheit) Sei X = (Xt : t ∈ Z) eine kausale AR(p)–Reihe, vgl. Definition 7.9 in Verbindung mit Bemerkung 7.8 im Spezialfall q = 0 . Anwendung der Projektion Pt auf die definierende Gleichung Xt+1 +

p


∀ t ∈ Z,

aj Xt+1−j = et+1 ,

j=1

liefert wegen et+1 ⊥ Ht (X) Pt Xt+1 = −

p


aj Xt+1−j .

(9.12)

j=1

Der one–step“–Vorhersagefehler (d.h. τ = 1) ist ” δ (1) = Xt+1 − Pt Xt+1 2 = et+1 2 = σe2 .

(9.13)

In Verallgemeinerung von (9.12) kann man leicht zeigen, dass f¨ ur τ > 1 die folgende Rekursionsformel gilt Pt Xt+τ = −

τ −1


aj Pt Xt+τ −j −

j=1

p


aj Xt+τ −j

(9.14)

falls τ > p .

(9.15)

j=τ

falls 1 ≤ τ ≤ p und Pt Xt+τ = −

p


aj Pt Xt+τ −j

j=1

Da jede AR–Reihe trivialerweise invertibel ist, gilt Ht (X) = Ht (e) ∀ t, und es ergibt sich mit der Darstellung (9.2) Pt Xt+τ =

∞


∀ τ ≥ 1,

cj et+τ −j ,

(9.16)

j=τ

und damit als linearer Vorhersagefehler δ (τ ) = Xt+τ − Pt Xt+τ 2 =

τ −1


|cj |2 σe2 ,

∀ τ ≥ 1.

(9.17)

j=0

F¨ ur eine AR(1)–Reihe Xt + a1 Xt−1 = et gilt z.B. τ

Pt Xt+τ = (−a1 ) Xt ,

∀ t ∈ Z, τ ≥ 1.

(9.18)  

146

9 Deterministische und rein nicht–deterministische Zeitreihen

Wie bereits in der Einleitung zu diesem Kapitel erw¨ahnt, haben wir bisher konsequent alle auftretenden Zeitreihen im komplexen Raum LC 2 (Ω, A, P ) betrachtet, selbst wenn sie reell waren. Im folgenden Lemma gehen wir nun auf den Fall reeller Zeitreihen ein. Zur genaueren Kennzeichnung versehen wir die verschiedenen Symbole mit C einem oberen Index C, wenn wir im komplexen Raum LC 2 = L2 (Ω, A, P ) arC C C C C beiten, also H (X) , Ht (X) , H−∞ (X) , Pt , P−∞ und mit einem oberen InR dex R, wenn X reell ist und wir im reellen Raum LR 2 = L2 (Ω, A, P ) arbeiten, R also H (X) usw. Lemma 9.9 Sei X = (Xt : t ∈ Z) eine reelle, station¨ are, zentrierte Zeitreihe. a) Dann gelten f¨ ur alle t ∈ Z   HtC (X) = Z1 + iZ2 : Z1 , Z2 ∈ HtR (X) ,   C R (X) = Z1 + iZ2 : Z1 , Z2 ∈ H−∞ (X) , H−∞   H C (X) = Z1 + iZ2 : Z1 , Z2 ∈ H R (X) , Z⊥

HtR

(X) ⇒ Z ⊥

PtR Z R P−∞ Z

= =

HtC

PtC Z, C P−∞ Z,

(X) ,

(9.19) (9.20) (9.21)

C

(9.22)

R

(9.23)

R

(9.24)

∀ Z ∈ H (X), ∀ Z ∈ H (X) , ∀ Z ∈ H (X) .

b) Die Gleichung HtC (X) = H C (X) ∀ t ∈ Z gilt genau dann, wenn die Gleichung HtR (X) = H R (X) ∀ t ∈ Z gilt. Die reelle Zeitreihe X ist also genau dann komplex deterministisch, wenn sie reell deterministisch ist. C R (X) = {0}, wenn H−∞ (X) = {0} gilt. Eine reelle c) Genau dann gilt H−∞ Zeitreihe X ist also genau dann komplex rein nicht–deterministisch, wenn sie reell rein nicht–deterministisch ist.

Der Beweis ist als Aufgabe 9.10 gestellt. Insbesondere folgt aus Lemma 9.9, dass f¨ ur eine reelle Zeitreihe X in der Wold–Zerlegung X = X1 + X2 , X1 und X2 reell sind. Außerdem ist dann das weiße Rauschen e = (et : t ∈ Z) in (9.2) reell, ebenso wie die Konstanten cj .

9.2 Approximation durch AR– und MA–Reihen Wir wollen nun zeigen, dass die Spektraldichten sowohl von MA– als auch von AR–Reihen fast jede stetige Spektraldichte beliebig gut approximieren k¨onnen. Als Vorbereitung dient das folgende Resultat, welches in einem gewissen Sinne als Umkehrung der Aussage verstanden werden kann, dass die Autokovarianzfunktion einer MA(q)–Zeitreihe ab dem Lag q +1 identisch Null ist (vgl. Beispiel 2.6).

9.2 Approximation durch AR– und MA–Reihen

147

Lemma 9.10 are, zentrierte Zeitreihe, deren AuSei X = (Xt : t ∈ Z) eine komplexe, station¨ tokovarianzfunktion γ f¨ ur |h| > q verschwindet und γ (q) = 0 erf¨ ullt. Dann ist X eine MA(q)–Reihe, d.h es existieren ein weißes Rauschen e = (et : et ∈ Z) sowie Konstanten b0 , . . . , bq ∈ C, b0 = 1, bq = 0, mit Xt =

q


bj et−j ,

∀ t ∈ Z.

(9.25)

j=0

Ist X reell, so k¨ onnen sowohl das weiße Rauschen e als auch alle Koeffizienten bj reell gew¨ ahlt werden. ur |s − t| > q gilt Beweis: (Aufgabe 9.1) Hinweis: Man zeige, dass Xs ⊥ Xt f¨ ur und schließe daraus, dass der Vorhersagefehler δ (τ ) = Xt+τ − Pt Xt+τ 2 f¨ |τ | > q die Gleichung δ (τ ) = γ (0) erf¨ ullt, woraus nach Korollar 9.5 folgt, dass X rein nicht–deterministisch ist. Man wende sodann Satz 9.3 an und zeige in   der Entwicklung (9.2), dass 0 = bq+1 = bq+2 = · · · gilt, sowie bq = 0. Wir formulieren hier noch die zu Lemma 9.10 duale Aussage f¨ ur AR–Reihen, obwohl wir sie nicht f¨ ur die nachfolgenden Approximationss¨atze ben¨otigen. Lemma 9.11 are, zentrierte Zeitreihe, deren partiSei X = (Xt : t ∈ Z) eine reelle, station¨ elle Autokorrelation π f¨ ur h > p verschwindet und π (p) = 0 erf¨ ullt. Dann ist X eine AR(p)–Reihe, d.h es existieren ein weißes Rauschen e = (et : et ∈ Z) sowie Konstanten a1 , . . . , ap ∈ R , ap = 0, mit Xt +

p


aj Xt−j = et ,

∀ t ∈ Z.

(9.26)

j=1

Beweis: (Aufgabe 9.2) Hinweis: Seien Pt bzw. Ps,t die Projektionen in LR 2 auf span{Xk : k ≤ t} bzw. Hs,t = span{Xk : s < k ≤ t}. Aus π(h) = 0 f¨ ur h ≥ p + 1 folgere man die Beziehung

Xt+1 − Ps−p,t Xt+1 , Xs−p  = 0 ,

∀s ≤ t,

(9.27)

und schließe daraus et+1 := Xt+1 − Pt−p,t Xt+1 ⊥ Xs ,

∀s ≤ t,

(9.28)

d.h. Pt Xt+1 = Pt−p,t Xt+1 ∀ t. Hieraus schließe man, dass (et : t ∈ Z) ein weißes Rauschen ist. Sind a1 , . . . , ap die (von t unabh¨angigen?) eindeutig bestimmten Koeffizienten mit Pt−p,t Xt+1 = −

p


aj Xt+1−j ,

∀t ∈ Z,

(9.29)

j=1

so folgt (9.26).

 

148

9 Deterministische und rein nicht–deterministische Zeitreihen

Satz 9.12 (Approximation durch eine MA–Reihe) Sei f : [−π, π] → [0, ∞) eine stetige Spektraldichte mit f (−π) = f (π). Dann gibt es zu jedem ε > 0 eine MA(q)–Reihe X = (Xt : t ∈ Z) mit Spektraldichte fε , f¨ ur die |f (ω) − fε (ω)| ≤ ε ∀ ω ∈ [−π, π] gilt. Ist f symmetrisch um Null, so ist X reell w¨ ahlbar. Beweis: Nach (1970), Theorem 4.25, gibt es ein trigonometrisches q Rudin ijω c e =: fε (ω) auf [−π, π], das die Funktion k (ω) := Polynom j=−q j f (ω) + 3ε/4 bis auf ε/4 approximiert, d.h. |k (ω) − fε (ω)| ≤ ε/4 ∀ ω ∈ [−π, π]. Weil k(·) reell ist, kann  dabei cj = c−j gew¨ahlt werden; man ersetze sonst fε durch 12 fε + fε . Dann ist fε (ω) reell mit fε (ω) ≥ 2ε und ore die Autokovarianzfunktion |f (ω) − fε (ω)| ≤ 3ε/4 + ε/4 = ε . Zu fε geh¨ γ und X = (Xt : t ∈ Z) sei eine Zeitreihe die diese Autokovarianzfunktion besitzt, vgl. Satz 3.1. Wegen der Orthogonalit¨ at der Funktionen ein· , vgl. Beur |h| ≤ q und merkung 6.4, Teil c), gilt dann gem¨ aß (3.7) γ (h) = 2πc−h f¨ γ (h) = 0 f¨ ur |h| > q, wobei o.B.d.A. cq = 0 gelte. Nach Lemma 9.10 folgt nun die Behauptung. Ist f symmetrisch um 0, so kann auch fε als symmetrisch um 0 vorausgesetzt werden, sodass die zugeh¨ orige Kovarianzfunktion reell ist. Dann aber ist die Zeitreihe X reell w¨ ahlbar, siehe Satz 3.1.   Satz 9.13 (Approximation durch eine AR–Reihe) Sei f : [−π, π] → [0, ∞) eine stetige Spektraldichte mit f (−π) = f (π). Dann gibt es zu jedem ε > 0 eine kausale AR(p)–Reihe X = (Xt : t ∈ Z) mit Spekur die |f (ω) − fε (ω)| ≤ ε ∀ ω ∈ [−π, π] gilt. traldichte fε , f¨ Ist f symmetrisch um 0, so ist X reell w¨ ahlbar. Beweis: Die Funktion f(ω) := f (ω) + ε/2 ist eine stetige Spektraldichte auf [−π, π] mit f(−π) = f(π) und |f (ω) − f(ω) | ≤ ε/2 ∀ ω . Damit ist auch g (ω) := 1/f(ω) eine positive, stetige Funktion auf [−π, π] mit g (−π) = g (π). Nach Satz 9.12 gibt es zu jedem ε > 0 eine MA(q)– Reihe mit Spektraldichte gε derart, dass |g (ω) − gε (ω)| ≤ ε ∀ ω gilt. Mit M := sup {f (ω) : ω ∈ [−π, π]} und einem ε = ε (ε, M ) > 0 , welches 2 ullt, ergibt sich f¨ ur fε := 1/gε 0 ≤ ε (M + ε/2) / (1 − ε (M + ε/2)) < ε/2 erf¨    1  1  |gε (ω) − g (ω) | · f(ω)   = − f (ω) − fε (ω) =  g (ω) gε (ω)  gε (ω) 2  f (ω) ε (9.30) < , ≤ ε   2 1 − ε f (ω) also insgesamt |f (ω) − fε (ω)| ≤ ε ∀ ω . ort,gibt es ein weißes Rauschen e = Da zu gε eine MA(q)–Reihe geh¨ q (et : t ∈ Z) und ein Polynom B (z) = j=0 bj z j , b0 = 1, bq = 0 derart, dass   2 σ2      # gε (ω) = B e−iω  e gilt. Dann ist Xt := eit· 1/B e−i· 2π/σe2 dZe 2π

9.2 Approximation durch AR– und MA–Reihen

149

eine station¨ are Zeitreihe mit Spektraldichte fε , s. Satz 6.2. Weiter gilt nach Lemma 6.6 % q
  2π bj Xt−j = B e−i· dZX = 2 et =: εt , ∀ t ∈ Z , σe j=0 wobei ε = (εt : t ∈ Z) ein weißes Rauschen ist. Damit ist X = (Xt : t ∈ Z) eine AR(p)–Reihe (mit p = q). Nach Satz 7.13 kann o.B.d.A. angenommen werden, dass X kausal ist. Ist f symmetrisch, so ist auch gε symmetrisch w¨ahlbar und damit sind die Konstanten bj und das weiße Rauschen ε reell w¨ahlbar. Nach Satz 6.5 ist dann schließlich auch X reell.  

Aufgaben Aufgabe 9.1 Man beweise Lemma 9.10. Aufgabe 9.2 Man beweise Lemma 9.11. Aufgabe 9.3 Sei Xt = X1t + X2t die Wold–Zerlegung der zentrierten, station¨aren Zeitreihe X = (Xt : t ∈ Z). µX bezeichne das Spektralmaß von X. Man zeige: a) F¨ ur den Shift–Operator Tt auf H(X) gilt: Tt Xj (s) = Xj (s + t), j = 1, 2. b) F¨ ur ϕ ∈ L2 := L2 ((−π, π], B ∩ (−π, π], µX ) gilt: % % Tt ϕ(ω)ZX (dω) = exp(itω)ϕ(ω)ZX (dω). c) Es existieren ϕj ∈ L2 , j = 1, 2, mit % Xj (t) = exp(itω)ϕj (ω)ZX (dω). Aufgabe 9.4 F¨ ur eine kausale AR(1)–Reihe Xt + aXt−1 = et , mit reellem ur die Projektion weißen Rauschen et ∼ (0, σe2 ) und a ∈ R, |a| < 1, weise man f¨ Pt auf span{Xs : s ≤ t} die Beziehung Pt Xt+τ = (−a)τ Xt ,

∀t ∈ Z, τ ≥ 1,

auf zwei Arten nach: ∞ a) Durch Verwendung der MA(∞)–Darstellung Xt = j=0 cj et−j und Formel (9.7). b) Durch Verwendung der Formel (9.12) und durch Verwendung der Iterationseigenschaft von Projektionen.

150

9 Deterministische und rein nicht–deterministische Zeitreihen

Aufgabe 9.5 Man dr¨ ucke den Vorhersagefehler δ(τ ) in Aufgabe 9.4 mit Hilfe von a und σe2 aus. Aufgabe 9.6 Sei X = (Xt : t ∈ Z) eine zentrierte, komplexe, station¨are Zeitreihe und Th der Shift–Operator Th : H(X) → H(X) gem¨aß Th Xt = Xt+h . Man zeige: a) Th ◦ T−h ist die Identit¨ at auf H(X), ∀ h ∈ Z, und es gilt

Th Y1 , Y2  = Y1 , T−h Y2  , ∀ Y1 , Y2 ∈ H(X) ∀ h ∈ Z. b) Th (H−∞ (X)) = H−∞ (X). c) Th P−∞ Xt = P−∞ Xt+h . ar. d) (P−∞ Xt : t ∈ Z) ist station¨ Aufgabe 9.7 Man beweise Bemerkung 9.6. Die Stationarit¨at von X2 ergibt sich aus Aufgabe 9.6 Aufgabe 9.8 Sei Xt = et + b et−1 , t ∈ Z , eine reelle MA(1)–Reihe mit t+1 := P1,t Xt+1 die Projektion von Xt+1 b ∈ (−1, 1), et ∼ (0, σe2 ). Sei X t+1 − Xt+1 2 der Vorhersagefehler. auf span{X1 , . . . , Xt }, t ≥ 1 , und vt = X Man zeige direkt: 2 t+1 = σe · b (Xt − X t ) X vt−1

(9.31)

t+1 2 = γ(0) − vt X

(9.32)

vt = σe2 [1 + b2 −

σe2 b2 ], vt−1

∀ t ≥ 2.

(9.33)

Hinweis: Ist Pt die Projektion auf span{Xs : s ≤ t} , so gilt t+1 = P1,t ◦ Pt Xt+1 , (i) X (ii) Pt Xt+1 = Pt (et+1 + b et ) = b et , (iii) et ⊥ X1 , . . . , Xt−1 . Es folgt P1,t Xt+1 = P1,t (b et ) = b Pspan{Xt −Xt } et . aume des Hilbertraumes H mit Aufgabe 9.9 Seien Hn , n ∈ Z, Teilhilbertr¨ Hn ⊂ Hn+1 ∀ n. Seien1weiter Pn die Projektionen auf Hn und P−∞ die ur n → ∞ gilt : Projektion auf H−∞ = n∈Z Hn . Man zeige, dass f¨ P−n x → P−∞ x, Aufgabe 9.10 Man beweise Lemma 9.9.

∀ x ∈ H.

9.2 Approximation durch AR– und MA–Reihen

151

Aufgabe 9.11 Sei X = (Xt : t ∈ Z) eine komplexe, zentrierte, station¨are Zeitreihe mit zugeh¨origem MOW ZX und Spektralmaß µX . Man zeige a) Es gilt ZX ({ω}) ∈ H−∞ (X), ∀ ω ∈ (π, π]. b) Ist µX diskret, so ist X deterministisch. c) Man zeige, dass die Zerlegung (7.11) der allgemeinen L¨osung X der ARMA–Gleichung in Satz 7.4 die Wold Zerlegung ist, wobei X0 rein nicht– deterministisch und X1 deterministisch ist. Hinweis zu a): Man verwende eine ¨ ahnliche Beweismethode wie in Beispiel 9.7.

10 Asymptotische Eigenschaften von Sch¨ atzverfahren in linearen Zeitreihenmodellen

In diesem Kapitel sollen die grundlegenden statistischen Sch¨atzer der Zeitreihenanalyse, wie das empirische Mittel und die empirische Autokovarianz– sowie Autokorrelationsfunktion, in linearen Zeitreihenmodellen auf ihre Eigenschaften hin untersucht werden. In Abschnitt 10.1 werden dazu zun¨achst einfache asymptotische Eigenschaften wie Erwartungstreue und Konsistenz abgeleitet. Bez¨ uglich der Konvergenzgeschwindigkeit f¨allt schon in diesem Abschnitt auf, dass f¨ ur MA(∞)–Zeitreihen mit stochastisch unabh¨angigem und √ identisch verteiltem weißen Rauschen die gleichen n–Konvergenzraten wie im Fall unabh¨ angiger Beobachtungen sowohl f¨ ur den Erwartungswert als auch f¨ ur die Autokovarianzfunktion auftreten. Um zentrale Grenzwertaussagen f¨ ur diese Gr¨ oßen erhalten zu k¨ onnen, stellen wir im Abschnitt 10.2 das grundlegende Konzept der schwachen Abh¨ angigkeit vor. Auf dieser Basis beweisen wir dann anschließend in Abschnitt 10.3 einen allgemeinen zentralen Grenzwertsatz, den wir schließlich in Abschnitt 10.4 im Rahmen sogenannter linearer Prozesse (vgl. Definition 10.3) auf das arithmetische Mittel und die empirische Autokovarianz– wie Autokorrelationsfunktion anwenden k¨onnen, um jeweils eine asymptotische Normalit¨ at zu beweisen. Hieraus k¨onnen wir dann abschließend Konfidenzintervalle f¨ ur den Erwartungswert und die Autokovarianz wie Autokorrelation einer linearen Zeitreihe herleiten. Es sei darauf hingewiesen, dass in diesem und in den folgenden Kapiteln zum Teil technisch aufw¨andigere Beweise an der einen oder anderen Stelle nicht zu vermeiden sind. Um den Schwierigkeitsgrad in vern¨ unftigen Grenzen zu halten, wird zum einen in einigen Beweisen bewusst nur ein Spezialfall behandelt. Andererseits werden manche Rechenschritte nicht bis ins letzte Detail ausgef¨ uhrt. Es ist aber in hoffentlich ausreichendem Maße darauf geachtet worden, dass die grunds¨ atzlichen Ideen und Ans¨ atze deutlich werden. Alle in den folgenden Kapiteln 10 – 13 betrachteten Zeitreihen sind reell, wenn nichts anderes gesagt wird.

154

10 Asymptotische Eigenschaften von Sch¨ atzverfahren

10.1 Einfache asymptotische Eigenschaften des Stichprobenmittels und der Stichprobenautokovarianz In Kapitel 2 haben wir bereits empirische Gr¨ oßen f¨ ur die Autokovarianz– sowie Autokorrelationsfunktion einer station¨ aren Zeitreihe erkl¨art. F¨ ur die fol¨ genden Uberlegungen seien stets Zufallsvariable X1 , . . . , Xn aus einer reellen station¨ aren Zeitreihe gegeben. n Das Stichprobenmittel X n = n1 t=1 Xt ist offenbar ein erwartungstreuer Sch¨atzer f¨ ur den Erwartungswert EXt = µ. Der folgende Satz untersucht sein Konsistenzverhalten. Satz 10.1 (Ergodensatz f¨ ur station¨ are Zeitreihen) are Zeitreihe mit Erwartungswert µ. X = (Xt : t ∈ Z) sei eine reelle station¨ Das MOW der zugeh¨ origen zentrierten Zeitreihe (Xt − µ : t ∈ Z) sei mit ZX bezeichnet und das zugeh¨ orige Spektralmaß mit µX . Dann gilt f¨ ur n → ∞ 1
Xt → µ + ZX ({0}) in LR 2 (Ω, A, P ). n t=1

(10.1)

1
γ (t) → µX ({0}). n t=1 X

(10.2)

n

n

Beweis: O.B.d.A. sei µ = 0 angenommen. Es gilt mit dem Spektralsatz % n n 1
1
i tω Xt = e ZX (dω) . (10.3) n t=1 n t=1  n  ur ω = 0 Da  n1 t=1 eitω  ≤ 1 und f¨  n    1
 1  1 − ei(n+1)ω  →  itω  e =  (10.4)  n→∞ 0, n  n 1 − eiω  t=1 n folgt nach dem Satz von Lebesgue gn (ω) := n1 t=1 eitω → 1{0} (ω) in LC 2 (µX ) , also nach Rechenregel (5.20) % n 1
Xt = gn dZX → ZX ({0}) (10.5) n t=1 ebenfalls im quadratischen Mittel, dieses Mal aber in LR 2 (Ω, A, P ). Damit ist (10.1) bewiesen. Entsprechend gilt (3.7) % n 1
γX (t) = gn dµX → µX ({0}) (10.6) n t=1 und damit auch (10.2).

 

10.1 Einfache asymptotische Eigenschaften

155

Bemerkung 10.2 i) Da L2 –Konvergenz die Konvergenz nach Wahrscheinlichkeit impliziert, gilt die Konvergenz in (10.1) des vorherigen Satzes auch nach Wahrscheinlichkeit. ii) Wegen ZX ({0}) 2 = µX ({0}) gilt ZX ({0}) = 0 genau dann, wenn das agt. Nach (10.2) ist dies genau dann der Spektralmaß  µX in 0 keine Masse tr¨ n ur h → ∞ gilt. Fall, wenn n1 t=1 γX (t) → 0 gilt, also z.B. wenn γX (h) → 0 f¨ Bei µX ({0}) = 0 gilt demnach X n → µ sowohl in LR 2 als auch nach Wahrscheinlichkeit. iii) Ist γX sogar absolut summierbar, so besitzt µX nach der Inversionsformel (vgl. Satz 3.8) eine Spektraldichte fX , und es gilt (siehe den Beweis zur Inversionsformel und verwende (A.11) aus Anhang A.1) 1

γ (s − t) (10.7) n s=1 t=1 X  n−1 ∞

|h| γX (h) = 2πfX (0). 1− = γX (h) → n n

n

n V arX n =

h=−∞

h=−(n−1)

Insbesondere gilt n V arX n = O(1).

(10.8)

Dies ist dieselbe Gr¨oßenordnung wie bei stochastischer Unabh¨angigkeit der Xt . ∞ iv) Falls Xt = j=−∞ bj et−j gilt, mit absolut summierbaren Koeffizienten bj und weißem Rauschen (et : t ∈ Z) mit V ar(et ) = σe2 , so sind auch die (h) absolut summierbar, sodass dann iii) anwendbar ist. Autokovarianzen γX ∞ ur h ∈ Z gilt n¨amlich, Wegen γX (h) = σe2 j=−∞ bj bj+h f¨ ∞


|γX (h)| ≤ σe2

h=−∞

= σe2

∞


∞


|bj | · |bj+h | = σe2

h=−∞ j=−∞ ∞ 
2

|bj |

∞
j=−∞

|bj |

∞


|bj+h |

h=−∞

< ∞.

j=−∞

  Nun wollen wir uns dem Sch¨ atzen der Autokovarianzfunktion einer station¨aren Zeitreihe zuwenden. Wir hatten in (2.29) die Stichprobenautokovarianz γ(h) = γn (h) als Sch¨ atzer f¨ ur γ(h) = γX (h) eingef¨ uhrt gem¨aß γn (h) :=

n−h   1
 Xt − X n Xt+h − X n , n t=1

h = 0, 1, 2 . . . .

(10.9)

156

10 Asymptotische Eigenschaften von Sch¨ atzverfahren

Als Vorbereitung zur Bestimmung der asymptotischen Verteilung von γ(h) f¨ uhren wir im folgenden Satz asymptotische Berechnungen f¨ ur Erwartungswert und Varianz bzw. Kovarianz dieses Autokovarianzsch¨atzers, bzw. der Vergleichsgr¨ oße 1
(Xt − µ) (Xt+h − µ) , n t=1 n

γn (h) :=

h = 0, 1, 2 . . . ,

(10.10)

durch. Bei den nachfolgenden Resultaten in diesem Kapitel wollen wir als zugrunde liegende Zeitreihe in der Regel ein MA(∞)–Modell mit stochastisch unabh¨angigem und identisch verteiltem weißen Rauschen annehmen. Derartige Zeitreihen wollen wir gem¨ aß der nachfolgenden Definition als lineare Prozesse bezeichnen. Definition 10.3 (Linearer Prozess) Ein reeller stochastischer Prozess X = (Xt : t ∈ Z), der f¨ ur alle t ∈ Z eine MA(∞)–Darstellung Xt = µ +

∞


bj et−j

(10.11)

j=−∞

besitzt mit absolut summierbaren, reellen Koeffizienten bj und stochastisch unabh¨ angigen, identisch verteilten (i.i.d.) Zufallsvariablen (et : t ∈ Z) mit Eet = 0, Ee2t = σe2 ∈ (0, ∞), µ ∈ R, heißt linearer Prozess oder lineare Zeitreihe. X ist stets streng station¨ ar. ur alle j < 0, so heißt X kausale lineare Zeitreihe. Falls bj = 0 f¨ Satz 10.4 X = (Xt : t ∈ Z) sei ein linearer Prozess wie in Definition 10.3 mit der zus¨ atzur h, k ∈ N0 und lichen Voraussetzung Ee4t =: ησe4 ∈ (0, ∞) . Dann gilt f¨ n→∞   1 E |γn (h) − γn (h)| = O . (10.12) n Hieraus folgt die asymptotische Erwartungstreue von γn (h), genauer   1 E γn (h) = γ(h) + O . (10.13) n Außerdem folgt aus (10.12) √ n (γn (h) − γn (h)) → 0 Weiter gilt

n.W. .

(10.14)

10.1 Einfache asymptotische Eigenschaften

n Cov(γn (h), γn (k)) → c(h, k)

157

(10.15)

mit c(h, k) =

γ (h) γ (k) (η − 3) ∞
+ (γ(r)γ(r + k − h) + γ(r + k)γ(r − h)) . r=−∞

Damit sind sowohl γn (h) als auch n (h) = γn (h)/γn (0) Sch¨ atzer f¨ ur γ(h) und (h) = γ(h)/γ(0) .

(10.16)

√ n−konsistente

Beweis: O.B.d.A. sei µ = 0. Dann gilt f¨ ur n > h mit Rn (h) := γn (h) − γn (h)
1 n−h 2 1 Rn (h) = − X n (Xt + Xt+h ) + Xn − n n n t=1

n


n−h



h = − 1+ n




1 Xn Xt + n t=1 h

2

Xn +

Xt Xt+h

t=n−h+1

n
t=n−h+1

 1 Xt − n

n


Xt Xt+h ,

t=n−h+1

also mit der Cauchy–Schwarz–Ungleichung  2h h 2 2 (10.17) EX n γ(0) + γ(0) . E |γn (h) − γn (h)| ≤ 2EX n + n n Da nach Bemerkung 10.2, iv) γX absolut summierbar ist, gilt (10.8) und damit (10.12). Unmittelbar folgen daraus (10.13) und (10.14). Bevor wir (10.15) beweisen, ben¨ otigen wir einige vorbereitende Rechnungen. Wegen ⎧ 4 ⎪ ⎨Ee1 , falls i = j = k = l Eei ej ek el = σe4 , falls zwei Paare von Indizes auftreten (10.18) ⎪ ⎩ 0 , sonst ergibt sich zun¨ achst E (Xt Xt+h Xs Xs+k ) ∞ ∞

=

=

bν1 bν2 bµ1 bµ2 E (et−ν1 et+h−ν2 es−µ1 es+k−µ2 )

ν1 ,ν2 =−∞ µ1 ,µ2 = −∞ ∞


  bν bν+h bν+s−t bν+s−t+k Ee41 − 3σe4

ν=−∞ ∞


+

+

+

ν=−∞ ∞
ν=−∞ ∞
ν=−∞

bν bν+s−t

∞


bµ bµ+s−t+k−h · σe4

µ=−∞ ∞


bν bν+s−t+k

bµ bµ+s−t−h · σe4

µ=−∞

bν bν+h

∞
µ=−∞

bµ bµ+k · σe4 .

(10.19)

158

10 Asymptotische Eigenschaften von Sch¨ atzverfahren

Hieraus folgt mit ∞


γ (h) = E

∞


bν bµ et−ν et+h−µ = σe2

ν,µ=−∞

bν bν+h

(10.20)

ν=−∞

E (Xt Xt+h Xs Xs+k ) = (η − 3)σe4

∞


bν bν+h bν+s−t bν+s−t+k (10.21)

ν=−∞

+ γ(s − t) γ(s − t + k − h) + γ(s − t + k) γ(s − t − h) + γ(h) γ(k) . Damit gilt f¨ ur h, k ≥ 0 n Cov(γn (h), γn (k))   = n E γn (h) γn (k) − E γ(h) · E γ(k) 1

E (Xt Xt+h Xs Xs+k ) − nγ(h) γ(k) , = n t=1 s=1 n

n

also n Cov(γn (h), γn (k)) = (η − 3) σe4 +

n ∞ n 1


bν bν+h bν+s−t bν+s−t+k n t=1 s=1 ν=−∞

(10.22)

n n 1

γ(s − t) γ(s − t + k − h) n t=1 s=1

n n 1

γ(s − t + k) γ(s − t − h) n t=1 s=1  n−1
 |r| 1− = Tr n r=−n+1

+

mit Tr = (η − 3) σe4

∞


bν bν+h bν+r bν+r+k

(10.23)

ν=−∞

+γ(r) γ(r + k − h) + γ(r + k) γ(r − h) unter Verwendung von (A.11) aus Anhang A.1.  Aus j |bj | < ∞ folgt wegen Bemerkung 10.2 iv) zun¨achst die absolute Summierbarkeit von γ(·) und deshalb auch r |Tr | < ∞ . Aufgrund von Beispiel A.2 erhalten wir damit

10.2 Schwache Abh¨ angigkeit ∞


n Cov(γn (h), γn (k)) →

Tr .

159

(10.24)

r=−∞

Wegen ∞


∞


bν bν+h bν+r bν+r+k =

∞ 


r=−∞ ν=−∞

bν bν+h

∞ 


ν=−∞

 bν bν+k

(10.25)

ν=−∞

folgt nun zusammen mit (10.20) die Aussage (10.15). −1 ), Schließlich folgern wir√aus (10.15) mit h = k die Aussage V ar γn (h) = O(n√ woraus mit (10.14) n(γn (h) − γ(h)) = OP (1) , also die gew¨ unschte n– Konsistenz folgt. Mit einer Standardargumentation erhalten wir die gleiche Aussage auch f¨ ur (h) .   Anmerkung 10.5 Im Falle normalverteilter Innovationen (et ) in Satz 10.4 gilt Ee4t = 3σe4

bzw.

η = 3,

sodass dann in Gleichung (10.16) der Term mit (η − 3) wegf¨allt.

(10.26)  

10.2 Schwache Abh¨ angigkeit Nachdem wir in Abschnitt 10.1 erste Konsistenzaussagen f¨ ur das empirische Mittel und die empirische Autokovarianz abgeleitet haben, sollen nun zentrale Grenzwertaussagen diese Untersuchungen abrunden. Hierzu verwenden wir ein wahrscheinlichkeitstheoretisches Konzept, welches uns in einem angemessenen Rahmen derartige zentrale Grenzwerts¨ atze f¨ ur abh¨angige Zufallsvariablen zur Verf¨ ugung stellt. Es existieren eine ganze Reihe von m¨oglichen Vorgehensweisen, die erfolgreich im Zeitreihenkontext angewandt wurden. Bereits das klassische Central Limit Theorem (CLT) f¨ ur Martingaldifferenzschemata (vgl. Brown (1971) oder auch G¨ anssler/Stute (1977), Kap. IX) kann zum Nachweis der asymptotischen Normalit¨ at von Parametersch¨atzern im linearen autoregressiven Modell bekannter Ordnung verwendet werden. Auf Basis eines CLT f¨ ur streng station¨ are m–abh¨ angige Prozesse entwickeln Brockwell/Davis (1991), vergleiche Chapter 6.4, zentrale Grenzwertaussagen f¨ ur lineare Prozesse im Sinne von Definition 10.3. Schließlich erlauben die diversen mixing– Konzepte ebenfalls asymptotische Verteilungsaussagen f¨ ur stochastische Prozesse (vgl. etwa Doukhan (1994) oder auch Bosq (1996)). W¨ahrend mixing–Bedingungen den Nachteil haben, dass sie aufgrund ihrer recht hohen technischen Ebene in der Regel schwierig zu u ufen sind ¨berpr¨ (vgl. Doukhan (1994)), bleiben die Ans¨ atze u ¨ber Martingalschemata oder

160

10 Asymptotische Eigenschaften von Sch¨ atzverfahren

m–Abh¨ angigkeitsannahmen beschr¨ ankt auf gewisse Situation. Martingaldifferenzen eignen sich besonders gut f¨ ur lineare wie nicht lineare autoregressive Zeitreihen mit unabh¨ angigen Innovationen. F¨ ur m–Abh¨angigkeit sehen wir kaum M¨ oglichkeiten, dieses Konzept zum Nachweis zentraler Grenzwertaussagen weit u ¨ber lineare Prozesse hinaus auszudehnen. In diesem Text wollen wir ein von Doukhan/Louhichi (1991) entwickeltes Konzept der sogenannten schwachen Abh¨ angigkeit aufgreifen, da wir auf dieser Basis alle intendierten Modellsituationen einheitlich behandeln k¨onnen. Außerdem basiert die wesentliche Forderung der schwachen Abh¨angigkeit auf einer f¨ ur die Zeitreihenanalyse recht g¨ angigen Konzeption, n¨amlich der der Kovarianz. Grob gesprochen wird gefordert, dass f¨ ur geeignete Funktionen g und h die Kovarianz Cov(g(Vergangenheit), h(Zukunft))

(10.27)

f¨ ur wachsenden zeitlichen Abstand zwischen Vergangenheit“ und Zukunft“ ” ” gegen Null konvergiert. Wir wollen diese Idee zun¨ achst am Beispiel der linearen Prozesse gem¨aß Definition 10.3 demonstrieren, wobei wir zus¨ atzlich die Kausalit¨at der Zeitreihe voraussetzen wollen. Dazu bezeichnen wir mit |(x1 , . . . , xu )| := (x21 + · · · + x2u )1/2

(10.28)

die Euklidische Norm auf Ru und f¨ uhren f¨ ur eine beliebige Funktion h : Ru → R mit Lip (h) := supx =y (|h (x) − h (y)|/|x − y|) die Lipschitz–Konstante ein. Satz 10.6 (Schwache Abh¨ angigkeit f¨ ur lineare Prozesse) F¨ ur einen kausalen linearen Prozess X = (X t : t ∈ Z) wie in Definition 10.3 ∞ mit der zus¨ atzlichen Koeffizientenbedingung k=1 k |bk | < ∞ ist die folgende schwache Abh¨ angigkeitsaussage erf¨ ullt: F¨ ur s1 < · · · < su < su + r ≤ t1 < · · · < tv und Funktionen g : Ru → R h : Rv → R mit Eg 2 (Xs1 , . . . , Xsu ), Eh2 (Xt1 , . . . Xtv ) < ∞ gilt: |Cov (g (Xs1 , . . . , Xsu ) , h (Xt1 , . . . , Xtv ))| √ ≤ Eg 2 (Xs1 , . . . , Xsu ) · Lip (h) · v · ϑr ,

(10.29)

wobei (ϑr : r ≥ 1) eine monoton nichtsteigende summierbare Folge ist. Beweis: Zum Nachweis von (10.29) ersetzen wir die Xtj zun¨achst durch die angigen Gr¨ oßen (man beachte, dass aufgrund der Kauvon Xs1 , . . . , Xsu unabh¨ ur alle j < 0 gilt) salit¨at in der MA(∞)–Darstellung der Zeitreihe bj = 0 f¨ t := t−su −1 bν et−ν , t > su , und erhalten X ν=0 |Cov (g (Xs1 , . . . , Xsu ) , h (Xt1 , . . . , Xtv ))|    t , . . . , X t )) .(10.30) = Cov(g(Xs1 , . . . , Xsu ), h(Xt1 , . . . , Xtv ) − h(X 1 v

10.3 Ein zentraler Grenzwertsatz f¨ ur schwach abh¨ angige Zufallsvariable

Mit Hilfe von |Cov (U, V ) | ≤ die folgende obere Schranke

√

161

EU 2 EV 2 erhalten wir f¨ ur die obige Kovarianz

v 
1/2 t )2 Eg 2 (Xs1 , . . . , Xsu ) · Lip(h) · E (Xtj − X . j

(10.31)

j=1

t , j = 1, . . . , v, ergibt dann Einsetzen der MA–Darstellung f¨ ur Xtj und X j v 
1/2 t )2 (Xtj − X E j j=1

=

v 


∞


b2k Ee2tj −k

1/2

≤



v Ee21

j=1 k=tj −su

≤



v Ee21

∞


∞ 


b2k

1/2

k=r

|bk | =:

√

v · ϑr ,

(10.32)

k=r

wegen tj − su ≥ r f¨ ur alle j. Damit gilt also (10.29). Die behauptete Summierbarkeit der ϑr folgt wegen ∞ ∞



|bk | =

r=1 k=r

direkt aus der Annahme

∞
k=1

∞

k=1

|bk |

∞


1{k ≥ r} =

r=1

k |bk | < ∞.

∞


k|bk |

(10.33)

k=1

 

Die Eigenschaft (10.29) ist der Urprungsdefinition von Doukhan/Louhichi (1991) sehr ¨ ahnlich. Wir verzichten auf ihre exakte Formulierung, da wir im nachfolgenden zentralen Grenzwertsatz eine darauf zugeschnittene Variante des schwachen Abh¨ angigkeitsbegriffs verwenden. Bemerkung 10.7 i) Setzt man in Satz 10.6 zus¨ atzlich voraus, dass die MA– Koeffizienten br in geometrischer Rate gegen Null konvergieren, d.h. es gibt ein  > 1 und ein ur alle r ∈ N0 , dann konvergiert auch der schwache c < ∞ mit |br | ≤ c−r f¨ Abh¨angigkeitskoeffizient ϑr in geometrischer Rate gegen Null. ii) Insbesondere gilt i) f¨ ur kausale ARMA(p, q)–Zeitreihen mit i.i.d. (et ) .  

10.3 Ein zentraler Grenzwertsatz fu angige ¨ r schwach abh¨ Zufallsvariable In diesem Abschnitt formulieren und beweisen wir einen Zentralen Grenzwertsatz f¨ ur schwach abh¨ angige Zeitreihen. Das Resultat ist einer Arbeit von Neumann/Paparoditis (2003) entnommen. Konvergenzen beziehen sich, falls nichts anderes gesagt wird, auf n → ∞ .

162

10 Asymptotische Eigenschaften von Sch¨ atzverfahren

Satz 10.8 (CLT f¨ ur schwach abh¨ angige Zufallsvariable) ur jedes n ∈ N eine streng station¨ are, reelle Zeitreihe Sei Xn = (Xn,k : k ∈ Z) f¨ 2 ≤ C < ∞ ∀ k, n. Außerdem gelte eine Lindeberg– mit EXn,k = 0 sowie EXn,k Bedingung der Form n √  1
 2  E Xn,k 1 |Xn,k | ≥ ε n → 0, n

∀ ε > 0,

(10.34)

k=1

sowie f¨ ur ein σ 2 ∈ [0, ∞) die Konvergenzaussage
E (Xn,0 Xn,k ) σn2 := k∈Z 2 = E Xn,0 +2·

∞


E (Xn,0 Xn,k ) → σ 2 .

(10.35)

k=1

Es existiere ferner eine monoton nichtsteigende und summierbare nichtnegatiur alle n ≥ n0 und f¨ ur alle s1 < · · · < su < ve Folge (ϑr : r ∈ N) derart, dass f¨ angigkeitsbedingungen“ su + r = t1 ≤ t2 die beiden folgenden schwachen Abh¨ ” gelten (i) f¨ ur alle messbaren und quadratintegrierbaren Funktionen f : Ru → R  |Cov (f (Xn,s1 , . . . , Xn,su ) , Xn,t1 )| ≤ Ef 2 (Xns1 , . . . , Xn,su ) · ϑr , (10.36) (ii)f¨ ur alle messbaren und beschr¨ ankten Funktionen f : Ru → R |Cov (f (Xn,s1 , . . . , Xn,su ) , Xn,t1 · Xn,t2 )| ≤ f ∞ · ϑr ,

(10.37)

wobei · ∞ die Supremumsnorm bezeichne. Dann gilt n   1
D √ Xn,t → N 0, σ 2 . n t=1

(10.38)

Anmerkung 10.9 Es existieren weitere zentrale Grenzwertaussagen f¨ ur schwach abh¨angige Zufallsfolgen in der Literatur (etwa in Doukhan/Louhichi (1991) oder Coulon– Prieur/Doukhan (2000)). Wir verwenden die angegebene Version des CLT, da sie uns f¨ ur die hier ben¨ otigten Zwecke besonders ad¨aquat erscheint.   Der Beweis von Satz 10.8 kann bei einem ersten Lesen u ¨bersprungen werden. Beweis: (zu Satz 10.8) Zun¨ achst gilt aufgrund der Stationarit¨at

10.3 Ein zentraler Grenzwertsatz f¨ ur schwach abh¨ angige Zufallsvariable n    1
   Xn,t − σ 2  V ar √ n t=1   n 1
   = E (Xn,s Xn,t ) − σ 2  n  s,t=1    n−1  
 k   2 ≤ EXn,0 +2 1− E (Xn,0 Xn,k ) − σn2    n k=1  2  + σn − σ 2  , man beachte (A.11) ,

≤2

∞


k=n  + σn2

|E (Xn,0 Xn,k )| + 2 −σ



2

n−1
k=1

163

(10.39)

k |E (Xn,0 Xn,k )| n

, man beachte (10.35) .

(10.40)

Zun¨achst sichert die erste schwache Abh¨ angigkeitsbedingung (10.36) mit u = 1 und f (x) = x die Konvergenz des ersten Summanden gegen Null, da ϑr summierbar ist. (10.35) impliziert die Konvergenz des letzten Summanden gegen Null. F¨ ur den mittleren Ausdruck erhalten wir erneut mit (10.36) wegen 2 ≤ C die folgende obere Schranke EXn,k
k √ n−1 ϑk → 0 . 2 C n

(10.41)

k=1

Die letzte Aussage folgt aufgrund der Summierbarkeit der ϑk zusammen mit dem Kroneckerlemma Beispiel A.2. Wir haben also gezeigt n  1
 1 2 σ n2 := V ar √ Xn,t = E (Xn,1 + · · · + Xn,n ) → σ 2 . n n t=1

(10.42)

Im Falle σ 2 = 0 liefert dies bereits die Behauptung, sodass wir im Folgenden ur σ 2 > 0 annehmen √ werden. Wegen (10.42) reicht es nun zu zeigen, dass f¨ σn n) gilt Yn,t := Xn,t /( n


D

Yn,t → N (0, 1) .

t=1

Wir haben aufgrund der Stationarit¨ at von {Xn,k : k ∈ Z}

(10.43)

164

10 Asymptotische Eigenschaften von Sch¨ atzverfahren

vn,k := V ar

k 


  k−1 
Yn,t − V ar Yn,t

t=1

t=1

= V ar Yn,k + 2

k−1


Cov(Yn,t , Yn,k )

t=1

 =

2 +2 EXn,0

k−1


2 σn2 ) E (Xn,k−t Xn,0 ) (n

(10.44)

t=1

 =  =

2 EXn,0 +2

k−1


E (Xn,t Xn,0 )

t=1

σn2 − 2

∞


E (Xn,t Xn,0 )

2

2   n σn2

(n σn2 ) .

t=k

Mit (10.35), (10.42) und der Tatsache, dass wegen (10.36) sup n

∞


|EXn,0 Xn,t | ≤

∞ √
C ϑt → 0

t=k

t=k

f¨ ur k → ∞ gilt, ergibt sich nvn,k → 1 f¨ ur n, k → ∞ .

(10.45)

ur alle n ≥ n0 und k0 ≤ k ≤ n. Deshalb existieren n0 , k0 ∈ N mit vn,k > 0 f¨ Ohne Einschr¨ ankung nehmen wir vn,k ≥ 0 ∀ n, k an. Außerdem gilt f¨ ur n → ∞ max vn,k → 0 ,

1≤k≤n

(10.46)

ur großes n und großes k denn zum einen haben wir, dass vn,k wegen (10.45) f¨ hinreichend klein ist und zum anderen folgt f¨ ur jedes feste k aus der Tatsache, ur n → ∞. dass n σn2 → ∞ mit (10.44) direkt vn,k → 0 f¨ Nun bezeichnen wir f¨ ur jedes n ∈ N mit Zn,k , k = 1, . . . , n, stochastisch unabh¨angige und gem¨aß N (0, vn,k )–verteilte Zufallsvariable, die ebenfalls unabh¨angig von allen Yn,j , j = 1, . . . , n, seien. n Wegen V ar ( t=1 Yn,t ) = 1 und der Definition von vn,k in (10.44) gilt vn,1 + · · · + vn,n = 1 .

(10.47)

Gem¨aß Theorem 7.1 aus Billingsley (1968) reicht es hin, die folgende Aussage Eh (Yn,1 + · · · + Yn,n ) → Eh (Zn,1 + · · · + Zn,n )

(10.48)

f¨ ur alle reellwertigen Funktionen h zu zeigen, die dreimal stetig differenzierbar mit beschr¨ ankten Ableitungen nullter bis dritter Ordnung sind. Wir werden

10.3 Ein zentraler Grenzwertsatz f¨ ur schwach abh¨ angige Zufallsvariable

165

nun gem¨ aß der klassischen Lindeberg–Methode ein Yn,j nach dem anderen durch Zn,j ersetzen. Dazu bezeichnen wir Sn,k =

k−1


Yn,t

und

Tn,k =

t=1

n


Zn,t ,

(10.49)

t=k+1

wobei hier und im Folgenden leere Summen als 0 definiert seien. Dann zerlegen wir mit ∆n,k := E [h (Sn,k + Yn,k + Tn,k ) − h (Sn,k + Zn,k + Tn,k )]

(10.50)

den zu untersuchenden Ausdruck wie folgt Eh (Yn,1 + · · · + Yn,n ) − Eh (Zn,1 + · · · + Zn,n ) =

n


∆n,k .

(10.51)

k=1

∆n,k wird mit (1)

∆n,k := Eh (Sn,k + Yn,k + Tn,k ) − Eh (Sn,k + Tn,k ) vn,k Eh (Sn,k + Tn,k ) − 2

(10.52)

und (2)

∆n,k := Eh (Sn,k + Zn,k + Tn,k ) − Eh (Sn,k + Tn,k ) vn,k Eh (Sn,k + Tn,k ) − 2 (1)

(10.53)

(2)

ur i = 1, 2 gem¨aß ∆n,k = ∆n,k − ∆n,k noch weiter zerlegt und wir zeigen f¨ n


(i)

∆n,k → 0.

(10.54)

k=1 (2)

Zun¨achst zu ∆n,k . Mit Hilfe der Taylorschen Formel erhalten wir f¨ ur ein achst zuf¨alliges n,k ∈ (0, 1) zun¨ (2)

∆n,k = E [Zn,k h (Sn,k + Tn,k )] +E

2 Zn,k

2

(10.55)

[h (Sn,k + n,k Zn,k + Tn,k ) − h (Sn,k + Tn,k )] .

angig von Sn,k und Tn,k ist, verschwindet der Da EZn,k = 0 und Zn,k unabh¨ erste Summand in (10.55) und wir k¨ onnen mit dem Mittelwertsatz wie folgt absch¨atzen

166

10 Asymptotische Eigenschaften von Sch¨ atzverfahren n n 

 (2)  3 ∆n,k  ≤ O (1) E |Zn,k |  k=1

= O (1)

k=1 n


3/2

vn,k , wegen Zn,k ∼ N (0, vn,k ) ,

(10.56)

k=1 1/2

= O (1) · max vn,k , man verwende (10.47) , 1≤k≤n

→ 0, wegen (10.46) . (1)

Die Absch¨ atzungen f¨ ur ∆n,k sind umfangreicher. Die Taylorsche Formel ergibt diesmal f¨ ur ein zuf¨ alliges τn,k ∈ (0, 1) (1)

∆n,k = E [Yn,k h (Sn,k + Tn,k )] 4 3 2 Yn,k h (Sn,k + τn,k Yn,k + Tn,k ) +E 2 vn,k Eh (Sn,k + Tn,k ) . − 2

(10.57)

Da Yn,k und Sn,k nicht unabh¨ angig sein m¨ ussen, verschwindet der erste Term auf der rechten Seite von (10.57) nicht notwendig. Deshalb m¨ ussen wir erneut die Taylorsche Formel bem¨ uhen und erhalten f¨ ur zuf¨alliges δn,k,j ∈ (0, 1) E [Yn,k h (Sn,k + Tn,k )] =

k−1


EYn,k [h (Sn,j+1 + Tn,k ) − h (Sn,j + Tn,k )]

(10.58)

j=1

=

k−1


E [Yn,k Yn,j h (Sn,j + δn,k,j Yn,j + Tn,k )] .

j=1

F¨ ur das erste Gleichheitszeichen beachte man, dass E (Yn,k h (Sn,1 + Tn,k )) = E (Yn,k h (Tn,k )) = 0 gilt, da EYn,k = 0 und Yn,k und Tn,k stochastisch un(1) abh¨angig sind. Setzen wir (10.58) in den obigen Ausdruck f¨ ur ∆n,k ein und  k−1 2 + 2 j=1 E (Yn,k Yn,j ) (vgl. (10.44), so beachten die Gleichung vn,k = EYn,k erhalten wir (1) ∆n,k

=

k−1


EYn,k Yn,j [h (Sn,j + δn,k,j Yn,j + Tn,k ) − E h (Sn,k + Tn,k )]

j=1

1 2 + EYn,k [h (Sn,k + τn,k Yn,k + Tn,k ) − Eh (Sn,k + Tn,k )] (10.59) 2 1 (1,2) (1,1) =: ∆n,k + ∆n,k . 2 (1,1)

(1,2)

Wir behandeln die beiden Ausdr¨ ucke ∆n,k und ∆n,k getrennt und zerlegen (1,2)

zun¨achst ∆n,k in die folgenden drei Terme

10.3 Ein zentraler Grenzwertsatz f¨ ur schwach abh¨ angige Zufallsvariable

167

(1,2,1)

2 := EYn,k [h (Sn,k + τn,k Yn,k + Tn,k ) − h (Sn,k−d + Tn,k )] (10.60)

(1,2,2)

2 := EYn,k [h (Sn,k−d + Tn,k ) − Eh (Sn,k−d + Tn,k )]

(10.61)

(1,2,3)

2 := EYn,k [Eh (Sn,k−d + Tn,k ) − Eh (Sn,k + Tn,k )] .

(10.62)

∆n,k ∆n,k ∆n,k

Dabei stellt d einen nicht von n abh¨ angenden Wert dar, der im Rahmen der (1,2,2) nun folgenden Absch¨ atzung von ∆n,k genauer spezifiziert wird. Unter erstmaliger Anwendung der zweiten schwachen Abh¨angigkeitsbedingung (10.37) (1,2,2) erhalten wir die folgende Schranke f¨ ur ∆n,k (1,2,2)

|∆n,k

 2  1 |E Xn,k [h (Sn,k−d + Tn,k ) − Eh (Sn,k−d + Tn,k )] | 2 n σn   1 2 | (10.63) = |Cov h (Sn,k−d + Tn,k ), Xn,k n σn2 1 ≤ h ∞ · ϑd . n σn2

|=

Wegen σ n2 → σ 2 , vgl. (10.42), erreichen wir zu gegebenem η > 0 f¨ ur alle d hinreichend groß n


(1,2,2)

∆n,k

= O (ϑd ) ≤ η .

(10.64)

k=1

Von nun an sei d mit dieser Eigenschaft fest gew¨ahlt. Mit Hilfe der Lindeberg-Bedingung (10.34) und der Beschr¨anktheit von h und h erhalten wir weiter f¨ ur beliebiges ε > 0 n n 

5 2  6 √   (1,2,1)  ∆n,k  ≤ E Yn,k 1 |Xn,k | ≥ ε n · O (1)  k=1

k=1

+

n k 7 8
 √ 
2 E Yn,k 1 |Xn,k | < ε n |Yn,j | · O(1) k=1

=

O(1) · nσ n2 +

j=k−d n


7

 √ 8 2 E Xn,k 1 |Xn,k | ≥ ε n

(10.65)

k=1

n k 8
O(ε)
7 · E |Yn,k | |Yn,j | σ n k=1

= o(1) + = o(1) +

O(ε) σ n

j=k−d

n


k




2 2 EYn,k EYn,j

k=1 j=k−d

O(ε) 2 (d + 1) sup EXn,j σ n3 n,j

= o(1) + d O (ε) ≤ η ,

1/2

, man beachte (10.34) ,

168

10 Asymptotische Eigenschaften von Sch¨ atzverfahren

f¨ ur gen¨ ugend großes n und gen¨ ugend kleines ε > 0. Wegen |Eh (Sn,k−d + Tn,k ) − Eh (Sn,k + Tn,k )| k−1  1
≤ O (1) · E |Yn,j | = d O n− 2

(10.66)

j=k−d (1,2,3)

folgt schließlich f¨ ur ∆n,k

   3  (1,2,3)  ∆n,k  = d O n− 2 .

(10.67)

Indem wir zun¨ achst n → ∞ und danach η → 0 betrachten, ergibt sich insgen (1,2) −→ samt k=1 ∆n,k n→∞ 0. n (1,1) Beim abschließenden Nachweis der Konvergenz von k=1 ∆n,k gegen Null gehen wir in gewisser Weise analog vor. Erschwert wird die Untersuchung dadurch, dass noch eine zus¨ atzliche Summe u ¨ber den Index j auftritt. Wir m¨ ussen hier erneut aufsplitten, wobei der erste Teil der Summe mit Hilfe der ersten schwachen Abh¨ angigkeitsbedingung (10.36) wie folgt abgesch¨atzt werden kann   k−d  
EYn,k Yn,j [h (Sn,j + δn,k,j Yn,j + Tn,k ) − Eh (Sn,k + Tn,k )]   j=1

  k−d  
∞ 1
1 =O ϑk−j = O ϑj . n j=1 n

(10.68)

j=d

Umfangreicher ist die Untersuchung des Anteils k−1


EYn,k Yn,j [h (Sn,j + δn,k,j Yn,j + Tn,k ) − Eh (Sn,k + Tn,k )] . (10.69)

j=k−d+1 (1,2)

Analog zur Untersuchung von ∆n,k zerlegen wir auch diesen Ausdruck in drei Teilsummen. Exemplarisch betrachten wir hier nur den Term   

k−1


  EYn,k Yn,j [h (Sn,j−d + Tn,k ) − Eh (Sn,j−d + Tn,k )]  .(10.70)

j=k−d+1

Unter Anwendung der zweiten schwachen Abh¨ angigkeitsbedingung (10.37) erhalten wir hierf¨ ur die folgende obere Schranke (vgl. mit der Rechnung bei (10.63))   O n−1 d ϑd . (10.71) Ohne auf weitere Details einzugehen erhalten wir insgesamt

10.4 Asymptotische Normalit¨ at n ∞ 
 
  (1,1)  ∆n,k  ≤ O ϑj + O (d ϑd ) .  k=1

169

(10.72)

j=d

Mit d → ∞ konvergiert der erste Summand der Schranke aufgrund der Summierbarkeit der Folge {ϑr } gegen Null. Diese Summierbarkeit in Verbindung mit der Monotonie von {ϑr } sichert abschließend auch d · ϑd →n→∞ 0 (vgl. Aufgabe 10.1). Damit ist Satz 10.8 bewiesen.   Bevor wir uns den angestrebten statistischen Untersuchungen zuwenden, wollen wir als Beispiel zeigen, dass f¨ ur sogenannte m–abh¨angige Zeitreihen die schwachen Abh¨ angigkeitsvoraussetzungen des zentralen Grenzwertsatzes Satz 10.8 erf¨ ullt sind. Definition 10.10 (m–Abh¨ angigkeit) Eine Zeitreihe X = (Xt : t ∈ Z) heißt m–abh¨ angig (m ∈ N0 ), falls die beiden ur alle Klassen von Zufallsvariablen (Xs : s ≤ t) und (Xs : s ≥ t + m + 1) f¨ t ∈ Z stochastisch unabh¨ angig sind. Bemerkung 10.11 F¨ ur eine streng station¨ are Zeitreihe X = (Xt : t ∈ Z) folgt die m–Abh¨angigkeit bereits, falls f¨ ur ein t0 ∈ Z die Klassen (Xs : s ≤ t0 ) und (Xs : s ≥ t0 + m + 1) stochastisch unabh¨ angig sind.   Offensichtlich gelten die beiden schwachen Abh¨ angigkeitsbedingungen (10.36) und (10.37) aus Satz 10.8 f¨ ur m–abh¨ angige Zeitreihen, da Unabh¨angigkeit bei existierenden entsprechenden Momenten die Unkorreliertheit impliziert. Wir ur alle r > m. erhalten demnach sogar ϑr = 0 f¨ Als direkte Konsequenz ergibt sich, dass MA(q)–Zeitreihen mit stochastisch unabh¨ angigem weißen Rauschen stets schwach abh¨angig sind, da sie q– abh¨angig sind.

10.4 Asymptotische Normalit¨ at des Stichprobenmittels und der Stichprobenautokovarianz Wir beginnen diesen Abschnitt mit der Untersuchung n der asymptotischen Eiur den genschaften des arithmetischen Mittels X n = n1 t=1 Xt als Sch¨atzer f¨ aren Zeitreihe. In Abschnitt 10.1 haben Erwartungswert EXt = µ einer station¨ wir bereits gesehen, dass unter recht allgemeinen und schwachen Bedingungen an die Autokovarianzfunktion der unterliegenden Zeitreihe Konsistenz, d.h. X n → µ nach Wahrscheinlichkeit, gilt. Der folgende Satz erg¨anzt diese Aussage in Richtung auf die asymptotische Verteilung von X n .

170

10 Asymptotische Eigenschaften von Sch¨ atzverfahren

Satz 10.12 (Asymptotische Normalit¨ at des Stichprobenmittels) ∞ Sei X = (Xt : t ∈ Z) ein kausaler linearer Prozess mit Xt = µ + j=0 bj et−j ∞ wie in Definition 10.3 mit der zus¨ atzlichen Voraussetzung j=1 j|bj | < ∞. Dann gilt n ∞ 
 1
D √ (Xt − µ) → N 0, γX (h) , n t=1

(10.73)

h=−∞

wobei γX die Autokovarianzfunktion der Zeitreihe X bezeichnet. ur schwach Beweis: Wir weisen im Folgenden die Voraussetzungen des CLT f¨ abh¨angige Zufallsvariablen (Satz 10.8) nach. Zun¨ achst gilt unter den gemach2 ur alle ten Voraussetzungen E (Xt − µ) = 0 und E (Xt − µ) ≤ C < ∞ f¨ (h) absolut t ∈ Z . Nach Bemerkung 10.2 iv) sind die Autokovarianzen γ X  summierbar, sodass (10.35) erf¨ ullt ist mit σ 2 = h∈Z γX (h). Die Forderung (10.34), d.h. √  −→ 1
2  E (Xt − µ) 1 |Xt − µ| ≥ ε n n→∞ 0, n t=1 n

(10.74)

folgt direkt aus der strengen Stationarit¨ at (deshalb sind alle Summanden gleich) und der Quadratintegrierbarkeit der Xt mit Hilfe des Satzes von Lebesgue. Die erste Abh¨ angigkeitsbedingung (10.36) folgt direkt aus Satz 10.6 mit v = 1 und der Identit¨ at h(x) = x. Der Beweis der zweiten Abh¨angigkeitsbedingung(10.37) folgt prinzipiell dem Beweisverlauf von Satz 10.6 (siehe auch den sp¨ ateren Beweis von Satz 10.15) und ist als Aufgabe 10.2 gestellt, sodass damit Satz 10.12 bewiesen ist.   In Aufgabe 10.5 wird eine Methode angegeben, wie man  die Aussage (10.73) im obigen Satz ohne die zus¨ atzliche Voraussetzung j j |bj | < ∞ beweisen kann. Bemerkung 10.13 (Konfidenzintervalle f¨ ur den Erwartungswert) ∞ Wir k¨ onnen f¨ ur kausale lineare Zeitreihen Xt = µ + j=0 bj et−j wie in Satz 10.12 die Varianz der asymptotischen Verteilung des arithmetischen Mittels ∞ (vgl. (10.73)) auch wie folgt ausdr¨ ucken. Da γX (h) = σe2 j=−∞ bj bj+h (man ur k < 0) folgt einerseits setze dabei stets bk = 0 f¨ ∞


γX (h) = σe2

h=−∞

= σe2 = σe2

∞


∞


bj bj+h

h=−∞ j=−∞ ∞ ∞



bj

j=−∞ ∞ 


bj

j=0

h=−∞

2

bj+h

(10.75)

10.4 Asymptotische Normalit¨ at

171

und andererseits mit (3.14) aus der Inversionsformel ∞


γX (h) = 2πfX (0)

(10.76)

h=−∞

wobei fX die Spektraldichte der Zeitreihe X bezeichnet. Die asymptotische Normalit¨ at aus (10.73) ergibt dann schließlich folgende Konfidenzintervalle f¨ ur EXt = µ zum asymptotischen Niveau 1 − α 2πfX (0) √ z1−α/2 Xn ± (10.77) n beziehungsweise    ∞   j=0 bj  √ σe z1−α/2 , Xn ± n

(10.78)

wobei z1−α/2 wie u ¨blich das (1 − α/2)–Quantil der Standardnormalverteilung bezeichnet. In der konkreten Anwendung m¨ ussen die relevanten Gr¨oßen ∞ urlich durch konsistente Sch¨atzer ersetzt werden, fX (0) , j=0 bj sowie σe2 nat¨ was unter Ber¨ ucksichtigung des Lemmas von Slutsky (siehe Anhang A.5, Bemerkung A.26 (ii)) das asymptotische Niveau 1 − α nicht beeinflusst.   Beispiel 10.14 Gem¨aß (10.78) erhalten wir f¨ ur den nicht zentrierten AR(1)–Prozeß Xt + µ mit Xt + aXt−1 = et , t ∈ Z, wobei µ ∈ R , |a| < 1 und (et ) i.i.d. , das asymptotische (1 − α)–Konfidenzintervall f¨ ur EXt = µ Xn ±

σe z1−α/2 √ |1 + a| n

(10.79)

Zur Verifikation beachte man die zugeh¨ orige kausale MA(∞)–Darstellung (2.16) einer AR(1)–Zeitreihe. Man erkennt, dass das Konfidenzintervall f¨ ur EXt = µ f¨ ur a in der N¨ahe von urdig wird.   −1 sehr groß und der Sch¨ atzer X n damit weniger vertrauensw¨ Nun wollen wir die asymptotische Verteilung der Stichprobenautokovarianz, auch empirische Autokovarianz genannt, herleiten. Als Folgerung erhalten wir sp¨ater auch die asymptotische Verteilung der empirischen Autokorrelation und der schon in Kapitel 8 eingef¨ uhrten Yule–Walker–Sch¨atzer im autoregressiven Modell. Satz 10.15 (Asymptotische Normalit¨ at der empirischen Autokovarianz) X = (Xt : t ∈ Z) sei wie in Satz 10.12 eine kausale lineare Zeitreihe, nun jedoch unter der zus¨ atzlichen Annahme endlicher vierter Momente des weißen

172

10 Asymptotische Eigenschaften von Sch¨ atzverfahren

Rauschens, d.h. mit Ee4t < ∞, und erneut mit der Koeffizientenbedingung  ∞ ur jedes M ∈ N0 mit der (M + 1) × (M + 1)– j=1 j |bj | < ∞. Dann gilt f¨ Kovarianzmatrix SM = (c(h, k))h,k=0,...,M , mit c(h, k) aus (10.16) √ D n (γn (h) − γX (h))h=0,...,M → N (0, SM ) . (10.80)   n−h  Dabei ist γn (h) = n1 t=1 Xt+h − X n Xt − X n , h ≥ 0, die empirische Autokovarianzfunktion und γX die tats¨ achliche Autokovarianzfunktion. Beweis: Wir beschr¨anken uns auf den Fall EXt = 0. Wegen (10.14) reicht es nach dem Lemma von Slutsky (siehe Bemerkung A.26) die Aussage des Satzes f¨ ur γn zu zeigen. Dazu wenden wir die Cram´er–Wold Technik an (siehe Satz T A.25) und zeigen f¨ ur jedes c = (c0 , c1 , . . . , cM ) ∈ RM +1 (nicht zu verwechseln mit den obigen Gr¨ oßen c(h, k) !) M   √
D n ch (γn (h) − γX (h)) → N 0, cT SM c .

(10.81)

h=0

Zun¨achst gilt M √
n ch (γn (h) − γX (h))

(10.82)

h=0

1

1
= √ ch (Xt Xt+h − γX (h)) = √ Zt n t=1 n t=1 n

M

n

h=0

mit Zt :=

M


ch (Xt Xt+h − γX (h)) .

(10.83)

h=0

Wir wollen nun Satz 10.8 auf die streng station¨are Zeitreihe (Zt : t ∈ Z) anwenden. Die Existenz der vierten Momente von et sichert u ¨ber die MA(∞)– Darstellung die Endlichkeit von supt EZ 2t . Mit Hilfe des Satzes von Lebesgue kann man dann die Lindeberg–Bedingung (10.34) nachweisen, worauf wir an dieser Stelle verzichten wollen. Die Gr¨ oße τ 2 :=

∞


EZ0 Zt

(10.84)

t=−∞

ist endlich. Wir werden nun zeigen, dass τ 2 = cT SM c gilt. Insbesondere ist dieser Ausdruck nichtnegativ, sodass die Bezeichnung τ 2 gerechtfertig ist. Mit σn2 = σ 2 = τ 2 folgt dann (10.35). Wir formen nun τ 2 um. Zun¨achst gilt EZ0 Zt = =

M
M
h=0 k=0 cT At c

ch ck E(X0 Xh − γX (h))(Xt Xt+k − γX (k))

(10.85)

10.4 Asymptotische Normalit¨ at

173

  mit der Matrix At = At (h, k) h,k=0,...,M gem¨ aß At (h, k) = EX0 Xh Xt Xt+k − γX (h)γX (k) .

(10.86)

Aufgrund von (10.21) erhalten wir ∞


At (h, k) = (η − 3)σe4

bν bν+h bν+t bν+t+k

(10.87)

ν=−∞

+γX (t)γX (t + k − h) + γX (t + k)γX (t − h) . Summation u ¨ber t ∈ Z ergibt schließlich unter Verwendung von (10.20) die gew¨ unschte Gleichung τ 2 = cT SM c. ¨ Kommen wir jetzt zur Uberpr¨ ufung der beiden schwachen Abh¨angigkeitsbedingungen (10.36) und (10.37). Zum Nachweis von (10.36) sei f : Ru → R eine messbare, quadratintegrierbare Funktion, d.h. Ef 2 (Zs1 , . . . , Zsu ) < ∞, ur eine geeignete Konstante sowie s1 < · · · < su < su +r = t. Wir zeigen, dass f¨ C > 0 gilt |Cov(f (Zs1 , . . . , Zsu ) , Zt )| ≤ C



Ef 2 (Zs1 , . . . , Zsu )

∞


|bj | . (10.88)

j=r

Die im Satz 10.8 geforderte Summierbarkeit der schwachen Abh¨angigkeitskoeffizienten folgt dann aus (10.33). Zum Beweis von (10.88) setze man Zt :=

M
h=0

ch

r−1 


bj bk et−j et+h−k − γX (h)

 (10.89)

j,k=0

und beachte, dass Zt gem¨ aß (10.83) und der Linearit¨at des Prozesses X eine analoge Darstellung f¨ ur r = ∞ erf¨ ullt. Zun¨ achst sichert dann die stochastische Unabh¨ angigkeit von (Zs1 , . . . , Zsu ) und Zt die folgende Absch¨atzung |Cov (f (Zs1 , . . . , Zsu ) , Zt )|      = Cov f (Zs1 , . . . , Zsu ) , Zt − Zt   2 ≤ Ef (Zs1 , . . . , Zsu ) · V ar(Zt − Zt ) .

(10.90)

Wegen V ar(Zt − Zt ) ≤ E(Zt − Z˜t )2 betrachten wir lediglich E(Zt − Zt )2 . Die expliziten Darstellungen f¨ ur Zt bzw. Zt (vgl. (10.89)) ergeben

174

10 Asymptotische Eigenschaften von Sch¨ atzverfahren

E(Zt − Zt )2 ≤ E

M 





ch

M
h=0

≤

M


c2h E

2

(10.91)

max(j,k)≥r

h=0

≤

bj bk et−j et+h−k






bj bk et−j et+h−k

2

max(j,k)≥r

c2h Ee41



2 |bj | |bk |

max(j,k)≥r

h=0

≤ 4 c 2 Ee41




∞ 


∞ 2 
2 |bj | |bk | ,

j=r

k=0

wobei sich die zweite Ungleichung aus der Cauchy–Schwarz–Ungleichung f¨ ur Folgen und die dritte Ungleichung mit Hilfe von E|ej1 ej2 ej3 ej4 | ≤ Ee41 ergibt. Aus (10.90) und (10.91) folgt unmittelbar (10.88). Vollst¨ andig analog behandeln wir die zweite schwache Abh¨angigkeitsbedingung (10.37) aus Satz 10.8. Wir erhalten f¨ ur s1 < · · · < su < su + r = t1 ≤ t2 und beschr¨ anktes f Cov (f (Zs1 , . . . , Zsu ) , Zt1 Zt2 ) ≤ O (1) f ∞ ·

∞


|bj | .

(10.92)

j=r

Zum Nachweis von (10.92) schreiben wir zun¨ achst |Cov (f (Zs1 , . . . , Zsu ) , Zt1 Zt2 )|

= |Cov(f (Zs1 , . . . , Zsu ), Zt1 Zt2 − Zt1 Zt2 )| .

(10.93)

Unter Verwendung von |Cov(U, V )| ≤ 2 U ∞ E|V | f¨ ur beschr¨anktes U kann die rechte Seite weiter nach oben abgesch¨ atzt werden durch t | , 2 f ∞ E|Zt1 Zt2 − Zt1 Z 2 wobei der Erwartungswert unter Verwendung der Dreiecksungleichung und danach der Cauchy–Schwarz–Ungleichung weiter nach oben abgesch¨atzt werden kann durch E|Zt1 − Zt1 | |Zt2 | + E|Zt2 − Zt2 | |Zt1 | 1/2  1/2  + E(Zt2 − Zt2 )2 E Zt21 . ≤ E(Zt1 − Zt1 )2 EZt22

(10.94)

Die Rechnung in (10.91) mit r = 0 zeigt, dass EZt22 und a¨hnlich E Zt21 durch die rechte Seite von (10.91) mit r = 0 beschr¨ ankt sind, sodass die Behauptung direkt aus (10.91) folgt.  

10.4 Asymptotische Normalit¨ at

175

0.25

0.20

0.15

0.10

0.05

0.00 −7.0 −6.0 −5.0 −4.0 −3.0 −2.0 −1.0 0.0 1.0 2.0 3.0 4.0 5.0 6.0 7.0

Abb. 10.1 Simuliertes Histogramm (5000 Wiederholungen) der empirischen √ Varianz n(γ(0)−γ(0)) im AR(1)–Modell mit a = 0.5 und n = 200 zusammen mit der Dichte der asymptotischen Normalverteilung

Beispiel 10.16 In Abbildung 10.1 ist f¨ ur eine AR(1)–Zeitreihe √ mit Parameter a = 0.5 ein simuliertes Histogramm der Verteilung von n(γ(0) − γ(0)) angegeben. Das dargestellte Histogramm basiert auf 5000 Zeitreihen jeweils mit der L¨ange n = 200 . Die zum Vergleich eingezeichnete Dichte der asymptotischen Normalverteilung N (0, 2(1+a2 )/(1−a2 )3 ) zeigt, dass die Approximation durch die asymptotische Verteilung durchaus akzeptabel ist. Es wird aber auch deutlich, dass die grunds¨ atzliche Streubreite beim Sch¨ atzen der Varianz der Zeitreihe recht hoch ist. Als Anhaltspunkt kann die Varianz der asymptotischen Normalverteilung betrachtet werden, die f¨ ur Parameter a in der N¨ahe von ±1 beliebig groß werden kann. F¨ ur a = 0.5 ergibt sich immerhin schon die asymptotische Varianz 5.93 . F¨ ur andere Zeitreihen, etwa MA–Zeitreihen ergibt sich beim Sch¨ atzen der Varianz der Zeitreihen ein vergleichbares Bild. Grunds¨ atzlich kann festgehalten werden, dass die Varianz einer station¨aren Zeitreihe in vielen F¨allen nicht gut gesch¨ atzt werden kann. Wir werden sp¨ater sehen (vgl. Beispiel 10.19), dass die Situation f¨ ur die Autokorrelationen ganz anders aussieht.   Zum Abschluß dieses Kapitels wollen wir die asymptotische Normalit¨at der ur die Anempirischen Autokovarianzen γn (h) aus Satz (10.15) auf die f¨ wendung wichtigen empirischen Autokorrelationen n (h) u ¨bertragen. Wegen

176

10 Asymptotische Eigenschaften von Sch¨ atzverfahren

n (h) = γn (h)/γn (0) , h = 1, 2, . . . , gelingt dies mit der sogenannten Delta– Methode (vgl. Satz (A.31)). Das Resultat lautet Korollar 10.17 (Asymptotische Normalit¨ at der emp. Autokorrelation) Unter den Voraussetzungen von Satz (10.15) gilt f¨ ur jedes M ∈ N mit der M × M –Kovarianzmatrix VM = (v(j, k))j,k=1,...,M wobei v(j, k) =

∞


{(r + k)(r − j)

(10.95)

r=−∞

+(r + j)(r + k) + 22 (r)(j)(k) −2(r)(r + j)(k) − 2(r)(r + k)(j)} ,  √  D n n (h) − X (h) h=1,...,M −→ N (O, VM ) .

(10.96)

Beweis: Mit fi (x0 , x1 , . . . , xn ) = xi /x0 , i = 1, . . . , M gilt ( n (1), . . . , n (M )) = (fi (γn (0), . . . , γn (M )) : i = 1, . . . , M ) . und entsprechend f¨ ur X und γX anstelle von n und γn . Wegen ∂fi /∂x0 = −xi /x20 , ∂fi /∂xi = 1/x0 (i = 1, . . . , M ) und ∂fi /∂xj = 0 sonst, erhalten wit mit Hilfe von Satz (A.31) aus (10.80) √ D n ( n (h) − X (h))h=1,...,M −→ N (0, ASM AT ) , wobei A = (∂fi /∂xj (γ(0), . . . , γ(M )))i=1,...,M ;j=0,...,M . Mit der Definition von SM = (c(h, k))h,k=0,...,M gem¨ aß (10.16) erhalten wir f¨ ur das (j, k)–Element von ASM AT den folgenden Ausdruck

=

∞ 

c(0, 0)γ(j)γ(k) c(j, 0)γ(k) c(0, k)γ(j) c(j, k) − − + γ(0)4 γ(0)3 γ(0)3 γ(0)2 {(r + k)(r − j) + (r)(r + k − j) + 22 (r)(j)(k)

r=−∞

−2(r)(r − j)(k) − 2(r)(r + k)(j)} . Nun kann man durch einfache Verschiebung der Summationsvariablen r den Summanden (r)(r + k − j) durch (r + j)(r + k) und −2(r)(r − j)(k) durch −2(r + j)(r)(k) ersetzen, um die behauptete Darstellung (10.95) zu erhalten.   Bemerkung 10.18 (Konfidenzintervalle f¨ ur die Autokorrelation) Mit Hilfe von Korollar (10.17) k¨ onnen wir f¨ ur jedes h ∈ N Konfidenzintervalle

10.4 Asymptotische Normalit¨ at

177

f¨ ur (h) zum asymptotischen Niveau 1 − α angeben. Mit dem (1 − α)–Quantil z1−α der Standardnormalverteilung lauten diese v(h, h) √ z1−α/2 , h = 1, 2, . . . , (10.97) n (h) ± n mit ∞


v(h, h) =

{(r + h)(r − h) + 2 (r)

(10.98)

r=−∞ 2

+2 (r)2 (h) − 4(r)(r + h)(h)} .

Mit Hilfe der asymptotischen Verteilungsaussage (10.96) kann man u ¨ber die gerade behandelten Konfidenzintervalle f¨ ur einzelne Autokorrelationen hinaus, die lediglich das entsprechende Diagonalelement der Kovarianzmatrix der asymptotischen Verteilung verwenden, auch simultane Konfidenzellipsoide f¨ ur einen endlichen Vektor von Autokorrelationen angeben.  

0.5

0.4

0.3

0.2

0.1

0.0 −4.0

−3.0

−2.0

−1.0

0.0

1.0

2.0

3.0

4.0

Abb. 10.2 Simuliertes Histogramm (5000 Wiederholungen) der empirischen √ ur ein weißes Rauschen der L¨ ange n = 200 Autokorrelation n((1) − (1)) f¨ zusammen mit der Dichte der asymptotischen Normalverteilung

Beispiel 10.19 F¨ ur das weiße Rauschen (et ) mit et i.i.d. erhalten wir nach Bemerkung (10.18) die folgenden asymptotischen (1 − α)–Konfidenzintervalle f¨ ur (h) , h ≥ 1,

178

10 Asymptotische Eigenschaften von Sch¨ atzverfahren

√ n (h) ± z1−α/2 / n

(10.99)

Mit Hilfe dieser Konfidenzintervalle k¨ onnen wir sp¨ater f¨ ur eine beobachtete Zeitreihe testen, ob es sich um ein weißes Rauschen (mit i.i.d. Zufallsvariablen) handelt. Um beurteilen zu k¨onnen, wie gut die Approximation der Verteilung der Au-

0.5

0.4

0.3

0.2

0.1

0.0 −4.0

−3.0

−2.0

−1.0

0.0

1.0

2.0

3.0

4.0

Abb. 10.3 Simuliertes Histogramm (5000 Wiederholungen) der empirischen √ ur eine MA(1)–Zeitreihe der L¨ ange n = 200 mit Autokorrelation n(2) f¨ Parameter b = 0.8 und standard normalverteiltem weißen Rauschen. Zum Vergleich ist die Dichte der asymptotischen Normalverteilung eingezeichnet

tokorrelationen durch die asymptotische Normalverteilung im Falle eines weißen Rauschen ist, √ geben wir in Abbildung 10.2 ein simuliertes Histogramm der (1) − (1)) f¨ ur die L¨ ange n = 200 eines weißen Rauschens Verteilung von n( mit Varianz 1 an. Die zum Vergleich eingezeichnete Dichte der zugeh¨origen asymptotischen Standardnormalverteilung zeigt eine gute Approximation. F¨ ur eine MA(q)–Zeitreihe mit i.d.d. weißem Rauschen erhalten wir f¨ ur alle h > q das folgende asymptotische (1 − α)–Konfidenzintervall f¨ ur (h) = 0 9 : q
: z1−α/2 ; (10.100) 2 (r) √ n (h) ± 1 + 2 n r=1 (vgl. Aufgabe 10.3).

10.4 Asymptotische Normalit¨ at

179

Auch f¨ ur den MA–Fall wollen wir eine kleine Simulation betrachten. Abbildung 10.3 zeigt f¨ ur das MA(1)–Modell √ mit Parameter b = 0.8 und der L¨ange (2) − (2)) in Form eines Histon = 200 die simulierte Verteilung von n( gramms zusammen mit der Dichte der asymptotischen Normalverteilung. F¨ ur eine AR(1)–Zeitreihe mit |a| < 1 und i.i.d. weißem Rauschen erhalten wir schließlich das asymptotische (1 − α)–Konfidenzintervall z1−α/2 . (10.101) n (1) ± 1 − a2 √ n Sowohl in (10.100) wie in (10.101) sind (r), r = 1, . . . , q , bzw. a f¨ ur die tats¨achliche Anwendung noch durch konsistente Sch¨atzer zu ersetzen.

0.50

0.40

0.30

0.20

0.10

0.00 −3.0

−2.0

−1.0

0.0

1.0

2.0

3.0

Abb. 10.4 Simuliertes Histogramm (5000 Wiederholungen) der empirischen √ ur eine AR(1)–Zeitreihe der L¨ ange n = 200 Autokorrelation n((1) − (1)) f¨ und mit Parameter a = 0.5 zusammen mit der Dichte der asymptotischen Normalverteilung N (0, 0.75)

Abschließend wird auch noch f¨ ur das AR(1)–Modell Simulationsergebnisse angegeben. In Abbildung 10.4 erkennt man, dass die Autokorrelation einer AR(1)–Zeitreihe weit pr¨ aziser gesch¨ atzt werden kann als die Varianz (vgl. mit Beispiel 10.16). Gl¨ ucklicherweise h¨ angen geeignete Parametersch¨atzer im autoregressiven Modell nur von der Autokorrelationsfunktion, nicht aber von der Autokovarianzfunktion ab, wie wir im n¨ achsten Kapitel sehen werden. Wir k¨onnen also begr¨ undet hoffen, dass die Parameter autoregressiver Zeitreihen brauchbar gesch¨ atzt werden k¨ onnen.

180

10 Asymptotische Eigenschaften von Sch¨ atzverfahren

Aufgaben Aufgabe 10.1 Sei ϑn , n ≥  1, eine monoton nichtsteigende Folge nicht∞ negativer reeller Zahlen mit n=1 ϑn < ∞. Man zeige, dass dann auch limn→∞ nϑn = 0 gilt. Aufgabe 10.2 Man beweise die zweite schwache Abh¨angigkeitsbedingung (10.37) in der Situation von Satz 10.12. Aufgabe 10.3 (Xt ) sei eine MA(q)–Zeitreihe mit i.i.d. weißem Rauschen. Man bestimme die Varianz der asymptotischen Normalverteilung der empirischen Autokorrelationen (h) f¨ ur h > q und zeige, dass das Konfidenzintervall (10.100) asymptotisch das Konfidenzniveau einh¨ alt. Aufgabe 10.4 Seien Zn , Z, Yk , Skn , Dkn Zufallsvariable mit Zn = Skn +Dkn ∀ k, n ∈ N , f¨ ur die gilt ur k → ∞ gleichm¨aßig in n ∈ N Dkn → 0 n.W. f¨ D

D

Skn → Yk f¨ ur n → ∞, Yk → Z f¨ ur k → ∞. D

Man zeige: Zn → Z f¨ ur n → ∞. Aufgabe 10.5 Seien et , t ∈ Z , i.i.d Zufallsvariable mit Ee t = 0 und ∞ Ee2t = σe2 ∈ (0, ∞). Man betrachte den MA(∞)–Prozess Xt = j=0 bj et−j ∞ ∞ mit j=0 |bj | < ∞, c := j=0 bj = 0 und zeige direkt Zn := n−1/2

n


D

Xt → N (0, σe2 c2 ).

t=1

Hinweis: (1) Zun¨ achst betrachte man den Spezialfall bi = 0 ∀ i > k. (2) F¨ ur den allgemeinen Fall spalte man Zn auf in Skn + Dkn mit Skn := n−1/2

n


Ytk , Dkn := n−1/2

t=1

Ytk :=

k


n


Wtk

t=1

bj et−j , Wtk :=

j=0

∞


bj et−j

j=k+1

und verwende Aufgabe 10.4 sowie den Satz von Lindeberg–L´evy. Aufgabe 10.6 Nach Formel (10.7) gilt n V arX n →

∞
k=−∞

γX (k) f¨ ur n → ∞

10.4 Asymptotische Normalit¨ at

181

bei absolut konvergenter Kovarianzfunktion γX . Damit zeige man a) Bei einer AR(1)–Reihe gilt n V arX n → γX (0)

1 + ρX (1) . 1 − ρX (1)

b) Bei einer MA(1)–Reihe gilt n V arX n → γX (0)(1 + 2ρX (1)) . c) Bei einer MA(2)–Reihe gilt n V arX n → γX (0)(1 + 2ρX (1) + 2ρX (2)) . d) Bei einer ARMA(1, 1)–Reihe gilt n V arX n → γX (0)[1 +

22X (1) ]. X (1) − X (2)

e) Bei einer AR(2)–Reihe gilt n V arX n → γX (0)

(1 + X (1))(1 − 22X (1) + X (2)) . (1 − X (1))(1 − X (2))

Hinweis zu e): Man verwende (8.21) f¨ ur q = 0. Summationdieser Formel ∞ u ¨ber r = 2, 3, . . . gibt einen Ansatzpunkt zur Darstellung von k=1 γX (k) als Funktion von a1 , a2 .

11 Parametersch¨ atzung in ARMA–Modellen

In diesem Kapitel wenden wir uns der Sch¨ atzung von Modellparametern in ARMA–Zeitreihen zu. F¨ ur den Spezialfall einer rein autoregressiven Zeitreihe ist die Herleitung von Parametersch¨ atzern und auch die Untersuchung ihrer Eigenschaften recht u ur die ¨bersichtlich. Deshalb behandeln wir diese auch f¨ Anwendungen besonders wichtige Klasse in eigenen Abschnitten. Zun¨achst untersuchen wir in Abschnitt 11.1 die bereits mehrfach aufgetauchten Yule– Walker– und sogenannte Kleinste–Quadrate (LS)– Sch¨atzer, bevor wir in Abschnitt 11.2 die Maximum–Likelihood–Methode f¨ ur AR–Zeitreihen vorstellen. Es wird sich zeigen, dass unter der Annahmen, dass tats¨achlich ein autoregressives Modell mit bekannter Ordnung vorliegt, alle drei genannten Sch¨atzer ein asymptotisch gleiches Verhalten aufweisen, im asymptotischen Sinne also aquivalent sind. ¨ Auch der Fall eines zugrunde liegenden autoregressiven Modells mit unendlicher Ordnung wird behandelt (Abschnitt 11.3). Hier k¨onnen wir auf der Basis von Beobachtungen X1 , . . . , Xn , die wir in diesem Kapitel u ¨brigens immer als reell voraussetzen werden, lediglich eine Parametersch¨atzung in einem angepassten AR–Modell mit endlicher Ordnung vornehmen und das Verhalten eines solchen Vorgehens untersuchen. Beachtet man, dass alle invertiblen ARMA–Zeitreihen eine AR(∞)–Darstellung besitzen, so studieren wir also unter anderem die Sch¨ atzung eines an das vorliegende ARMA–Modell angepassten autoregressiven Modells. Es wird sich in Abschnitt 11.4 zeigen, dass die Betrachtung der AR(∞)–Zeitreihen uns auch zu einer M¨oglichkeit der Sch¨atzung der Modellparameter in ARMA–Zeitreihen selbst f¨ uhrt. Dar¨ uberhinaus stellen wir auch f¨ ur ARMA–Zeitreihen einen Maximum–Likelihood– Ansatz vor. Es sei darauf hingewiesen, dass die Darstellungen in den Abschnitten 11.3 und 11.4, insbesondere auch was die Beweise angeht, knapp gehalten sind. Im Mittelpunkt steht nicht eine vollst¨andige Behandlung der jeweiligen Fragestellungen sondern vielmehr eine grundlegende Einf¨ uhrung in die Ideen und Konstruktionsprinzipien f¨ ur Parametersch¨atzer in autoregressiven Modellen unendlicher Ordnung sowie in ARMA–Modellen.

184

11 Parametersch¨ atzung in ARMA–Modellen

Bevor wir uns sinnvoll mit der statistischen Frage der Parametersch¨atzung auseinandersetzen k¨onnen, ist grunds¨ atzlich die Frage der Identifizierbarkeit von ARMA–Zeitreihen, d.h. die Frage, ob ein und dieselbe Zeitreihe verschiedenen ARMA–Darstellungen gen¨ ugen kann, zu beantworten. Dies ist bereits in Abschnitt 8.3 geschehen, so dass wir direkt mit der Betrachtung von Sch¨atzverfahren in autoregressiven Zeitreihen beginnen k¨onnen.

11.1 Parametersch¨ atzung fu ¨ r autoregressive Zeitreihen Autoregressive Zeitreihen stellen eine in den Anwendungen weit verbreitete Klasse von Modellen dar, die zur Beschreibung von realen Daten verwendet wird. Ein wichtiger Grund hierf¨ ur liegt in der Tatsache, dass die Modellparameter von AR–Zeitreihen ausgesprochen stabil gesch¨atzt werden k¨onnen. Bereits im Abschnitt 8.3 haben wir die Yule–Walker–Gleichungen (vgl. (8.26)) kennen gelernt. Unter Verwendung der Stichprobenautokovarianz γ(h) (vgl. (8.27)) liegt es nahe, aus den Yule–Walker–Gleichungen mit gesch¨atzten Autokovarianzen sogenannte Yule–Walker–Sch¨ atzer f¨ ur die Parameter eines autoregressiven Zeitreihenmodells abzuleiten (vgl. mit Abschnitt 8.3). Mit leicht ge¨anderten Bezeichnungen ergibt sich das folgende lineare Gleichungssystem (f¨ ur p ∈ N) Γ(p) a(p) + γ(p) = 0 ,

(11.1)

(p) = ( ap (p))T , γ(p) = (γ(1), . . . , γ(p))T und mit a a1 (p), . . . ,  Γ(p) :=



γ(|r − s|) r, s = 1, . . . , p

 .

(11.2)

¨ Das Gleichungssystem (11.1) resultiert zwar aus Uberlegungen zum AR(p)– Modell, ist aber davon losgel¨ ost f¨ ur beliebige Zufallsvariable X1 , . . . , Xn bei vorgegebenem p ∈ N einfach ein Gleichungssystem zur Ermittlung eines Vek(p). tors a Falls die Matrix Γ(p) invertierbar ist, erhalten wir eine eindeutig bestimmte (p) des linearen Gleichungssystems (11.1). Die Frage nach der InverL¨osung a tierbarkeit von Γ(p) k¨ onnen wir mit der Hilfe von Satz 8.5 leicht beantworten. Es gilt n¨ amlich (vgl. Lemma 2.11)

Lemma 11.1 aß (10.9) die F¨ ur gegebene Beobachtungen X1 , . . . , Xn bezeichne γ(h) gem¨ Stichprobenautokovarianz. Γ(p) ist f¨ ur jedes p ∈ N genau dann nicht ausgeartet, wenn γ(0) > 0. Dabei gilt γ(0) = 0 genau dann, wenn X1 = · · · = Xn .

11.1 Parametersch¨ atzung f¨ ur autoregressive Zeitreihen

185

Beweis: Wegen γ(h) = 0 f¨ ur alle h > n folgt die Invertierbarkeit von Γ(p)  aus γ(0) > 0 sofort mit Hilfe von Satz 8.5. Dass γ(0) = 0 ¨ aquivalent mit X1 = · · · = Xn ist, sieht man direkt ein. ur jedes h ≥ 0, Schließlich folgt unter der Voraussetzung X1 = · · · = Xn f¨ dass γ(h) = 0 gilt. Γ(p) ist dann stets die Nullmatrix und damit ausgeartet.   Lemma 11.1 besagt, dass f¨ ur alle in der Realit¨ at vorkommenenden relevanten F¨alle das Gleichungssystem (11.1) eindeutig l¨ osbar ist. F¨ ur den Fall γ(0) > 0, d.h. nicht alle Beobachtungen sind gleich, k¨ onnen wir gem¨aß (p) := −Γ(p)−1γ(p) a

(11.3)

(p) definieren. F¨ f¨ ur jedes p ∈ N einen Sch¨ atzer a ur γ(0) = 0 ist Γ(p) die Null (p) (11.1) l¨ost. Zur matrix und γ(p) der Nullvektor, sodass jeder p–Vektor a (p) = 0. eindeutigen Festlegung definieren wir in diesem Fall a Der Sch¨ atzer (11.3) ist uns schon in Kapitel 8 begegnet und heißt Yule– Walker–Sch¨ atzer der Ordnung p. (p) zu erhalten ist es g¨ Um eine geschlossene Darstellung f¨ ur a unstig, den Begriff der verallgemeinerten Inversen zu benutzen. Wir verwenden stets die eindeutig bestimmte sogenannte Moore–Penrose–Inverse A+ einer Matrix A (siehe Anhang A.6). A+ stimmt mit der u ¨berein, ¨blichen inversen Matrix A−1 u wenn diese existiert. Die Bildung der Moore–Penrose–Inversen ist zudem stetig auf der Menge der invertierbaren Matrizen. In unserer speziellen Situation gilt < Γ(p)−1 , falls γ(0) > 0 +  Γ (p) = . (11.4) 0 , falls γ(0) = 0 Damit wird (p) = −Γ(p)+γ(p) . a

(11.5)

Sobald γ(h) ein konsistenter Sch¨ atzer f¨ ur γ(h) ist, z.B. nach Satz 10.15 unter den dortigen Voraussetzungen, folgt (p) → −Γ (p)−1 γ(p) n.W. a

f¨ ur n → ∞.

(11.6)

Aus (11.6) k¨ onnen wir den folgenden Satz ableiten. Satz 11.2 (Konsistenz der Yule–Walker–Sch¨ atzer bei AR–Reihen) Sei X = (Xt : t ∈ Z) eine kausale AR(p)–Zeitreihe mit Parametern a1 , . . . , ap und i.i.d.weißem Rauschen e = (et : t ∈ Z) mit V ar et = σe2 ∈ (0, ∞) und endlichen vierten Momenten Ee4t < ∞.

186

11 Parametersch¨ atzung in ARMA–Modellen

(p ) gem¨ Dann gilt f¨ ur den Yule–Walker–Sch¨ atzer a aß (11.3) mit Ordnung  p ≥p 

(p ) → (a1 , . . . , ap , 0, . . . , 0)T ∈ Rp a

n.W.

Der Yule–Walker–Sch¨ atzer ist also ein konsistenter Parametersch¨ atzer f¨ ur ahlt wird. autoregressive Modelle, solange p ≥ p gew¨ atzer F¨ ur σe2 verwenden wir den Sch¨ 

σ e2 (p )

= γ(0) +

p


 aj (p )γ(j) .

(11.7)

j=1

atzer ebenfalls konsistent f¨ ur σe2 . F¨ ur p ≥ p ist dieser Sch¨ Beweis: Die MA(∞)–Darstellung von X besitzt nach Bemerkung 7.8 Koeffizienten, die in geometrischer Rate abfallen, insbesondere die Koeffizientenbedingung in Satz 10.15 erf¨ ullen, sodass als Folgerung aus diesem Satz alle γ(h) konsistent sind. Nach (8.3) fallen auch die γ(h) in geometrischer Rate ab, konvergieren insbesondere gegen 0, so dass nach Satz 8.5 die Invertierbarkeit der Matrizen Γ (p ) folgt. Man beachte dabei, dass γ(0) > 0 gilt, da X nicht der Nullprozess sein kann, weil sonst nach der AR–Gleichung auch das weiße Rauschen der Nullprozess w¨ are, was aber definitionsgem¨aß ausgeschlossen ist. (p ) → −Γ (p )−1 γ(p ) n.W. . Insgesamt erhalten wir a osung des Gleichungssystems Nun ist −Γ (p )−1 γ(p ) die eindeutig bestimmte L¨ Γ (p )a(p ) + γ(p ) = 0 . Aufgrund der Yule–Walker–Gleichungen im AR(p)–Modell ist aber stets a(p ) = (a1 , . . . , ap , 0, . . . , 0)T ebenfalls eine L¨ osung. Die Eindeutigkeit liefert die Behauptung. Zum Nachweis der Konsistenz von σ e2 (p ) beachte (8.25) und die Konsistenz  (p ). von γ sowie a   Nun wollen wir eine zentrale Grenzwertaussage f¨ ur den Yule–Walker–Sch¨atzer beweisen. Zum einen interessiert uns nat¨ urlich die Frage, wie der Yule– Walker–Sch¨ atzer verteilt ist, wenn tats¨ achlich ein autoregressives Modell vorliegt. Da jedes Zeitreihenmodell aber immer nur eine mehr oder weniger gute Approximation an die Realit¨ at darstellt, sollte man sich zum anderen auch fragen, wie sich ein etwaiger Sch¨ atzer verh¨ alt, wenn die angedachte Modellvorstellung nicht erf¨ ullt ist. Wir werden gleich mit diesem Schritt beginnen und anschließend auf den Spezialfall einer autoregressiven Zeitreihe reduzieren.

11.1 Parametersch¨ atzung f¨ ur autoregressive Zeitreihen

187

Satz 11.3 (Asymptotische Normalit¨ at des Yule–Walker–Sch¨ atzers) Sei X = (Xt : t ∈ Z) eine MA(∞)–Zeitreihe mit i.i.d. weißem Rauschen e= ∞ (et : t ∈ Z). Es gelte Ee4t < ∞ und die Summationsbedingung j=0 j |bj | < ∞ f¨ ur die MA(∞)–Koeffizienten. Bis auf die zus¨ atzliche Annahme, dass der Mittelwert EXt = µ = 0 ist, sind dies dieselben Voraussetzungen wie in Satz 10.15. Außerdem sei γ(0) > 0, also X nicht der Nullprozess. Dann gilt f¨ ur (p) zur Ordnung p ∈ N den Yule–Walker–Sch¨ atzer a √ D n ( a(p) − a(p)) −→ N (0, K(p)) . (11.8) Dabei ist a(p) := −Γ (p)−1 γ(p) und K(p) = Γ (p)−1 A(p)Sp A(p)T Γ (p)−1 mit Sp aus Satz 10.15 und der p × (p + 1)–Matrix ⎞ ⎛ a1 (p) 1 0 0 ... 0 ⎜ a2 (p) a1 (p) 1 0 ... 0⎟ ⎟ ⎜ ⎜ . . . . .. .. . . . . . . . ... ⎟ A(p) = ⎜ ⎟ ⎟ ⎜ ⎝ ap−1 (p) ap−2 (p) . . . a1 (p) 1 0 ⎠ ap (p) ap−1 (p) . . . . . . a1 (p) 1 ⎛ ⎞ 0 a2 (p) a3 (p) . . . ap−1 (p) ap (p) 0 ⎜ 0 a3 (p) a4 (p) . . . ap (p) 0 0⎟ ⎜ ⎟ ⎜ .. .. .. .. ⎟ . +⎜ . . ⎟ . . ⎜ ⎟ ⎝ 0 ap (p) 0 . . . 0 0 0⎠ 0 0 0 0 0 0 0

(11.9)

(11.10)

¨ Beweis: Die Uberlegungen zu Beginn des Beweises von Satz 11.2 zeigen sowohl die Invertierbarkeit der Matrizen Γ (p) als auch die Konsistenz der γ(h), sodass auch Γ(p) → Γ (p) n.W. und Γ+ (p) → Γ (p)−1 n.W. gelten. Dann gilt auf {γ(0) > 0} √ a(p) − a(p)) Un := n ( 7 8 √ = − nΓ(p)−1 γ(p) + Γ(p)a(p) (11.11) 5 6 √ = − nΓ(p)−1 γ(p) − γ(p) + (Γ(p) − Γ (p))a(p) , denn es gilt γ(p) + Γ (p)a(p) = 0. Setzt man die Komponenten der Vektoren bzw. der Matrizen explizit ein, so kann man wie folgt fortfahren ⎞ ⎛ p  √   γ (r) − γ(r) + a (p)( γ (|r − s|) − γ(|r − s|)) s ⎠ = −Γ(p)−1 n ⎝ s=1 r = 1, . . . , p  T √ = −Γ(p)−1 A(p) n γ(0) − γ(0), . . . , γ(p) − γ(p) =: Vn .

188

11 Parametersch¨ atzung in ARMA–Modellen

Satz 10.15 zusammen mit dem Lemma von Slutsky, siehe Anhang A.5, ergibt wegen Γ(p)−1 → Γ (p)−1 n.W. die Aussage, dass der Zufallsvektor Vn nach Verteilung gegen die in (11.8) angegebene Normalverteilung konvergiert. Der uns interessierende Zufallsvektor Un unterscheidet sich nach obiger Rechnung ur die von Vn nur auf der Menge {γ(0) = 0}, f¨ P {γ(0) = 0} ≤ P {|γ(0) − γ(0)| ≥ γ(0)/2} → 0 gilt. Wiederum nach dem Lemma von Slutsky haben dann Un und Vn dieselbe Limesverteilung.   Um die asymptotische Kovarianzmatrix K(p) f¨ ur den Fall eines zugrunde liegenden AR–Modells zu berechnen, ziehen wir einen mit dem Yule–Walker– Sch¨atzer eng zusammenh¨ angenden Sch¨ atzer heran, n¨amlich den aus der Methode der kleinsten Quadrate gewonnenen sogenannten LS (Least–Squares)– T LS (p) = ( aLS aLS Sch¨atzer a p ) . Dieser ist definiert durch 1 ,...,   a

LS

(p) = −

1 n

n

Xt−r Xt−s r, s = 1, . . . , p t=1

+ 

1 n

n

Xt Xt−j j = 1, . . . , p t=1

 .

(11.12)

In Abschnitt 11.2 werden wir diesen Sch¨ atzer aus dem Maximum–Likelihood– Prinzip ableiten und außerdem in Satz 11.9 nachweisen, dass er unter den Voraussetzungen von Satz 11.4 dieselbe asymptotische Normalverteilung wie der Yule–Walker–Sch¨ atzer besitzt. Die Berechnung der asymptotischen Kovarianzmatrix K(p) f¨ ur den Fall eines zugrunde liegenden AR–Modells ist jedoch f¨ ur den LS–Sch¨ atzer viel einfacher als f¨ ur den Yule–Walker–Sch¨atzer, weshalb wir ihn schon hier verwenden. Satz 11.4 (Asym. Normalit¨ at des Yule–Walker–Sch¨ atzers bei AR–Reihen) X = (Xt : t ∈ Z) sei eine kausale AR(p)–Zeitreihe mit i.i.d. weißem Rauschen ur jedes p0 ≥ p f¨ ur e = (et : t ∈ Z) mit Ee2t = σe2 und Ee4t < ∞. Dann gilt f¨ (p0 ) zur Ordnung p0 den Yule–Walker–Sch¨ atzer a √ D n( a(p0 ) − a(p0 )) → N (0, σe2 Γ (p0 )−1 ),

(11.13)

ur p0 > p gilt f¨ ur das unterste wobei a(p0 ) = (a1 , . . . , ap , 0, . . . , 0)T ∈ Rp0 . F¨ Diagonalelement der asymptotischen Kovarianzmatrix σe2 Γ (p0 )−1 p0 ,p0 = 1, also √ D n ap0 (p0 ) → N (0, 1) .

(11.14)

Beweis: Da die Voraussetzungen von Satz 11.4 alle Annahmen von Satz 11.3 implizieren, ist die grunds¨ atzliche asymptotische Normalit¨at bereits bewiesen. Es ist lediglich die asymptotische Kovarianzmatrix nachzurechnen.

11.1 Parametersch¨ atzung f¨ ur autoregressive Zeitreihen

189

Wie schon erw¨ ahnt, zeigt der sp¨ atere Satz 11.9, dass es reicht, die asympLS (p0 ) aus (11.12) zu bestimmen. totische Kovarianzmatrix des LS–Sch¨ atzers a  F¨ LS–Sch¨ atzer gilt auf {det Γ urzung Γ(p0 ) =  (p0 ) = 0} mit der Abk¨  1urden n t=1 Xt−r Xt−s : r, s = 1, . . . , p0 n √ n( aLS (p0 ) − a(p0 )) n 1
  T √ = − nΓ(p0 )+ Xt Xt−1 , . . . , Xt−p0 + Γ(p0 )a(p0 ) . (11.15) n t=1 Mit demselben Beweis wie in Satz 10.4 gilt mit h := |r − s| n V ar

n 1


n

 Xt−r Xt−s → c(h, h) ,

t=1

n

sodass n1 t=1 Xt−r Xt−s → γ(|r − s|) n.W., also auch Γ(p0 ) → Γ (p0 ) n.W. folgt. Insbesondere ergibt sich wegen der Stetigkeit der Determinantenfunktion P {det Γ(p0 ) = 0} → 0, sodass nach dem Lemma von Slutsky die rechte Seite in (11.15) dieselbe asymptotische Normalverteilung wie die linke Seite onnen wir auf der rechten Seite besitzt. Durch direktes Einsetzen von Γ(p0 ) k¨ in (11.15) fortfahren mit   p n

1 + aν Xt−ν (Xt−1 , . . . , Xt−p0 )T . (11.16) Xt + = − Γ(p0 ) √ n t=1 ν=1    =et

achst auch die asymptotische NormaDa Γ(p0 ) −→ nΓ (p0 ) n.W., folgt zun¨ lit¨at von √1n t=1 et (Xt−1 , . . . , Xt−p0 )T . Die Kovarianzmatrix dieser asymptotischen Normalverteilung k¨ onnen wir gem¨ aß   n n 1
1
et Xt−r √ eν Xν−s : r, s = 1, . . . , p0 (11.17) lim E √ n→∞ n t=1 n ν=1 n bestimmen, falls E √1n t=1 et (Xt−1 , . . . , Xt−p0 )T 4 endlich ist (vgl. Bemerkung A.26 (v), Anhang A.5, angewendet auf die jeweiligen Erwartunsgwerte in (11.17) und mit Absch¨ atzung dieser nach oben durch vierte Momente mit¨ tels der Cauchy–Schwarz–Ungleichung). Die Ausf¨ uhrung der Uberlegungen ist ¨ als Ubungsaufgabe 11.2 gestellt. Da f¨ ur r , s > 0 die Gleichung n n 1
1
et Xt−r √ eν Xν−s E√ n t=1 n ν=1

1
E(e2t Xt−r Xt−s ) = σe2 γ(r − s) n t=1 n

=

190

11 Parametersch¨ atzung in ARMA–Modellen

gilt, wobei man beachte, dass Xt−r und Xt−s aufgrund der MA(∞)–Darstellung der AR(p)–Zeitreihe unabh¨ angig von et sind, folgt, dass die asymptotische Kovarianzmatrix gleich σe2 Γ (p0 ) ist. Mit dem Lemma von Slutsky √ D ergibt sich wegen (11.16) sofort √ n( aLS (p0 ) − a(p0 )) → N (0, σe2 Γ (p0 )−1 ). a(p0 ) − a(p0 )) schließlich die gleiche Wie bereits oben erw¨ ahnt besitzt n( asymptotische Kovarianzmatrix. Zur Berechnung des untersten Diagonalelementes σe2 Γ (p0 )−1 p0 ,p0 im Fall p0 > p dieser Kovarianzmnatrix gehen wir wie folgt vor. Zun¨achst gilt ⎛ ⎞ γ(0) · · · γ(p − 1) γ(p) · · · γ(p0 − 1) ⎜ ⎟ .. .. .. .. .. .. ⎜ ⎟ . . . . . . ⎜ ⎟ ⎜ γ(p − 1) · · · γ(1) · · · γ(p0 − p) ⎟ γ(0) ⎟. Γ (p0 ) = ⎜ ⎜ γ(p) · · · γ(1) γ(0) · · · γ(p0 − p − 1) ⎟ ⎟ ⎜ ⎜ ⎟ .. .. .. .. .. .. ⎠ ⎝ . . . . . . γ(p0 − 1) · · · γ(p0 − p) γ(p0 − p − 1) · · ·

γ(0)

Aufgrund der Yule–Walker–Gleichungen γ(h) + a1 γ(h − 1) + · · · + ap γ(h − p) = 0,

h = 1, 2, . . . , p,

und der Symmetrie von γ kann durch elementare Zeilen– und Spaltenumformungen die folgende Darstellung erreicht werden ⎞ ⎛ Γ (p) 0 ⎟ ⎜ ⎟ ⎜ p ⎟ ⎜ γ(0) + a γ(t) 0 t=1 t ⎟. ⎜ ⎟ ⎜ .. . . ⎠ ⎝ 0 . . p 0 γ(0) + t=1 at γ(t) Aus der ersten Yule–Walker–Gleichung erhalten wir (vgl. (8.25)) γ(0) +

p


at γ(t) = σe2 .

t=1

Damit folgt det Γ (p0 ) = det Γ (p) · σe2(p0 −p) . ¨ Exakt die gleiche Uberlegung f¨ uhrt zu det Γ (p0 − 1) = det Γ (p) · σe2(p0 −p−1) . Da nun nach der Cramerschen Regel Γ (p0 )−1 p0 ,p0 =

1 det Γ (p0 − 1) = 2 det Γ (p0 ) σe

11.1 Parametersch¨ atzung f¨ ur autoregressive Zeitreihen

191

gilt, wobei man beachte, dass durch Streichung der letzten Zeile und letzten Spalte in Γ (p0 ) exakt Γ (p0 − 1) entsteht, folgt auch (11.14) .   Bemerkung 11.5 (Asymptot. Konfidenzbereiche f¨ ur die AR–Parameter) Sowohl mit Hilfe von Satz 11.3 wie Satz 11.4 k¨ onnen wir nun asymptotische (1 − α)–Konfidenzbereiche f¨ ur die Parameter eines gesch¨atzten AR–Modells erhalten. Konkret ergibt sich etwa in der Situation von Satz 11.4, also f¨ ur den Fall, dass tats¨ achlich ein autoregressives Modell zugrunde liegt, das folgende Konfidenzellipsoid f¨ ur den Parametervektor a = (a1 , . . . , ap )T eines AR(p)– Modells ' & a − a) ≤ σ e2 · χ2p;1−α . a − a)T Γ(p)( (11.18) a ∈ Rp : n · ( Dabei bezeichnet Γ(p) einen konsistenten Sch¨ atzer f¨ ur die Kovarianzmatrix Γ (p). Es sei daran erinnert, dass die Ersetzung von Γ (p) durch einen konsistenten Sch¨ atzer in (11.18) die asymptotische Verteilung auf Grund des Lemmas von Slutsky (vgl. Anhang A.5, (A.26)) nicht beeinflusst. F¨ ur die Sch¨atzung von Γ (p) kommen zum einen die empirischen Autokovarianzen in Frage. Zum anderen k¨ onnen wir aber auch die Autokovarianzen γ(h) explizit mit Hilfe der Yule–Walker–Gleichungen (vgl. (8.25) und (8.26)) durch die AR–Parameter a ausdr¨ ucken und dann die unbekannten Parameter durch die ap ersetzen. In der Situation aus Satz 11.3 k¨onnen entspreSch¨atzer  a1 , . . . ,  chende Konfidenzbereiche angegeben werden. F¨ ur den Spezialfall eines AR(1)–Modells verweisen wir auf Aufgabe 11.7.   Bemerkung 11.6 (Asympt. Normalit¨ at der emp. part. Autokorrelation) Aus Kapitel 2 (2.40) und (2.41) wissen wir, dass die empirische partielle Autokorrelation π (h) zum Lag h jeweils mit der letzten Komponente des Yule– (h) u Walker–Parametersch¨ atzers a ¨bereinstimmt, also dass π (h) =  ah (h) gilt. Da f¨ ur kausale und station¨ are autoregressive Zeitreihen der Ordnung p außerdem π(h) = 0 f¨ ur h > p erf¨ ullt ist (vgl. Aufgabe 7.7), folgt unter den Voraussetzungen von Satz 11.4 aus (11.14) unmittelbar √ D nπ (h) → N (0, 1) ,

∀h > p.

(11.19)  

Bemerkung 11.7 (Levinson–Rekursion f¨ ur Yule–Walker–Sch¨atzer) Wir haben eingangs gesehen, dass f¨ ur die Bestimmung des Yule–Walker– (p) das lineare Gleichungssystem (11.1) zu l¨osen ist. Falls Parametersch¨ atzers a

192

11 Parametersch¨ atzung in ARMA–Modellen

Γ(p) nicht singul¨ ar ist, ist die L¨ osung eindeutig bestimmt. Betrachtet man die Berechnung der Koeffizienten der 1–Schritt–Vorhersage bei station¨ aren Zeitreihen gleich zu Beginn von Kapitel 4 mit dieser Kenntnis erneut, so erkennt man, das f¨ ur die Bestimmung der Koeffizienten der Vorhersage ein identisches Gleichungssystem (4.3) zu l¨osen ist. Lediglich die tats¨achliche Autokovarianzfunktion γ in Kapitel 4 ist durch die Stichprobenautokovarianz γ (vgl. (8.28)), n ist durch p und schließlich der Vektor d1n durch − a(p) zu ersetzen. Die Verwendung der Stichprobenautokovarianz ist unproblematisch, da diese ja die charakterisierende Eigenschaften der positiven Semidefinitheit einer Autokovarianzfunktion besitzt (vgl. Aufgabe 8.3). F¨ ur die Berechnung der Koeffizienten der 1–Schritt–Vorhersage haben wir in Abschnitt 4.2 den Levinson–Algorithmus angegeben. Aufgrund der vollkommen identischen Fragestellung k¨ onnen wir den Levinson–Algorithmus nun auch zur effizienten Berechnung des Yule–Walker–Sch¨atzer verwenden. Beachtet man noch, dass f¨ ur den Vorhersagefehler vp aus Abschnitt 4.2 (vgl. (4.15)) in der hiesigen Notation vp = γ(0) +

p


 aj (p)γ(j) = σ 2 (p)

j=1

(vgl. (11.7)) gilt, so k¨ onnen wir die Ausf¨ uhrungen aus Abschnitt 4.2 Wort f¨ ur Wort u ¨bertragen und erhalten den folgenden Algorithmus. (1) =  2 (0) = γ(0) gilt die Levinson– Mit a a1 (1) = −γ(1)/γ(0) und v0 = σ Rekursion zur Berechnung des Yule–Walker–Sch¨ atzers  γ(p) + p−1 aj (p − 1)γ(p − j) j=1  (11.20)  ap (p) = − 2 σ  (p − 1)  aj (p) =  aj (p − 1) +  ap (p) ·  ap−j (p − 1) , j = 1, . . . , p − 1, sowie   σ 2 (p) = σ 2 (p − 1) · 1 −  a2p (p) . Damit berechnet man rekursiv σ 2 (0);  a1 (1), σ 2 (1);  a2 (2),  a1 (2), σ 2 (2);  a3 (3),  a2 (3),  a1 (3), σ 2 (3); . . . usw.   Beispiel 11.8 F¨ ur eine AR(1)–Zeitreihe mit Parameter a = 0.85 wissen wir aus Satz 11.4, dass der Yule–Walker–Sch¨ atzer  a eine asymptotische Normalverteilung besitzt. F¨ ur 5000 simulierte Zeitreihen jeweils mit der L¨ange n = 200 ist in Abbildung 11.1 ein Histogramm der sich aus den Simulationen ergebenden √ n standardisierten und mit dem tats¨ a chlichen Wert zentrierten sowie mit √ ai − 0.85) , i = 1, . . . , 5000, zusammen mit der Dichte der Sch¨atzer 200(

11.2 Maximum–Likelihood Sch¨ atzer im autoregressiven Modell

193

0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0.0 −3.0

−2.5

−2.0

−1.5

−1.0

−0.5

0.0

0.5

1.0

1.5

2.0

Abb. 11.1 Simuliertes Histogramm (5000 Wiederholungen) des zentrierten √ und standardisierten Yule–Walker–Sch¨ atzers n(a − a) im AR(1)–Modell mit a = 0.85 und n = 200 zusammen mit der Dichte der asymptotischen Normalverteilung N (0, 1 − a2 )

asymptotischen Normalverteilung dargestellt. Man erkennt eine gewisse Schiefe des Histogramms und deshalb eine moderate Abweichung von der asymptotischen Normalverteilung. Die Schiefe des Histogramms resultiert aus einer Tendenz des Yule–Walker–Sch¨ atzers, den Parameter a zu untersch¨atzen. Dieses grunds¨ atzliche Problem des Yule–Walker–Verfahrens und ist uns auch schon in Abbildung 2.9 begegnet. Abbildung 11.2 enth¨ alt ein entsprechendes Simulationsergebnis f¨ ur den Sch¨atzer  a2 eines an die Daten des obigen AR(1)–Modells angepassten AR(2)– Modells. Wegen (11.14) ist die asymptotische Verteilung hier eine Standardnormalverteilung.  

11.2 Maximum–Likelihood Sch¨ atzer im autoregressiven Modell Eine in der Statistik h¨ aufig angewandte Methode zur Konstruktion von Parametersch¨ atzern ist die Maximum–Likelihood (ML)–Methode. Im Gegensatz zu stochastisch unabh¨ angigen Zufallsvariablen, deren gemeinsame Dichte Produktgestalt besitzt, ist die explizite Angabe einer Wahrscheinlichkeitsdichte

194

11 Parametersch¨ atzung in ARMA–Modellen 0.6 0.5 0.4 0.3 0.2 0.1 0.0 −3.0 −2.5 −2.0 −1.5 −1.0 −0.5

0.0

0.5

1.0

1.5

2.0

2.5

3.0

Abb. 11.2 Simuliertes Histogramm (5000 Wiederholungen) des zentrierten √ ur ein zugrunde liegendes und standardisierten Yule–Walker–Sch¨ atzers na2 f¨ AR(1)–Modell mit a = 0.85 und n = 200 zusammen mit der Dichte der asymptotischen Standardnormalverteilung

f¨ ur abh¨ angige Zufallsgr¨ oßen komplizierter. Unterstellt man f¨ ur den beobacharen Zeitreihe eine multivariate Norteten Ausschnitt X1 , . . . , Xn der station¨ malverteilung, dann werden der zugeh¨ orige Erwartungswertvektor und die Kovarianzmatrix durch EXt = µ und die Autokovarianzfunktion festgelegt. In diesem Fall gilt   (X1 , . . . , Xn )T ∼ N (µ, . . . , µ)T , ( γ(r − s) : r, s = 1, . . . , n) . (11.21) Setzen wir f¨ ur eine kausale autoregressive Zeitreihe X voraus, dass das weiße Rauschen normalverteilt ist, so gilt (11.21). Dies folgt aus der existierenden MA(∞)–Darstellung der Zeitreihe (vgl. Aufgabe 11.1) . Ferner gilt f¨ ur autoregressive Zeitreihen µ = 0 und γ(h), h = 0, . . . , n−1 , ist eine Funktion der autoregressiven Parameter a1 , . . . , ap und der Varianz σe2 des weißen Rauschens. Damit k¨ onnen wir f¨ ur diesen Fall eines normalverteilten autoregressiven Modells die Likelihood–Funktion aufstellen und f¨ ur gegebene Beobachtungen mit einem numerischen Verfahren die Maximalstellen, d.h. den Maximum–Likelihood Sch¨ atzer bestimmen. Aufgrund der nichtlinearen Abh¨angigkeit der Autokovarianzfunktion von den Parametern ist eine explizite Angabe der ML–Sch¨ atzer in der Regel nicht m¨oglich. Viel einfacher gestaltet sich f¨ ur autoregressive Zeitreihen der Ordnung p die Berechnungen von sogenannten bedingten ML–Sch¨atzern, d.h. von ML– Sch¨atzern bzgl. der bedingten Verteilung von X1 , . . . , Xn bei gegebenen Wer-

11.2 Maximum–Likelihood Sch¨ atzer im autoregressiven Modell

195

ten X1−p , . . . , X0 . Grunds¨ atzlich gilt L(Xn , . . . , X1−p ) =

n =

L(Xt |Xt−1 , . . . , X1−p ) ⊗ L(X0 , . . . , X1−p ) , (11.22)

t=1

wobei L(Xt |Xt−1 , . . . , X1−p ) die bedingte Verteilung von Xt gegeben ur Maße bedeuXt−1 , . . . , X1−p bezeichnet und ⊗ die Koppelungsbildung f¨ tet. F¨ ur AR(p)–Zeitreihen mit normalverteiltem weißem Rauschen gilt wegen Xt = et −

p


aj Xt−j ,

j=1

dass L(Xt |Xt−1 , . . . , X1−p ) die Dichte

p 
2  1 1  exp − 2 Xt + aj Xt−j 2σe 2πσe2 j=1

besitzt, woraus man direkt L(Xt |Xt−1 , . . . , X1−p ) = L(Xt |Xt−1 , . . . , Xt−p ) f¨ ur t ≥ 1 einsieht. (11.22) besagt damit, dass L ((Xn , . . . , X1 )|(X0 , . . . , X1−p )) = =

n = t=1 n =

L(Xt |Xt−1 , . . . , X1−p ) L(Xt |Xt−1 , . . . , Xt−p )

t=1

die Dichte n t=1



p  
1 1 exp − 2 (Xt + aj Xt−j )2 2σe 2πσe2 j=1

(11.23)

besitzt. Ein bedingter ML–Sch¨ atzer kann also als Minimalstelle von n 
t=1

Xt +

p


aj Xt−j

2

(11.24)

j=1

erkl¨art werden. Die Suche nach Minimalstellen von (11.24) f¨ uhrt aber zu den bereits in Abschnitt 11.1 (vgl. (11.12)) eingef¨ uhrten Kleinste–Quadrate oder auch Least–Squares (kurz: LS)–Sch¨ atzern f¨ ur a1 , . . . , ap . Durch partielle Difamlich das zur Suche nach Miniferentiation nach a1 , . . . , ap erhalten wir n¨ malstellen zugeh¨ orige lineare Gleichungssystem ⎛ ⎞  a1   1 n  1 n Xt Xt−r ⎜ .. ⎟ t=1 Xt−r Xt−s n = 0. (11.25) ⎝ . ⎠ + n t=1 r, s = 1, . . . , p r = 1, . . . , p ap

196

11 Parametersch¨ atzung in ARMA–Modellen

Im Gegensatz zum linearen Gleichungssystem (11.1), ist dieses Gleichungssystem auch f¨ ur den Fall, dass nicht alle Xt gleich sind, nicht immer eindeutig l¨osbar. Man kann sich jedoch u osung von (11.25) die Koeffizien¨berlegen, dass eine L¨ ten der Projektion des Vektors (−X1 , . . . , −Xn )T auf den von den p Vektoren (X1−j , . . . , Xn−j )T , j = 1, . . . , p , aufgespannten linearen Teilraums im Rn angibt. Da diese orthogonalen Projektionen stets existieren, besitzt (11.25) in jedem Fall eine – wenn auch nicht eindeutig bestimmte – L¨osung. Der mit der LS (p) gem¨aß verallgemeinerten Moore–Penrose–Inversen gebildete Ausdruck a (11.12) ist dann stets eine L¨ osung des Gleichungssystems (11.25). n Da unter den Voraussetzungen von Satz 11.4 auch n1 t=1 Xt−r Xt−s , r, s = 1, . . . , p , f¨ ur n → ∞ n.W. gegen γ(r − s) konvergiert (vgl. Beweis zu Satz 11.4), impliziert die Invertierbarkeit von Γ (p) die Konsistenzaussage LS (p) −→ − Γ (p)−1 γ(p) = a(p) a

n.W.

(11.26)

n→∞

in voller Analogie zu (11.6). F¨ ur die weitere Untersuchung der Eigenschaften des LS– bzw. bedingten ML– Sch¨atzers wollen wir nicht auf die spezielle Situation einer normalverteilten AR(p)–Zeitreihe zur¨ uckgreifen, unter der wir den bedingten ML–Sch¨atzer abgeleitet haben. Vielmehr interessiert uns, wie sich dieser Sch¨atzer in einer m¨oglichst allgemeinen Situation verh¨ alt. Der folgende Satz zeigt zusammen mit Satz 11.3, dass sich LS– (bzw. mit anderen Worten bedingte ML–) und Yule–Walker–Parametersch¨ atzer bez¨ uglich ihrer asymptotischen Normalverteilung nicht unterscheiden. Satz 11.9 (Asymptotische Normalit¨ at des LS–Sch¨ atzers) Unter den in Satz 11.3 genannten Voraussetzungen gilt f¨ ur den LS–Sch¨ atzer LS (p) gem¨ aß (11.12) a  D √  LS  (p) − a(p) −→ N (0, K(p)), n a

(11.27)

wobei a(p) und K(p) wie in Satz 11.3 definiert sind. √ ur n( aLS (p) − a(p)) eine Beweis: Wie im Beweis zu Satz 11.3 erhalten wir f¨ zu (11.11) ¨ aquivalente Darstellung, wobei lediglich in den dort auftretenden Ausdr¨ ucken γ(p) bzw. Γ(p) einerseits γ(r) durch 1
Xt Xt−r n t=1 n

und andererseits γ(r − s) durch

11.2 Maximum–Likelihood Sch¨ atzer im autoregressiven Modell

197

1
Xt−r Xt−s n t=1 n

zu ersetzen sind. Wegen 1
Xt Xt−r = OP n t=1 n

γ(r) −

  1 n

und analog f¨ ur γ(r−s) erhalten wir aus Satz 10.15 zusammen mit dem Lemma von Slutsky, siehe Bemerkung A.26, die gew¨ unschte Aussage.   Bemerkung 11.10 Aus Satz 11.9 folgt sofort, dass der LS–Sch¨ atzer f¨ ur den Fall, dass tats¨achlich ein autoregressives Zeitreihenmodell zugrunde liegt die Aussage von Satz 11.4 erf¨ ullt. Es sei an dieser Stelle darin erinnert, dass wir den Nachweis zu Satz 11.4 tats¨ achlich bereits f¨ ur den LS–Sch¨ atzer gef¨ uhrt haben. Auch die Aussagen u ur die Parame¨ber asymptotische Konfidenzintervalle f¨ ter in Bemerkung 11.6 behalten damit im Kontext von Kleinste–Quadrate– Sch¨atzern ihre G¨ ultigkeit.   In der realen Anwendung wird man die Beobachtungen zun¨achst am arithmetischen Beobachtungsmittel X n zentrieren und zur Definition eines LS– Sch¨atzers nach Nullstellen (a1 , . . . , ap )T von ⎛ n ⎞⎛ a ⎞ ⎛ n ⎞   1 1 1 (Xt − X n )(Xt−r − X n ) ⎠ . ⎟ ⎝ n t=1(Xt−r − X n )(Xt−s − X n ) ⎠⎜ ⎝ .. ⎠+⎝ n t=1 r, s = 1, . . . , p r = 1, . . . , p a p

suchen. In Bezug auf (unbedingte) ML–Sch¨ atzer stellt sich nun die Frage, ob auch diese Sch¨atzer das gleiche asymptotische Verhalten wie der Yule–Walker–Sch¨atzer und der bedingte ML–Sch¨ atzer (bzw. der LS–Sch¨atzer) aufweisen. Dies ist tats¨achlich der Fall, wie sich auf dem im Folgenden skizzierten Weg (der sog. Delta–Methode, vgl. Satz A.31) ableiten l¨ asst. Auf einen formalen Beweis verzichten wir allerdings. Zun¨achst folgt unter der Normalverteilungsannahme, dass die Verteilung ur a = (a1 , . . . , ap )T folgende Dichte besitzt L(X0 , . . . , X1−p ) f¨ f (X0 , . . . , X1−p ; a) =

⎞⎞ X0 1 ⎜ ⎟⎟ ⎜ 1 exp ⎝− (X0 , . . . , X1−p )Γ (p)−1 ⎝ ... ⎠⎠ . 2 (2π)p | det Γ (p)| X1−p ⎛

⎛

198

11 Parametersch¨ atzung in ARMA–Modellen

Um Missverst¨ andnisse zu vermeiden sei darauf hingewiesen, dass die Kovarianzmatrix Γ (p) auf der rechten Seite des obigen Ausdrucks nat¨ urlich vom Parameter a abh¨ angt. Mit(11.22) und (11.23) erhalten wir – ebenfalls aufgrund der Normalverteilungsannahme – die gemeinsame Dichte von X1−p , . . . , Xn zu p n 2  
f (X0 , . . . , X1−p ; a) 1
 X . · exp − + a X t j t−j 2 2σe t=1 (2πσe2 ) n/2 j=1

(11.28)

Maximum–Likelihood (ML)–Sch¨ atzer suchen wir dann u ¨ber Nullstellen der Ableitung der sogenannten Log–Likelihood–Funktion, d.h. der Ableitung der logarithmierten Dichte. Mit anderen Worten suchen wir nach L¨osungen der Gleichung ∆n (a) = 0

(11.29)

mit √

n∆n (a) := p n  
 
2 Xt + aj Xt−j (Xt−1 , . . . , Xt−p )T , σe ln f (X0 , . . . , X1−p ; a) − t=1

j=1

wobei der Ableitungsstrich  den Vektor der partiellen√Ableitungen nach den Komponenten von a bezeichne. Der zus¨ atzliche Faktor n auf der linken Seite dieser Definition wird sich im Folgenden als g¨ unstig erweisen. M L gewinnen k¨onnen, Falls wir auf diese Weise einen Parametersch¨ atzer a der mit einer Taylor–Entwicklung erster Ordnung von ∆n um den wahren Parameter a die folgende Eigenschaften besitzt ∆n ( aM L ) = ∆n (a) + ∆n (a)( aM L − a) + oP (1)

(11.30)

= oP (1) , wobei 1 ∆n (a) = − √ n 1 = −√ n

 

∂ ∂al n


n

 p + j=1 aj Xt−j )Xt−k + oP (1) k, l = 1, . . . , p 

t=1 (Xt

Xt−l Xt−k : k, l = 1, . . . , p

+ oP (1)

t=1

die Jacobi–Matrix bezeichnet, dann erhalten wir √ n( aM L − a) (11.31)  n −1 1
=− Xt−l Xt−k : k, l = 1, . . . , p ∆n (a) + oP (1) . n t=1

11.2 Maximum–Likelihood Sch¨ atzer im autoregressiven Modell

199

Man beachte, dass der relevante Anteil von ∆n (a), n¨amlich p n
1
−√ (Xt + aj Xt−j )(Xt−1 , . . . , Xt−p )T n t=1 j=1

als lineare Funktion in a fehlerfrei durch ein Taylorpolynom erster Ordnung √ approximiert werden kann. Im verbleibenden Anteil von ∆n (a) tritt stets n im Nenner auf und deshalb wird dieser Ausdruck nach Wahrscheinlichkeit M L sich zumindest asymptotisch um einen gegen Null konvergieren, wenn a festen Wert stabilisiert, so dass die auftretenden Ableitungen der Dichten nicht u ¨ber alle Schranken wachsen. Der wesentliche Teil der Forderung in (11.30) aM L ) = oP (1), was f¨ ur einen plausiblen Sch¨atzer eine ist also die Aussage ∆n ( nat¨ urliche Forderung ist.

0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0.0 −3.0

−2.5

−2.0

−1.5

−1.0

−0.5

0.0

0.5

1.0

1.5

2.0

Abb. 11.3 Simuliertes Histogramm (5000 Wiederholungen) des zentrier√ ten und standardisierten QML–Sch¨ atzers n(a − a) im AR(1)–Modell mit a = 0.85 und n = 200 zusammen mit der Dichte der asymptotischen Normalverteilung

Unter den Voraussetzungen von Satz 11.3 ergibt sich dann einerseits 1 √ ∆n (a) −→ −Γ (p) n

n.W.

(11.32)

und andererseits mit den Bezeichnungen aus diesem Satz D

∆n (a) −→ N (0, A(p)Sp A(p)T ).

(11.33)

200

11 Parametersch¨ atzung in ARMA–Modellen

Damit haben wir f¨ ur den ML–Sch¨ atzer die identische asymptotische Verteilung wie f¨ ur den Yule–Walker– und den LS–Sch¨atzer sowohl unter der Annahme der G¨ ultigkeit des autoregessiven Modells als auch unter der Annahme eines MA(∞)–Modells (wie in Satz 11.3) erhalten. Es sei ausdr¨ ucklich darauf hingewiesen, dass die eingangs gemachte Normalverteilungsannahme nur zur Herleitung der Likelihood–Funktion und damit zur Einf¨ uhrung von ML–Sch¨ atzern herangezogen wurde. F¨ ur den oben skizzierten Nachweis der asymptotischen Normalit¨ at aber – wie bei den anderen betrachteten Parametersch¨ atzverfahren auch – wurde eine Normalverteilungsannahme nicht benutzt. Aus diesem Grunde nennt man einen aufgrund einer hypothetisch unterstellten Normalverteilungsannahme lediglich abgeleiteten ML–Sch¨atzer in der Literatur auch Quasi–Maximum–Likelihhood (QML)–Sch¨ atzer. Ganz wesentlich f¨ ur die G¨ ultigkeit der oben beschriebenen Vorgehensweise ist die Eigenschaft (11.30) des QML–Sch¨ atzers. Einen solchen Sch¨atzer erY W mit dem halten wir, wenn wir ausgehend vom Yule–Walker–Sch¨atzer a Newton–Verfahren numerisch eine Nullstelle der Log–Likelihood–Funktion approximieren. Es ist so, dass bereits eine 1–Schritt–Korrektur ausreicht, d.h. der Sch¨ atzer Y W (p) − (∆n ( M L (p) := a aY W ))−1 ∆n ( aY W ) a

(11.34)

erf¨ ullt nun einerseits wegen 1 (∆n ( aY W ))−1 ∆n ( aY W ) = √ n



−1 1 √ ∆n ( aY W ) ∆n ( aY W ) → 0 n.W. n

M L (p) −→ a(p) n.W. und andererseits ∆n ( aM L (p)) = oP (1), die Aussage a was man durch direktes Einsetzen in die Taylor–Approximation (erste GleiY W chung von (11.30)) und die erneute Anwendung dieser Taylor–Reihe auf a einsehen kann. Weitere Approximationsschritte mit dem Newton–Verfahren f¨ uhren m¨ oglicherweise zu einer besseren Approximation an eine Nullstelle der Log–Likelihood–Funktion, aber sie ver¨ andern das asymptotische Verhalten der resultierenden Parametersch¨ atzer nicht. Zusammenfassend kann schließlich das folgende Resultat auf Basis der oben¨ stehenden Uberlegungen formuliert werden. Satz 11.11 (Asymptotische Normalit¨ at des QML–Sch¨ atzers) M L (p) Unter den Voraussetzungen von Satz 11.3 gilt f¨ ur einen QML–Sch¨ atzer a mit (11.30) – also etwa f¨ ur den in (11.34) definierten Sch¨ atzer – die asymptotische Verteilungsaussage (11.8). Analog gilt unter den Voraussetzungen des Satzes 11.4 die asymptotische Verteilungsaussage (11.13).

11.3 Parametersch¨ atzung in autoregressiven Modellen mit wachsender Ordnung

201

Beispiel 11.12 F¨ ur das gleiche AR(1)–Modell wie in Beispiel 11.8 ist in Abbildung 11.3 ebenfalls basierend auf 5000 simulierten Zeitreihen mit der L¨ange n = 200 ein Histogramm des QML–Sch¨ atzers f¨ ur den Parameter a (zusammen mit der Dichte der asymptotischen Normalverteilung) wiedergegeben. Im Vergleich zu Abbildung 11.1 erkennt man eine bessere Anpassung der asymptotischen Normalverteilung f¨ ur den QML–Sch¨ atzer. Die einzelnen Zeitreihen wurden mit Hilfe der Routine arima.sim und die Sch¨ atzer mit der Routine arima.mle von S–PLUS
berechnet.  

11.3 Parametersch¨ atzung in autoregressiven Modellen mit wachsender Ordnung Grunds¨ atzlich wird man in der Anwendung jede Annahme eines Zeitreihenmodells lediglich als Approximation an die tats¨ achlich zugrunde liegende Struktur verstehen. Man m¨ ochte durch eine angemessene Modellannahme etwa erreichen, dass m¨ oglichst viele wichtige Eigenschaften eines realen Datensatzes mit dem gew¨ ahlten Modell dargestellt werden k¨ onnen. Es ist eine Tatsache, dass autoregressive Zeitreihenmodelle in der Anwendung eine ganz wichtige, wenn nicht sogar eine dominierende Rolle spielen. Ein Grund daf¨ ur liegt sicher darin, dass die Parametersch¨ atzung f¨ ur autoregressive Zeitreihenmodelle ausgesprochen stabil verl¨ auft und bei Anwendung der Yule–Walker–Methode immer Eindeutigkeit des Parametersch¨ atzers gegeben ist und dar¨ uberhinaus das gesch¨ atzte Modell stets zur Klasse der station¨aren und kausalen autoregressiven Zeitreihen geh¨ ort. Mit dem Levinson–Algorithmus (vgl. Bemerkung 11.7) steht außerdem ein schnelles und numerisch wenig aufw¨andiges Berechnungsverfahren f¨ ur Yule–Walker–Sch¨ atzer zur Verf¨ ugung. Selbst wenn das angenommene autoregressive Zeitreihenmodell dem vorliegenden Datensatz nicht zugrunde liegt, verhalten sich die u utig ¨blichen Parametersch¨atzer gutm¨ und f¨ uhren zu gut interpretierbaren Ergebnissen (vgl. hierzu die S¨atze 11.3, 11.9 und 11.11). Da man mit wachsendem Stichprobenumfang auch gr¨oßere Modellordnungen in Betracht ziehen wird, wollen wir uns in diesem Abschnitt mit der Parametersch¨ atzung in derartigen Situationen auseinandersetzen. Dieser Zugang bereitet auch die deutlich aufw¨ andigere Parametersch¨atzung in ARMA(p, q)– Modellen vor, die wir im folgenden Abschnitt in Angriff nehmen werden. Da¨ mit die Ubersichtlichkeit der Darstellung erhalten bleibt, nehmen wir als datengenerierenden Prozess eine autoregressive Zeitreihe unendlicher Ordnung an, d.h. es gelte Xt +

∞
j=1

aj Xt−j = et ,

∀ t ∈ Z,

(11.35)

202

11 Parametersch¨ atzung in ARMA–Modellen

f¨ ur ein aus i.i.d. Zufallsvariablen et bestehendes weißes Rauschen mit Varianz σe2 . Die Koeffizienten (aj : j ∈ N) m¨ ogen die Voraussetzung 1+

∞


aj z j = 0,

∀ |z| ≤ 1 + δ,

(11.36)

j=1

f¨ ur ein geeignetes δ > 0 erf¨ ullen. Hieraus folgt sofort f¨ ur ein geeignetes η ∈ (0, 1) und C < ∞ |aj | ≤ C · η j ,

∀ j ∈ N,

(11.37)

und die Existenz einer MA(∞)–Darstellung Xt = et +

∞


αj et−j ,

∀ t ∈ Z,

(11.38)

j=1

∞ ∞ mit (1 + j=1 aj z j )−1 = 1 + j=1 αj z j , |z| ≤ 1. Basierend auf Beobachtungen (X1 , . . . , Xn ) der beschriebenen AR(∞)–Zeitreihe betrachten wir exemplarisch das Verhalten des Yule–Walker–Sch¨atzers (p) = −Γ(p)+γ(p) a (vgl. (Satz 11.3)) f¨ ur wachsende Modellordnungen p ∈ N. Satz 11.3 beschreibt das Verhalten dieses Sch¨ atzers f¨ ur jedes fest gew¨ahlte p ∈ N. Bevor wir mit Satz 11.14 ein erstes Resultat u ¨ber das Verhalten des Yule–Walker–Sch¨atzers bei wachsender Modellordnung angeben und beweisen k¨onnen, geben wir im Folgenden eine explizite Darstellung f¨ ur Γ (p)−1 an. Lemma 11.13 Sei X = (Xt : t ∈ Z) eine AR(∞)–Zeitreihemit (11.35) und (11.36). a(p) p sei die eindeutige Minimalstelle von E(Xt + j=1 aj Xt−j )2 , d.h.

und

a(p) = (a1 (p), . . . , ap (p))T = −Γ (p)−1 γ(p) p  2
2 σe (p) = E Xt + aj (p)Xt−j j=1

bezeichne das Minimum. Mit ⎛

1

··· .. . 1 . a1 (p − 2) . . .. . 0

⎜ ⎜ a1 (p − 1) ⎜ ⎜ A(p) = ⎜ a2 (p − 1) ⎜ ⎜ .. ⎝ . ap−1 (p − 1) ap−2 (p − 2)

⎞ 0 .. ⎟ .⎟ ⎟ .. ⎟ 0 .⎟ ⎟ ⎟ 1 0⎠ a1 (1) 1 0

11.3 Parametersch¨ atzung in autoregressiven Modellen mit wachsender Ordnung

203

gilt die Darstellung  −1 Γ (p)−1 = A(p) diag σe2 (p − 1), . . . , σe2 (0) A(p)T .

(11.39)

Bezeichnen wir die Eintr¨ age von Γ (p)−1 mit γp (r, s), r, s = 1, . . . , p, so bedeutet (11.39) f¨ ur r ≥ s und unter Beachtung von a0 (k) = 1 ∀ k ∈ N γp (r, s) =

s


ar−j (p − j)as−j (p − j)/σe2 (p − j) .

(11.40)

j=1

Mit η ∈ (0, 1) aus (11.37) gilt f¨ ur a(p) weiter  p 
 aj (p) aj  p   σ 2 (p) − σ 2  = O(η ) . e e j=0

(11.41)

Hieraus erh¨ alt man f¨ ur die Eintr¨ age von Γ (p)−1 die folgende hilfreiche Absch¨ atzung     (11.42) γp (r, s) ≤ C(η |r−s| + η p ), ∀ r, s = 1, . . . , p ∀ p ∈ N, und C < ∞. Beweis: Die explizite Darstellung (11.39) der Inversen der Autokovarianzmatrix zeigt man per Induktion. Der Induktionsanfang f¨ ur p = 1 ist wegen uglich des Induktionsschritts verweisen wir auf σe2 (0) = γ(0) offensichtlich. Bez¨ Aufgabe 11.3. An dieser Stelle sei angemerkt, dass die Dissertation von Kromer (1970) ein sehr ¨ ahnliches Resultat enth¨ alt, welches auch in Berk (1974), Formel (2.6), angegeben wird. Die hier verwendete Darstellung (11.39) wird sich sp¨ ater als vorteilhafter erweisen. (11.40) ist nichts anderes als die explizite Umsetzung von (11.39). Zum Nachweis von (11.41) greifen wir auf ein Resultat von Baxter (1962), Theorem 2.2, zur¨ uck, welches besagt, dass  p  ∞

 aj (p) aj  |aj |  ≤ Const · −  σ 2 (p) σ 2  σe2 e e j=0 j=p+1 gilt. Da die Annahme (11.36) ein geometrisches Abklingen der AR(∞)– Koeffizienten aj impliziert (vgl. (11.37)), ergibt sich aus Baxters Absch¨atzung (11.41). Aufgrund der Tatsache σe2 (0) ≥ σe2 (1) ≥ σe2 (2) ≥ . . . ≥ σe2 folgt aus (11.41) insbesondere die gleichm¨ aßige Beschr¨ anktheit der aj (p) in j und p, so dass aus (11.40) mit Hilfe von (11.41) und (11.37) schließlich auch (11.42) gefolgert werden kann.

204

11 Parametersch¨ atzung in ARMA–Modellen

Die Beschr¨ anktheit der Folge σe2 (p) impliziert auch ⎧ ⎫  p p  p ⎨
⎬

  a (p) a j 2  j − + |aj (p)| ≤ σe2 (0) |a |/σ = O(1), (11.43) j e  σ 2 (p) σ 2  ⎩ ⎭ j=0

j=0

e

e

j=0

ein Resultat, das wir sp¨ ater noch ben¨ otigen werden.   Von Interesse ist nat¨ urlich, wie gut die empirische Kovarianzmatrix Γ(p) (vgl. (11.2)), die tats¨ achliche Kovarianzmatrix Γ (p) approximiert. F¨ ur jedes feste √ p erhalten wir aufgrund von Satz 10.15 sofort die n–Konsistenz von Γ(p) . Nachfolgend behandeln wir den Fall wachsender Ordnungen p(n) . Satz 11.14 Gegeben sei ein autoregressives Modell unendlicher Ordnung gem¨ aß (11.35) und (11.36). Das zugeh¨ orige weiße Rauschen (et : t ∈ Z) bestehe aus i.i.d. urlicher Zufallsvariablen mit Ee41 < ∞ . (p(n) : n ∈ N) sei eine Folge nat¨ ankt f¨ ur n → ∞. Dann gilt Zahlen mit p(n) → ∞ und p3 (n)/n beschr¨ √ ) ) n ) ) (11.44) )Γ (p(n)) − Γ (p(n))) = OP (1), p(n) wobei f¨ ur eine p × p–Matrix A die Norm A = sup( Ax : x ∈ Rp , x = 1) und f¨ ur einen p–Vektor x die Euklidische Norm x verwendet wird. Weiterhin haben wir f¨ ur die Moore–Penrose–Inverse √ ) ) n ) ) (11.45) )Γ (p(n))+ − Γ (p(n))−1 ) = OP (1) p(n) sowie >

) n ) )a (p(n)) − a(p(n))) = OP (1) . p(n)

(11.46)

wobei a(p(n)) = Γ (p(n))−1 γ(p(n)), vergleiche Satz 11.3. Interessieren wir uns nur f¨ ur das Verhalten eines festen Abschnitts der L¨ ange K des Vektors T (p(n)), also a K (p(n)) := ( a a1 (p(n)), . . . ,  aK (p(n))) und aK (p(n)) entsprechend, so gilt ) √ ) K (p(n)) − aK (p(n))) = OP (1) . n)a (11.47) In (11.46) kann a(p(n)) durch ap(n) = (a1 , . . . , ap(n) )T und in (11.47) kann aK (p(n)) durch aK = (a1 , . . . , aK )T ersetzt werden. Bevor wir dieses Resultat beweisen, wollen wir in der folgenden Bemerkung auf den Unterschied zwischen der Anpassung eines AR–Modells mit fester bzw. wachsender Ordnung eingehen.

11.3 Parametersch¨ atzung in autoregressiven Modellen mit wachsender Ordnung

205

Bemerkung 11.15 K (p(n)) und a (K) Es sei ausdr¨ ucklich darauf hingewiesen, dass die Vektoren a sowie aK (p(n)) und a(K) im Allgemeinen nicht u ¨bereinstimmen. Auch stimmt a(K) nicht mit aK u ¨berein! K (p(n)) stellt die ersten K Komponenten eines Sch¨atzers f¨ a ur die Koeffizienten der AR(∞)–Entwicklung der zugrunde liegenden Zeitreihe dar. Daf¨ ur ist es ganz wesentlich, dass die Ordnung p(n) mit wachsendem Stichprobenumfang n gegen unendlich konvergiert. Da die ersten K Koeffizienten a1 , . . . , aK der AR(∞)–Darstellung aber keineswegs mit den Parametern a1 (K), . . . , aK (K) eines best angepassten AR–Modells mit der festen Ordnung K u atzer f¨ ur die beiden verschiedenen K– ¨bereinstimmen, sind auch die Sch¨ (K) grunds¨atzlich K (p(n)) und a dimensionalen Parametervektoren, n¨ amlich a unterschiedlich und sch¨ atzen tats¨ achlich unterschiedliche Zielgr¨oßen. Der Unterschied zwischen aK (p(n)) und aK verschwindet erst mit wachsendem n, wie Lemma 11.13, (11.41) zeigt. Nur im Fall aj = 0 ∀j > K – d.h. der datengenerierende Prozess ist tats¨achlich eine AR(p)–Zeitreihe mit endlicher Ordnung p ≤ K – stimmen a(K), aK und aK (p(n)) (falls p(n) ≥ K) alle drei u ¨berein. In diesem (K) und a K (p(n)) zwar immer Fall k¨ onnen sich die zugeh¨ origen Sch¨ atzer a noch zahlenm¨ aßig unterscheiden, aber sie unterscheiden sich dann nicht mehr grunds¨ atzlich, da sie beide die gleiche Zielgr¨ oße sch¨atzen. Auch ist das asymptotische Verhalten der beiden Sch¨ atzer identisch, wie wir noch sehen werden. Festzuhalten bleibt, dass die beiden Situationen Anpassung eines AR(K)–Modells (K fest) und Anpassung eines AR(p(n))–Modells (p(n) wachsend) an einen Datensatz strikt auseinander zuhalten sind, und zwar selbst dann, wenn wir uns nur f¨ ur einen Anfangsabschnitt der Parametersch¨atzer mit fester L¨ange interessieren!   Beweis: (zu Satz 11.14) Durch direkte Absch¨ atzung erhalten wir zun¨ achst Γ(p(n)) − Γ (p(n)) 2


p(n)

= sup

x=1 r=1




(γ(r − s) − γ(r − s) : s = 1, . . . , p(n))T x

p(n)

≤

r,s=1

(γ(r − s) − γ(r − s))2 .

2

206

11 Parametersch¨ atzung in ARMA–Modellen

Da E(γ(h) − γ(h))2 unabh¨ angig von h nach oben durch O(n−1 ) abgesch¨atzt werden kann (diese Aussage kann aus Satz 10.4, insbesondere (10.15) und (10.16) abgeleitet werden), folgt (11.44). Mit (11.42), Lemma 11.13, erhalten wir wie folgt die Beschr¨ anktheit der Folge { Γ (p)−1 : p ∈ N}. Γ (p)−1 2  p 2 p

= sup γp (r, s)xs x=1 r=1

≤ sup

p


x=1 r=1

≤ max



s=1 p
s=1

 p


r=1,...,p

|γp (r, s)|x2s

 p


s=1

|γp (r, s)|

s=1

2

|γp (r, s)|



· sup

p


x=1 s=1

x2s

= O(1) , p aßig in r und p mit Hilfe von (11.42) nach oben beda s=1 |γp (r, s)| gleichm¨ schr¨ankt werden kann. ¨ der KonverDie Beschr¨ anktheit von Γ (p)−1 erlaubt nun die Ubertragung  genzrate von Γ (p(n)) auf die inverse empirische Autokovarianzmatrix. Da allgemein A−1 − B −1 = (A−1 − B −1 + B −1 )(B − A)B −1 gilt, kann mit der Dreiecksungleichung und wegen AB ≤ A B wie folgt abgesch¨atzt werden

≤

Γ(p(n))−1 − Γ (p(n))−1 Γ (p(n))−1 2 · Γ(p(n)) − Γ (p(n))

1 − Γ(p(n)) − Γ (p(n)) · Γ (p(n))−1

.

Die erw¨ ahnte Beschr¨ anktheit von Γ (p(n))−1 und (11.44) ergeben nun (11.45). Nach diesen Vorbereitungen k¨ onnen wir nun (11.46) und (11.47) zeigen. Dazu beachte die bereits im Beweis von Satz 11.3 eingesetzte Zerlegung (vgl. (11.11)), mit der folgt  a(p(n)) − a(p(n)) ≤ Γ(p(n))−1 (γ(p(n)) −1

+ Γ

− γ(p(n)))

(11.48)

(p(n)) (Γ(p(n)) − Γ (p(n)))a(p(n)) .

Der erste Summand wird wie folgt nach oben abgesch¨atzt Γ(p(n))−1 − Γ (p(n))−1 γ(p(n)) − γ(p(n))   + Γ (p(n))−1 γ(p(n)) − γ(p(n)) ≤ OP

 p(n) 3/2  n

+

 p(n)
7 p(n)
r=1

s=1

82 −1/2 γp(n) (r, s)(γ(s) − γ(s)) . (11.49)

11.3 Parametersch¨ atzung in autoregressiven Modellen mit wachsender Ordnung

207

Hierbei beachte man, dass γ(s) − γ(s) = OP (n−1/2 ) und zwar gleichm¨aßig in s gilt, sowie die Tatsache, dass bei Absch¨ atzung der Euklidischen Norm eines p(n)–Vektors mit beschr¨ ankten Komponenten ein Faktor p(n) entsteht. Die erste dieser Aussagen in Verbindung mit der Beschr¨anktheit von γp (r, s) aus (11.42) sichert, dass der zweite Summand in der letzten Formel   gleich OP (p(n)/n)1/2 ist, wobei der Ausdruck [. . . ]2 mit Hilfe der Cauchy– Schwarz–Ungleichung f¨ ur Vektoren abgesch¨ atzt wird, wobei einer der Vektoren T  1/2 γp (r, s) : s = 1, . . . , p(n) sei. Wegen p(n)3 /n = O(1) folgt schließlich,   dass der Ausdruck (11.49) gleich OP (p(n)/n)1/2 ist. Auf genau die gleiche Art und Weise – diesmal wegen der Summierbarkeit ur den zweiten Summanden in (11.48) die von aj (p) (vgl.  (11.44)) – folgt f¨ Schranke OP (p(n)/n)1/2 und damit (11.46). Bei genauer Inspektion der obigen Beweisschritte erhalten wir auf genau (p(n)), dem gleichen Wege, dass f¨ ur jede einzelne Komponente  aj (p(n)) von a j = 1, . . . , p(n) die Aussage √ n ( aj (p(n)) − aj (p(n))) = OP (1) (11.50) p gilt, woraus sofort (11.47) folgt. Die Aussage j=0 |aj (p) − aj | = O(η p ), die aus (11.41) folgt (beachte, dass (11.41) wegen a0 (p) = a0 = 1 insbesondere |σe2 (p) − σe2 | = O(η p ) ergibt), erlaubt abschließend die Ersetzung von aj (p(n)) durch aj , j = 1, . . . , p(n), sowohl in (11.46) wie (11.47). Damit ist Satz 11.14 vollst¨andig bewiesen.   Mit den erzielten Ergebnissen ist nun sichergestellt, dass wir in der Lage sind, eine mit dem Stichprobenumfang wachsende Anzahl p(n) von Koeffizienten einer AR(∞)–Zeitreihe konsistent zu sch¨ atzen. F¨ ur jeden einzelnen Koeffizider AR(∞)–Darstellung haben wir sogar die enten a ¨bliche Konvergenzrate j √ u √ 1/ n nachgewiesen (vgl. (11.50) und beachte, dass n(aj (p(n))−aj ) = O(1)). Es stellt sich die Frage, ob f¨ ur einen festen Abschnitt der L¨ange K, d.h. f¨ ur K (p(n)), sogar ein zentraler Grenzwertsatz (CLT) mit einer asymptotischen a Normalverteilung gilt. Dies ist tats¨ achlich der Fall, wie der folgende und abschließende Satz dieses Abschnitts besagt. Satz 11.16 (CLT f¨ ur den Yule–Walker–Sch¨ atzer im AR(∞)–Modell) Sei X = (Xt : t ∈ Z) ein autoregressives Modell unendlicher Ordnung gem¨ aß (11.35). Es gebe C < ∞ und η ∈ (0, 1), sodass f¨ ur die AR–Koeffizienten (aj : j ∈ N) |aj | ≤ C · η j ,

∀j ∈ N,

gilt. Das zugeh¨ orige weiße Rauschen e = (et : t ∈ Z) bestehe aus i.i.d. Zufallsvariablen mit Erwartungswert Null und Varianz σe2 . Ferner gelte Ee41 < ∞ und (p(n) : n ∈ N) bezeichne eine Folge nat¨ urlicher Zahlen mit

208

11 Parametersch¨ atzung in ARMA–Modellen

p(n) −→ ∞

p(n)3 /n −→ 0

und

f¨ ur n → ∞ .

(11.51)

K (p(n)) F¨ ur festes K ∈ N gilt dann f¨ ur den Yule–Walker–Sch¨ atzer a ⎞ ⎛  a1 (p(n)) − a1 √ ⎜ ⎟ D .. n⎝ (11.52) ⎠ −→ N (0, Σ) .  aK (p(n)) − aK mit min(r,s)

Σ(r, s) =




ar−j as−j ,

r, s = 1, . . . , K .

(11.53)

j=1

Dabei wurde a0 = 1 verwendet. Mit ⎛

1

⎜ ⎜ a1 A := ⎜ ⎜ . ⎝ .. aK−1

⎞ 0 .. ⎟ .⎟ ⎟ ⎟ 0⎠ . . . a1 1 0 ... . 1 .. .. .. . .

gilt Σ = AAT .

(11.54)

Beweis: Um den Beweis u ¨bersichtlich zu halten betrachten wir nur den einfachsten Fall, n¨ amlich K = 1. Aufgrund von Satz 11.3 wissen wir zun¨achst, dass zu jedem festen p ∈ N eine Varianz τ 2 (p) existiert, so dass folgende Verteilungskonvergenzaussage gilt √

D

n ( a1 (p) − a1 (p)) −→ N (0, τ 2 (p)) . (11.55) √ Da wir an dem asymptotischen Verhalten von n( a1 (p(n)) − a1 ) interessiert sind und wir Satz A.29 anwenden wollen, m¨ ussen wir zeigen, dass die entsprechende Approximationaussage (A.66) aus Satz A.29 gilt. Dazu werden wir sowohl die linke Seite von (11.55) als auch den uns interessierenden Ausdruck modifizieren. Beginnen wir mit der linken Seite von (11.55). Aufgrund der Definition des Yule–Walker–Sch¨ atzers erhalten wir

11.3 Parametersch¨ atzung in autoregressiven Modellen mit wachsender Ordnung

209

√ n( a(p) − a(p)) ⎞ ⎛ p  γ(r) − γ(r − j) √ − a (p) j −1 ⎠ = Γ(p) n⎝ j=1 r = 1, . . . , p ⎞ ⎛ p    √ − γ (r) + γ(r) − a (p)( γ (r − j) − γ(r − j)) j ⎠ = Γ(p)−1 n ⎝ j=1 r = 1, . . . , p ⎞ ⎛ p    √ − γ (r) + γ(r) − a (p)( γ (r − j) − γ(r − j)) j ⎠ + oP (1) , = Γ (p)−1 n ⎝ j=1 r = 1, . . . , p wobei f¨ ur die letzte Identit¨ at sowohl Satz 10.15 und Satz 11.14 (Aussage (11.45)) zu beachten sind. Aufgrund von (11.40) ergibt sich die erste Zeile von Γ (p)−1 zu   1 (p − 1), . . . , a (p − 1) , 1, a 1 p−1 σe2 (p − 1) so dass obige Rechnung und (11.55) die Konvergenz Zn,p := p p 

√  1  a (p − 1) n − γ (r) + γ(r) − aj (p)(γ(r − j) − γ(r − j)) r−1 2 σe (p − 1) r=1 j=1 D

−→ N (0, τ 2 (p))

(11.56)

begr¨ undet. Eine vergleichbare, aber weitergehende Umrechnung f¨ ur den uns interessierenden Ausdruck liefert √ n( a(p(n)) − a(p(n))) (11.57) ⎞ ⎛ p(n)  √ −γ(r) − ajγ(r − j) ⎠ = Γ(p(n))−1 n ⎝ j=1 r = 1, . . . , p(n) ⎞ ⎛ p(n)  √   −γ(r) + γ(r) − aj (γ(r − j) − γ(r − j)) ⎠ = Γ(p(n))−1 n ⎝ j=1 r = 1, . . . , p(n) ⎞ ⎛ p(n)  √ γ(r) + aj γ(r − j) ⎠ . −Γ(p(n))−1 n ⎝ j=1 r = 1, . . . , p(n) ∞ Wegen γ(r) + j=1 aj γ(r − j) = 0 , ∀ r = 1, 2, . . . , folgt die Beziehung ∞ p(n) γ(r) + j=1 aj γ(r − j) = − j=p(n)+1 aj γ(r − j).

210

11 Parametersch¨ atzung in ARMA–Modellen

Das geometrische Abklingen von aj , die Beschr¨ anktheit der Autokovarianzfunktion γ und (11.45) ergeben, dass der zweite Summand nach dem letzten Gleichheitszeichen in (11.57) nach Wahrscheinlichkeit verschwindet. √ Die in h ∈ N gleichm¨ aßige Beschr¨ anktheit von E( n(γ(h)−γ(h)))2 zusammen mit (11.45) f¨ uhrt dann weiter zu  √  (p(n)) − a(p(n)) n a (11.58) ⎞ ⎛ p(n)  √ −γ(r) + γ(r) − aj (γ(r − j) − γ(r − j)) ⎠ −1 ⎝ + oP (1) , n = Γ (p(n)) j=1 r = 1, . . . , p(n) wobei oP (1) f¨ ur einen p(n)–dimensionalen Vektor hier bedeutet, dass die entsprechende Norm in Rp(n) nach Wahrscheinlichkeit gegen Null konvergiert. Mit der expliziten Darstellung der Inversen der Kovarianzmatrix Γ (p(n)) aus (11.40) und der Approximation der Koeffizienten aj (p) durch aj aus (11.41) erh¨alt man mit etwas l¨ angerer Rechnung, dass die erste Zeile aus (11.58) in der folgenden vereinfachten Form geschrieben werden kann.  √  (11.59) n  a1 (p(n)) − a1 ⎛ ⎞ p(n) p(n)
√ 1
=− 2 ar−1 n ⎝γ(r) − γ(r) + aj (γ(r − j) − γ(r − j))⎠ +oP (1) . σe r=1 j=1    =Zn

Nun k¨ onnen wir Satz A.29 auf Zn und Zn,p (vgl. (11.59) und (11.56)) anwenden. Wir erhalten f¨ ur p(n) ≥ p   lim supn→∞ E Zn,p − Zn   p  
ar−1 (p − 1) ar−1   ≤ lim supn→∞ E  − 2  σe2 (p − 1) σe r=1 p 
√   × n − γ(r) + γ(r) − aj (p)(γ(r − j) − γ(r − j)) j=1 p p 
 ar−1 √
   + lim supn→∞ E  n (a − a (p))( γ (r − j) − γ(r − j))  j j 2 σ e r=1 j=1 p(n) p 
 ar−1 √
   + lim supn→∞ E  n a ( γ (r − j) − γ(r − j))  j 2 σ e r=1 j=p+1

≤

p  p ∞ 


 ar−1 (p − 1) ar−1  − 2  O(1) + |aj − aj (p)| O(1) + |aj | O(1) .  2 σe (p − 1) σe r=1 j=1 j=p+1

Bei der letzten Absch¨ atzung ist erneut die gleichm¨aßige Beschr¨anktheit der √ zweiten Momente von n(γ(h) − γ(h)) verwendet worden. (11.41) und das

11.3 Parametersch¨ atzung in autoregressiven Modellen mit wachsender Ordnung

211

geometrische Abklingen der aj ergeben schließlich  limp→∞ lim supn→∞ E Zn,p − Zn | = 0 , sodass die Voraussetzung (A.66) aus Satz A.29 erf¨ ullt ist. ur p → ∞ konvergent ist, sei dem Leser als Aufgabe Der Nachweis, dass τ 2 (p) f¨ 11.4 u ¨berlassen (zur Definition von τ 2 (p) vgl. (11.55) bzw. (11.56)). √ Damit haben wir die asymptotische Normalit¨ at von n( a1 (p(n)) − a1 ) bewiesen. Die Tatsache, dass der Limes von τ 2 (p) – wenn er denn existiert – tats¨achlich wie in (11.52) gefordert 1 ist, wollen wir im Folgenden skizzieren. Aus (11.59)√ zusammen mit der gleichm¨ aßigen Beschr¨anktheit der zweiten Momente von n(γ(h) − γ(h)) sowie weiterer Absch¨atzungen und mit Verwendung von (11.41) erhalten wir nach einiger Rechnung zun¨achst die folgende Darstellung (wir schreiben zur Abk¨ urzung p statt p(n)) √ n( a1 (p) − a1 ) p n
1
1 ar−1 √ et Xt−r + oP (1) = 2 σe r=1 n t=1
1
1 ar−1 (p − 1) √ et Xt−r + oP (1) . 2 σe (p − 1) r=1 n t=1 p

=

n

Da wir aufgrund von Aufgabe 11.2 wissen, dass die vierten Momente des ersten Terms auf der rechten Seite beschr¨ ankt sind und da wir bereits die Verteilungskonvergenz auch f¨ ur diesen Ausdruck nachgewiesen haben, k¨onnen wir mit Hilfe der Aussage (v) in Bemerkung A.26, angewendet auf das Quadrat des obigen Ausdrucks, die Varianz der asymptotischen Normalverteilung auf folgende Weise berechnen  E =

p n 2 1

1 √ e a (p − 1)X t r−1 t−r σe2 (p − 1) n t=1 r=1

p
1 ar−1 (p − 1)γ(r − s)as−1 (p − 1) σe2 (p − 1) r,s=1

−1 = σe2 (p − 1)Γ (p)−1 1.Zeile Γ (p)Γ (p)1.Zeile , vgl. (11.40) T = σe2 (p − 1)Γ (p)−1 1.Zeile (1, 0, . . . , 0)

= σe2 (p − 1))γp (1, 1), vgl. erneut (11.40) = a20 (p − 1) = 1 . Der Beweis zu Satz 11.16 ist abgeschlossen.  

212

11 Parametersch¨ atzung in ARMA–Modellen

Bemerkung 11.17 (Asymptot. Konfidenzbereiche in AR(∞)–Modellen) Wie schon auf Basis der anderen zentralen Grenzwertaussagen f¨ ur Parametersch¨ atzer, erlaubt auch Satz 11.16 die Ableitung von asymptotischen Konfidenzbereichen. Aus (11.52) zusammen mit (11.54) erhalten wir   D √ aj (p(n)) − aj : j = 1, . . . , K −→ N (0, IK ) , n A−1 

(11.60)

wobei IK die K–dimensionale Einheitsmatrix bezeichnet. Deshalb gilt )√  )2 D ) n A−1  aj (p(n)) − aj : j = 1, . . . , K ) −→ χ2K und

' & )√  )2 a ∈ RK : ) n A−1  aj (p(n)) − aj : j = 1, . . . , K ) ≤ χ2K;1−α (11.61)

stellt einen asymptotischen (1 − α)–Konfidenzbereich f¨ ur (a1 , . . . , aK ) dar.   dadurch entsteht, Genau die gleiche Aussage gilt mit A anstelle von A, wobei A aj ersetzen. dass wir in der Matrix A alle auftretenden aj durch deren Sch¨atzer  Der entstehende Konfidenzbereich hat dann die Form eines Ellipsoids. F¨ ur den Fall K = 1 verweisen wir auf Aufgabe 11.7.   Bevor wir uns im n¨ achsten Abschnitt den ARMA–Zeitreihen zuwenden, wollen wir noch auf die Analogie der asymptotischen Kovarianzmatrizen in (11.13) und (11.52) jeweils f¨ ur den Yule–Walker–Sch¨ atzer hinweisen. Die Kovarianzmatrix in (11.13) gilt f¨ ur den Fall eines AR(p)–Modells und besitzt die Dar¨ stellung (11.39), die bei formalem Ubergang f¨ ur p → ∞ in die Darstellung (11.54) der Kovarianzmatrix f¨ ur den AR(∞)–Fall u ¨bergeht.

11.4 Parametersch¨ atzung fu ¨ r ARMA–Zeitreihen Im Gegensatz zu der Sch¨ atzung der Modellparameter f¨ ur autoregressive Zeitreihen gestaltet sich die Sch¨ atzung f¨ ur ARMA–Zeitreihen deutlich komplizierter. Grunds¨ atzlich k¨ onnen wir aber die gleichen Ans¨atze wie in den vorangegangenen Abschnitten verfolgen. So werden wir auch f¨ ur ARMA– Modelle eine Art Yule–Walker–Gleichung – und somit einen Zusammenhang zwischen der Autokovarianzfunktion und den Modellparametern – herleiten. Auch die Methode der kleinsten Quadrate bzw. der Maximum–Likelihood– Ansatz k¨ onnen zur Sch¨ atzung der ARMA–Parameter herangezogen werden. In jedem Fall werden wir aber auf nichtlineare Gleichungen bzw. Optimierungsprobleme stoßen, die typischerweise mit numerischen Methoden gel¨ost werden m¨ ussen. Das Nichtvorhandensein von expliziten Darstellungen f¨ ur diese L¨osungen erschwert dann die Untersuchung der Eigenschaften der entstandenen Sch¨ atzer.

11.4 Parametersch¨ atzung f¨ ur ARMA–Zeitreihen

213

Nachdem wir u atze eingegangen sind, werden wir ¨berblicksartig auf diese Ans¨ eine ganz andere Idee, die auf invertible ARMA–Zeitreihen (also ARMA– Zeitreihen mit einer AR(∞)–Darstellung) angewandt werden kann, verfolgen. Diese besteht darin, einen Anfangsteil der AR(∞)–Koeffizienten zu sch¨atzen und auf dieser Basis auf die Parameter der ARMA–Zeitreihe zur¨ uckzuschließen. ¨ F¨ ur diese Uberlegungen werden die Ergebnisse aus Abschnitt 11.3 ¨außerst hilfreich sein. Betrachten wir also das ARMA(p, q)–Modell Xt +

p


aj Xt−j = et +

j=1

q


bk et−k ,

∀t ∈ Z.

(11.62)

k=1

Dabei gehen wir von einer kausalen Situation aus, d.h. das Polynom A(z) = 1 + a1 z + · · · + ap z p hat ausschließlich Nullstellen mitBetrag gr¨oßer als eins. ∞ Xt besitzt dann eine einseitige MA(∞)–Darstellung j=0 cj et−j mit geometrisch abklingenden Koeffizienten (cj : j ∈ N0 ). Die folgende Rechnung haben wir schon in Abschnitt 8.3 durchgef¨ uhrt: Eine Multiplikation von (11.62) mit Xt−h und anschließende Erwartungswertbilur alle s > t − h die dung liefert wegen der Unkorreliertheit von Xt−h mit es f¨ folgenden Gleichungen vom Yule–Walker–Typ γ(h) +

p


aj γ(h − j) = 0,

h = q + 1, q + 2, . . . .

(11.63)

j=1

Aus der empirischen Autokovarianz γ f¨ ur die Lags h = q + 1, . . . , q + p k¨onnen somit unter Verwendung von (11.63) Sch¨ atzer f¨ ur die autoregressiven Parameter a1 , . . . , ap gewonnen werden. Wegen der linearen Struktur der Gleichungen (11.63) impliziert die Konsistenz von γ (vgl. etwa Satz 10.15) sofort entsprechende Aussagen f¨ ur die Parametersch¨ atzer. Wir werden darauf aber nicht genauer eingehen. F¨ ur die Lags h = 0, 1, . . . , q erhalten wir aus (11.62) γ(h) +

p


aj γ(h − j) =

j=1

q


bk E et−k Xt−h .

(11.64)

k=0

Mit Hilfe der oben erw¨ ahnten MA(∞)–Darstellung f¨ ur Xt erh¨alt man ur k ≥ h und 0 sonst, also aus (11.64) Eet−k Xt−h = ck−h · σe2 f¨ γ(h) +

p
j=1

aj γ(h − j) =

q


bk ck−h · σe2 ,

h = 0, . . . , q .

(11.65)

k=h

Da nun schließlich die Koeffizienten cj aus den ARMA–Parametern abgeleitet werden k¨ onnen (vgl. (8.14)), f¨ uhrt (11.65) zu nichtlinearen Gleiur a1 , . . . , ap und chungen f¨ ur b1 , . . . , bq und σe2 bei gegebenen Sch¨atzern f¨ γ(0), γ(1), . . . , γ(p + q).

214

11 Parametersch¨ atzung in ARMA–Modellen

Beispiel 11.18 (Yule–Walker–Sch¨ atzung im ARMA(1, 1)–Modell) Die Spezialisierung von (11.63) und (11.65) auf den Fall p = q = 1 lautet γ(2) + aγ(1) = 0 γ(1) + aγ(0) = b · σe2 γ(0) + aγ(1) = (1 + b(b − a)) · σe2 . Mit Hilfe der empirischen Autokovarianz kann direkt ein Sch¨atzer f¨ ur a bestimmt werden. F¨ ur b erhalten wir eine quadratische Gleichung. Konkret ergeben sich aus einer simulierten ARMA(1, 1)–Zeitreihe mit Parametern a = 0.5, b = 0.25 und σe2 = 1 die folgenden empirischen Autokovarianzen γ(0) = 1.1547 γ(1) = −0.2789 γ(2) = 0.1476 . Hieraus erhalten wir die Sch¨ atzwerte  a = 0.529, σ e2 = 1.066 sowie die beiden L¨osungen 0.311 und 3.253 der quadratischen Gleichung f¨ ur b .   Auch die Methode der kleinsten Quadrate l¨ asst sich auf ARMA–Modelle anwenden. Hierf¨ ur ist es notwendig, aus Beobachtungen X1−p , . . . , Xn der ARMA–Zeitreihe die zugeh¨ origen Terme des weißen Rauschens et so gut wie m¨oglich zu rekonstruieren. Ein Ansatz besteht darin, einen Anfangsabschnitt e1−q , . . . , e0 des weißen Rauschens festzulegen (etwa e1−q = . . . = e0 = 0) und mit Hilfe der ARMA–Gleichung (11.62) hieraus die Terme e1 , . . . , en des weißen Rauschens zumindest approximativ zu rekonstruieren. Dies wird rekursiv, uhrt und f¨ uhrt f¨ ur gegebenen Parameter a und b beginnend mit e1 , durchgef¨    zu et (a , b ), t = 1, . . . , n. Nun werden a und b so gew¨ahlt, dass n


et (a , b )2

(11.66)

t=1

minimal wird. Aufgrund der komplexen Struktur der et (a , b ) k¨onnen wir dieses Minimierungsproblem ebenfalls nur auf numerischem Weg l¨osen. Auch eine explizite Darstellung von et (a , b ), die wir im Folgenden ableiten, l¨ost dieses grunds¨ atzliche Dilemma nicht auf. q Falls das ARMA–Modell (11.62) die Invertibilit¨ atsbedingung 1+ k=1 bk z k = 0 f¨ ur alle |z| ≤ 1 erf¨ ullt, existieren Koeffizienten βj = βj (b), j ∈ N0 , mit  1+

q
k=1

−1 bk z

k

=

∞


βj z j ,

|z| ≤ 1.

j=0

Eine Anwendung des linearen Filters (βj : j ∈ N0 ) auf den AR–Teil der ARMA–Gleichung ergibt direkt

11.4 Parametersch¨ atzung f¨ ur ARMA–Zeitreihen ∞


 βj

Xt−j +

j=0

p


215

 ak Xt−j−k

= et .

k=1

Durch Abbrechen der Reihe auf der linken Seite bei j = t erhalten wir   p t

    βj (b ) Xt−j + ak Xt−j−k . (11.67) et (a , b ) = j=0

k=1

Auf die numerischen Methoden zur Minimierung von (11.66) wollen wir im Rahmen dieser Einf¨ uhrung nicht n¨ aher eingehen. Insbesondere f¨ ur ARMA– Modelle kleinerer Ordnung ist dies aber relativ unproblematisch. Im folgenden Beispiel gehen wir auf das grundlegende ARMA(1, 1)–Modell ein. Beispiel 11.19 (LS–Sch¨ atzung im ARMA(1, 1)–Modell) F¨ ur p = q = 1 lautet (11.67) et (a , b ) =

t


(−b )j (Xt−j + a Xt−j−1 ),

t = 1, . . . , n ,

j=0

Um im konkreten Fall einen LS–Sch¨ atzer zu bestimmen muss der Ausdruck  n   2   e (a , b ) f¨ u r a , b numerisch minimiert werden. t=1 t   Unterstellen wir schließlich eine multivariate Normalverteilung f¨ ur die zugrunde liegenden ARMA–Zeitreihen, so k¨ onnen wir grunds¨atzlich genauso, wie in Abschnitt 11.2 f¨ ur autoregressive Zeitreihen beschrieben, vorgehen, um Maximum–Likelihood bzw. Quasi–Maximum–Likelihood–Sch¨atzer zu erhalten. Letztlich ben¨ otigen wir eine explizite Darstellung der Autokovarianzmatrix Γ (n) = (γ(r − s) : r, s = 1, . . . , n) von (X1 , . . . , Xn ) in Abh¨angigkeit von den Parametern a1 , . . . , ap , b1 , . . . , bq und σe2 des ARMA–Modells, um eine entsprechende Likelihoodfunktion Ln (a1 , . . . , ap , b1 , . . . , bq , σe2 ) als gemeinsaonnen. Durch numerische Maximieme Dichte von X1 , . . . , Xn aufstellen zu k¨ rung dieser Funktion erhalten wir dann Quasi–ML–Parametersch¨atzer. Etwas u ¨bersichtlicher ist die Betrachtung einer geeigneten bedingten Verteilung, n¨ amlich     (11.68) L X1 , . . . , Xn X0 , . . . , X1−p , e0 , . . . , e1−q =

n    =  L Xs Xs−1 , . . . , X1−p , e0 , . . . , e1−q , s=1

denn die bedingten Verteilungen auf der rechten Seite lassen sich unter einer Normalverteilungsannahme an die et relativ leicht angegeben. Man beachte zun¨ achst, dass wir durch sukzessives Verwenden der ARMA–Gleichung

216

11 Parametersch¨ atzung in ARMA–Modellen

(11.62) f¨ ur t = 1, . . . , s die Innovationen es−1 , . . . , es−q explizit als Funktion von Xs−1 , . . . , X1−p , e0 , . . . , e1−q schreiben k¨ onnen. Damit gilt f¨ ur s = 1, . . . , n     (11.69) L Xs Xs−1 , . . . , X1−p , e0 , . . . , e1−q    s (a, b)Xs−1 , . . . , X1−p , e0 , . . . , e1−q = L es + X s (a, b) := − wobei X   s (a, b), σe2 . =N X

p


aj Xs−j +

j=1

q


bj es−j

(11.70)

j=1

Die bedingte Verteilung aus (11.68) ist dann nichts anderes als die Koppelung dieser Normalverteilungen f¨ ur s = 1, . . . , n . Wir erhalten demnach die folgende bedingte Likelihoodfunktion Ln (a, b, σe2 ) =

n  1
 2 2  1  X exp − − X (a, b) /σe , (11.71) s s 2 s=1 (2πσe2 )n/2

s (a, b) gem¨ mit X aß (11.70). Eine numerische Maximierung der Log–Likelihood–Funktion ln Ln (a, b, σe2 ) uhrt zu sogenannten bedingten Quasi–Maximum–Likelihood– in a, b und σe2 f¨ Sch¨atzern im ARMA(p, q)–Modell. Die asymptotischen Eigenschaften dieser bedingten QML–Sch¨ atzer sind identisch mit denen von unbedingten QML–Sch¨ atzern in ARMA–Modellen. Wir wollen hierauf im Rahmen dieser Einf¨ uhrung aber nicht weiter eingehen. Den interessierten Leser verweisen wir auf Hannan (1970), Brockwell/Davis (1991) und Straumann (2005) (hier insbesondere Theorem 4.1.1 und Corollary 4.1.4). Nun wollen wir uns gr¨ undlicher mit einer weiteren Methode zur Gewinnung von Parametersch¨ atzern in ARMA–Zeitreihen besch¨aftigen. Die grundlegende Idee ist, die zum interessierenden ARMA–Modell geh¨orige AR(∞)–Reihe aufzustellen, deren Koeffizienten wir mit den in Abschnitt 11.3 zur Verf¨ ugung gestellten Methoden sch¨ atzen k¨ onnen, und dann die ARMA–Parametersch¨atzer aus den ersten p + q AR(∞)–Koeffizientensch¨ atzern zu gewinnen. Konkret k¨ onnen wir auf Basis eines invertiblen ARMA(p, q)–Modells der Form (11.62) die folgende AR(∞)–Darstellung ∞


αk Xt−k = et ,

∀ t ∈ Z,

(11.72)

k = 1, . . . , p,

(11.73)

k=0

mit α0 = 1 und min(k,q)

ak =


j=0

αk−j bj ,

11.4 Parametersch¨ atzung f¨ ur ARMA–Zeitreihen

217

sowie min(k,q)

−αk =




αk−j bj ,

k = p + 1, . . . , p + q,

(11.74)

j=1

gewinnen. Es sei ausdr¨ ucklich darauf hingewiesen, dass (11.74) f¨ ur alle k > p gilt. Verwenden wir nun die in Abschnitt 11.3 abgeleiteten Sch¨atzer α k (p(n)) , k = 1, . . . , p + q , f¨ ur die ersten p + q Koeffizienten der AR(∞)–Entwicklung der Zeitreihe, so f¨ uhrt uns das lineare Gleichungssystem (11.74) im Falle der L¨osbarkeit zun¨ achst zu Sch¨ atzern b1 , . . . , bq . Diese wiederum ergeben gem¨aß ap f¨ ur die autoregressiven Koeffizienten. (11.73) direkt Sch¨ atzer  a1 , . . . ,  Es ist nahe liegend zu versuchen, die asymptotischen Eigenschaften der aß Satz 11.16 auf die ARMA–Sch¨atzer Sch¨atzer α j (p(n)) , j = 1, . . . , p+q, gem¨ zu u ¨bertragen. Bevor wir uns dieser Fragestellung zuwenden, soll aber noch die grunds¨ atzliche L¨ osbarkeit des linearen Gleichungssystems (11.74) untersucht werden. Lemma 11.20 Falls f¨ ur eine ARMA(p, q)–Zeitreihe X gem¨ aß (11.62) gilt, dass die Polynome A(z) = 1 + a1 z + · · · + ap z p und B(z) = 1 + b1 z + · · · + bq z q keine gemeinsamen Nullstellen und nur solche mit |z| > 1 besitzen, dann ist b1 , . . . , bq die einzige L¨ osung des linearen Gleichungssystems (11.74). uhren den Nachweis durch Widerspruch und nehmen dazu an, Beweis: Wir f¨ dass die q × q–Matrix   αp+r−s , A := r = 1, . . . , q, s = 1, . . . , q ur j < 0 zu setzen ist, nicht vollen Rang besitzt. Dann existiert wobei αj := 0 f¨ ein von Null verschiedener Vektor d := (d1 , . . . , dq )T mit Ad = 0 . Durch Skalarmultiplikation k¨ onnen wir die Norm und damit die Komponenten von ahlt werden, dass das ARMA– d beliebig klein machen. Deshalb kann d so gew¨ Modell mit den Parametern b0 = 1 und


min(k,q)

bj := bj + dj , j = 1, . . . , q , ak :=

αk−j bj , k = 1, . . . , p (11.75)

j=0

(vgl. mit (11.73)) die Voraussetzungen des Lemmas erf¨ ullt. Dazu beachte man insbesondere, dass die Nullstellen eines Polynoms stetig von den Koeffizienten abh¨angen. Wir werden nun im Widerspruch zu Satz 8.10 zeigen, dass die Ausgangszeitreihe X auch das ARMA–Modell mit den Parametern aus (11.75) erf¨ ullt. Dazu

218

11 Parametersch¨ atzung in ARMA–Modellen

reicht es nachzuweisen, dass die jeweiligen AR(∞)–Darstellungen f¨ ur beide Parameterkonstellationen identisch sind. Die Koeffizienten αk , k = 0, 1, . . . , ur j < 0) ergeben sich wie folgt rekursiv (α0 = 0 und αj := 0 f¨ <  ak , k = 1, . . . , q   αk + b1 αk−1 + · · · + bq αk−q = . (11.76) 0, k > p ur Wir zeigen nun, dass die Koeffizienten (αk : k = 0, 1, . . .) (11.76) l¨osen. F¨ ur k = k = 1, . . . , p folgt dies direkt aus der Definition der ak in (11.75). F¨ p + 1, . . . , p + q erhalten wir wegen d1 αk−1 + · · · + dq αk−q = 0 (diese Aussage ultigkeit von (11.76). Schließlich erhalten wir folgt direkt aus ad = 0) die G¨ diese Aussage auch f¨ ur alle k > p + q (und damit (11.76) f¨ ur alle k ∈ N), denn ur j < 0) es gilt (man verwende erneut αj = 0 f¨ q
ν=1

dν αk−ν =

q


q 
 ur alle k > p dν − bj αk−ν−j beachte (11.74) f¨

ν=1

=−

j=1

q


bj

q 


j=1

 dν αk−ν−j ,

ν=1

so dass wir die Behauptung per Induktion nach k erhalten.

 

Obwohl die grunds¨atzliche Struktur des Zusammenhangs der ersten p + q AR(∞)–Koeffizienten und der ARMA–Parameter gem¨aß (11.73) und (11.74) relativ einfach ist, gestaltet sich der Nachweis eines zentralen Grenzwertsatzes f¨ ur das allgemeine ARMA–Modell recht kompliziert. Wir wollen uns im Rahmen dieser Einf¨ uhrung deshalb mit dem Beispiel eines ARMA(1, 1)–Modells und mit MA(q)–Zeitreihen begn¨ ugen. Da f¨ ur AR(p)–Zeitreihen gem¨aß (11.73) ur auf dem ak = αk , k = 1, . . . , p , gilt, beschreibt Satz 11.16 die Asymptotik f¨ hier beschriebenen Weg abgeleitete Sch¨ atzer direkt. Auf eine gesonderte Darstellung des reinen AR–Falls wird deshalb an dieser Stelle verzichtet. Kommen wir als erstes zum ARMA(1, 1)–Modell. Beispiel 11.21 (ARMA(1, 1)–Parametersch¨ atzung) Gegeben sei eine ARMA(1, 1)–Zeitreihe gem¨ aß (11.62) mit p = q = 1 und Parametern a und b. Unter der Voraussetzung der Invertibilit¨at, d.h. |b| < 1, besitzt die ARMA(1, 1)–Zeitreihe die folgende AR(∞)–Darstellung Xt +

∞


αj Xt−j = et ,

∀t ∈ Z,

j=1

wobei (1 + az)/(1 + bz) = 1 +

∞

α1 = a − b

j=1

αj z j f¨ ur |z| ≤ 1. Also speziell

und

α2 = −bα1 .

(11.77)

Ausgehend von den Parametersch¨ atzern α 1 (p(n)) und α 2 (p(n)) f¨ ur α1 und aß Abschnitt 11.3 erhalten wir die folgenden α2 im AR(∞)–Modell gem¨ ARMA(1, 1)–Parametersch¨ atzer

11.4 Parametersch¨ atzung f¨ ur ARMA–Zeitreihen

0.30

0.30

0.25

0.25

0.20

0.20

0.15

0.15

0.10

0.10

0.05

0.05

0.00

0.00 −6.0 −4.0 −2.0

0.0

2.0

4.0

6.0

−6.0 −4.0 −2.0

0.0

2.0

4.0

219

6.0

Abb. 11.4 Simulierte Histogramme (5000 Wiederholungen) der zentrierten √ √ und standardisierten Sch¨ atzer n(a − a) (links) und n(b − b) (rechts) im ARMA(1, 1)–Modell mit den Parametern a = 0.50, b = −0.25 sowie Stichprobenumfang n = 500 zusammen mit den Dichten der jeweiligen asymptotischen Normalverteilungen

2 (p(n)) b = − α sowie  a=α 1 (p(n)) + b . α 1 (p(n)) Unter den Voraussetzungen von Satz 11.16 gilt zun¨achst   √ α 1 (p(n)) − α1 D n −→ N (0, Σ), (11.78) α 2 (p(n)) − α2   1 α1 wobei Σ = (vgl. (11.52) und (11.53)). α1 1 + α12 Da f¨ ur g1 (u, v) := u − v/u und g2 (u, v) := −v/u folgende Beziehung gilt      a = g1 α 1 (p(n)), α 1 (p(n)), α 2 (p(n)) , b = g2 α 2 (p(n)) , erhalten wir mit Hilfe der Delta–Methode aus (11.78) (vgl. Satz A.31) die folgende asymptotische Normalit¨ at von ( a, b):       √  a−a 1 0 α12 − α12 α2 + α22 α12 + α22 D n  −→ N , 4 0 b−b α1 α12 − α12 α2 + α22 α14 + α12 − 2α12 α2 + α22 bzw. durch Einsetzen von (11.77)

220

11 Parametersch¨ atzung in ARMA–Modellen

0.30

0.30

0.25

0.25

0.20

0.20

0.15

0.15

0.10

0.10

0.05

0.05

0.00

0.00 −6.0 −4.0 −2.0

0.0

2.0

4.0

6.0

−6.0 −4.0 −2.0

0.0

2.0

4.0

6.0

Abb. 11.5 Simulierte Histogramme (5000 Wiederholungen) der zentrierten √ √ und standardisierten QML–Sch¨ atzer n(aM L − a) (links) und n(bM L − b) (rechts) im ARMA(1, 1)–Modell mit den Parametern a = 0.50, b = −0.25 sowie Stichprobenumfang n = 500 zusammen mit den Dichten der jeweiligen asymptotischen Normalverteilungen

√ n



 a−a b − b



D

−→ N

    1 0 1 + b2 1 + ab , . (11.79) 0 (a − b)2 1 + ab 1 + a2

An der expliziten Darstellung der asymptotischen Kovarianzmatrix erkennt man, dass der Fall a ≈ b zu sehr hohen Varianzen sowohl f¨ ur den Sch¨atzer f¨ ur a wie f¨ ur den Sch¨ atzer f¨ ur b f¨ uhrt. Außerdem ist die asymptotische Kovarianzmatrix in (11.79) dann nahe an der Singularit¨ at. Es sei darauf hingewiesen, dass der Fall a = b = 0 zur Nichtidentifizierbarkeit des ARMA(1, 1)–Modells amlich nicht von einem weißen Rauschen zu unf¨ uhrt (Xt ist in diesem Fall n¨ terscheiden) und deshalb im Rahmen der Parametersch¨atzung ausgeschlossen werden muss (vgl. mit Satz 8.10). Selbstverst¨ andlich kann man auf Basis der zentralen Grenzwertaussage (11.79) asymptotische (1 − α)–Konfidenzbereiche f¨ ur (a, b) ableiten. Konkret erh¨alt man etwa f¨ ur den AR–Parameter a das folgende asymptotische Konfidenzintervall 1/2  1 + b2 · z1−α/2 . (11.80)  a± √ n | a − b| Um die praktische Relevanz des vorgeschlagenen Vorgehens beurteilen zu k¨onnen, wollen wir eine kleine Simulationsstudie betrachten. Aus 5000 simu-

11.4 Parametersch¨ atzung f¨ ur ARMA–Zeitreihen

221

lierten ARMA(1, 1)–Zeitreihen jeweils mit der L¨ ange n = 500 und Parametern a = 0.5 und b = −0.25 haben wir auf Basis einer Anpassung eines AR(5)– Modells (also p(n) = 5) Sch¨ atzer  a und b berechnet. In Abbildung 11.4 sind die resultierenden Histogramme der mit dem tats¨ achlichen Wert zentrierten und √ atzer zusammen mit der entsprechenden Dichte mit n standardisierten Sch¨ der asymptotischen Normalverteilung (vgl. (11.79)) angegeben. Man erkennt ¨ eine sehr gute Ubereinstimmung der simulierten Histogramme mit der asymptotischen Verteilung. Um einen Eindruck von der G¨ ute dieser Sch¨ atzer zu erhalten, vergleichen wir sie mit den aus der S-PLUS
–Routine arima.mle bestimmten QML– Sch¨atzern f¨ ur das ARMA(1, 1)–Modell. Als Startwerte f¨ ur die numerische Prozedur wurden die tats¨ achlichen Parameterwerte benutzt. Das zu Abbildung 11.4 korrespondiere Simulationsergebnis f¨ ur die QML–Sch¨atzer ist in Abbildung 11.5 angegeben. Es scheint (jedenfalls f¨ ur den hier betrachteten Stichprobenumfang n = 500) keine wesentlichen Unterschiede der beiden Prozeduren zu geben. Zum Abschluss der Simulationsstudie wollen wir uns noch das Verhalten des QML–Sch¨ atzers im ARMA(1, 1)–Modell f¨ ur den Fall a = 0.50 und b = 0.48 (ebenfalls n = 500) ansehen. Die genannten Parameter sind nahe beieinander und dies bedeutet, dass das zugeh¨ orige ARMA(1, 1)–Modell nahe bei der Situation a = b der Nichtidentifizierbarkeit liegt (vgl. mit Satz 8.10). F¨ ur 100 simulierte Zeitreihen haben wir die QML–Sch¨ atzer berechnet und die Ergebnisse in einem  aM L − bM L –Plot in Abbildung 11.6 dargestellt. Man erkennt deutlich, dass die jeweiligen Sch¨ atzer zwar recht gut die Aussage  aM L ≈ bM L erf¨ ullen, aber recht wahllos zwischen −1 und +1 hin und her springen.   Nun wollen wir uns den reinen MA(q)–Zeitreihen zuwenden. Beispiel 11.22 (Parametersch¨ atzung in MA(q)–Zeitreihen) (Xt : t ∈ Z) sei eine invertible MA(q)–Zeitreihe mit Parametern b1 , . . . , bq . Die AR(∞)–Darstellung dieser Zeitreihe lautet Xt +

∞


αj Xt−j = et ,

j=1

wobei die Koeffizienten αj wie folgt bestimmt sind αk + b1 αk−1 + . . . + bq αk−q = 0,

k = 1, 2, . . . .

(11.81)

ur r < 0 und α0 = 1 zu beachten. Aus dem Hierbei ist nat¨ urlich αr = 0 f¨ Gleichungssystem (11.81) f¨ ur k = 1, . . . , q k¨ onnen offensichtlich die Werte b1 , . . . , bq bei gegebenen α1 , . . . , αk rekursiv bestimmt werden. Konkret erhalten wir f¨ ur geeignete stetig differenzierbare Funktionen g1 , . . . , gq die Darstellung bk = gk (α1 , . . . , αk ),

k = 1, . . . , q .

(11.82)

222

11 Parametersch¨ atzung in ARMA–Modellen 1.0 0.8 0.6 0.4 0.2 0.0 −0.2 −0.4 −0.6 −0.8 −1.0 −1.0

−0.8

−0.6

−0.4

−0.2

0.0

0.2

0.4

0.6

0.8

1.0

Abb. 11.6 Simulierter aM L − bM L –Plot (100 Wiederholungen) der QML– Sch¨ atzer aM L (x–Achse) und bM L (y–Achse) im ARMA(1, 1)–Modell mit den Parametern a = 0.50, b = 0.48 sowie Stichprobenumfang n = 500

Wir erhalten etwa f¨ ur k = 2 aus (11.81) b2 = −α1 b1 − α2 = α12 − α2 . Damit also g2 (u, v) = u2 − v. Mit Hilfe der Yule–Walker–Sch¨atzer α k (p(n)) ur α1 , . . . , αq erhalten wir durch direktes Einsetzen (kurz: α k ), k = 1, . . . , q, f¨ in (11.81) bzw. (11.82) Sch¨ atzer b1 , . . . , bq f¨ ur die gesuchten MA–Koeffizienten. Der zentrale Grenzwertsatz 11.16 ergibt zusammen mit der Delta–Methode die asymptotische Normalit¨ at von (b1 , . . . , bq )T . Die asymptotische Kovarianzmatrix lautet (vgl. (11.52) und Satz A.31)     ∂gk ∂gj Σ(r, s) ∂αj (α1 , . . . , αk ) ∂αk (α1 , . . . , αj ) . r, s = 1, . . . , q k = 1, . . . , q; j = 1, . . . , q k = 1, . . . , q; j = 1, . . . , q (11.83) Zur Berechnung dieser Kovarianzmatrix zeigen wir mit Hilfe von (11.53) und (11.54), dass

11.4 Parametersch¨ atzung f¨ ur ARMA–Zeitreihen

⎛



1 ⎜ ∂gk ⎜ α1 ∂αj (α1 , . . . , αk ) ⎜ . k = 1, . . . , q; j = 1, . . . , q ⎜ ⎝ .. αq−1

0 .. . .. . ···

··· .. . .. . α1

⎞

⎛

1 ⎜ ⎟ ⎜ ···⎟ ⎟ = − ⎜ b1 ⎜ . ⎟ ⎝ .. 0 ⎠ 1 bq−1 0

0 .. . .. . ···

··· .. . .. . b1

223

⎞

0 .. ⎟ .⎟ ⎟ ⎟ 0⎠ 1 (11.84)

gilt. Zusammen mit (11.83) folgt hieraus, dass die asymptotische Kovarianzmatrix von (b1 , . . . , bq )T gleich ⎛ min(r,s) ⎞  br−j bs−j ⎠ ⎝

(11.85)

j=1

r, s = 1, . . . , q ist. Diese Darstellung korrespondiert zu der Darstellung der Kovarianzmatrix im AR(∞)–Modell (vgl. Satz 11.16 und insbesondere (11.52)), wobei lediglich die autoregressiven Koeffizienten durch diejenigen des MA–Prozesses ersetzt werden. Ein vergleichbares Resultat f¨ ur MA(∞)–Zeitreihen findet man bei Brockwell/Davis (1991), Theorem 8.3.1. Speziell f¨ ur den MA(1)–Prozess erhalten wir  D √  n b1 − b1 −→ N (0, 1) .

(11.86)

Abschließend ist nun noch (11.84) zu beweisen. Hierf¨ ur gen¨ ugt es zu zeigen, dass f¨ ur alle k die Gleichungen ∂gk ∂gk ∂gk + α1 + · · · + αk−j = −bk−j , ∂αj ∂αj+1 ∂αk

j = 1, . . . , k ,

(11.87)

erf¨ ullt sind. Die G¨ ultigkeit dieser Aussage erhalten wir per Induktion. Zun¨achst gilt f¨ ur k = 1 ∂g1 ∂ = (−α1 ) = −1 = −b0 . ∂α1 ∂α1 F¨ ur den Induktionsschritt werde nun die G¨ ultigkeit von (11.87) bis zu einem festen k angenommen. Da stets ∂gk+1 = −1 = −b0 ∂αk+1 gilt, reicht es die G¨ ultigkeit von (11.87) mit k + 1 an Stelle von k f¨ ur alle j = 1, . . . , k nachzuweisen. Auf Konfidenzbereiche f¨ ur die Parameter des MA(q)–Modells gehen wir nicht ein.  

224

11 Parametersch¨ atzung in ARMA–Modellen

Aufgaben Aufgabe 11.1 Seien (X1n , . . . , Xkn )T ∼ N (0, Sn ), n ≥ 1, und es gelte ur n → ∞. Man zeige, Xjn → Xj ∀ j = 1, . . . , k im quadratischen Mittel f¨ dass dann auch (X1 , . . . , Xk )T normalverteilt ist. Aufgabe 11.2 (Xt : t ∈ Z) sei eine kausale AR(p)–Zeitreihe mit i.i.d. ur welches Ee41 < ∞ gilt. Man zeige, dass f¨ ur jedes weißem Rauschen (et ), f¨ p0 ≥ p gilt n )4 ) 1
) ) et (Xt−1 , . . . , Xt−p0 )T ) < ∞ . E )√ n t=1 Hieraus folgere man, dass die asymptotische Kovarianzmatrix im Beweis von Satz 11.4 gem¨ aß (11.17) bestimmt werden kann. Hinweis: Man u ¨berlege sich, dass man sich ohne gr¨oßere Einschr¨ankung auf anken kann und den Fall p0 = p = 1 beschr¨ nverwende die MA(∞)–Darstellung. Dann zeige man zun¨ achst, dass E( √1n t=1 et et−k )4 ≤ C < ∞ ∀ k ≥ 1 gilt. Dies geschieht durch Ausmultiplikation der vierten Potenz. Es bleiben Erwartungswerte der Form Ee2s e2s−k e2t e2t−k durch eine Konstante abzusch¨atzen. Durch zweimalige Anwendung der Cauchy–Schwarz–Ungleichung erkennt man, dass (Ee41 )2 eine solche Konstante ist. Aufgabe 11.3 Man zeige per Induktion die G¨ ultigkeit von (11.39). ur p → ∞ im Rahmen des Beweises zu Aufgabe 11.4 Man zeige τ 2 (p) → 1 f¨ Satz 11.16. Aufgabe 11.5 Man verifiziere (11.73) und (11.74). Aufgabe 11.6 Man zeige, dass die bedingte Likelihood–Funktion im normalverteilten ARMA(p, q)–Modell unter der Annahme X0 = · · · = X1−p = 0 , e0 = · · · = e1−q = 0 in der folgenden Form geschrieben werden kann Ln (a, b, σe2 ) =

n  1
 2 2  1  X exp − − X (a, b) /σe , s s 2 s=1 (2πσe2 )n/2

wobei f¨ ur s = 1, . . . , n


min(p,s−1)

s (a, b) = − X

aj Xs−j +

j=1

bj es−j (a, b)

j=1




min(p,s−1)

es (a, b) = Xs +




min(q,s−1)

j=1




min(q,s−1)

aj Xs−j −

j=1

bj es−j (a, b) .

11.4 Parametersch¨ atzung f¨ ur ARMA–Zeitreihen

225

Aufgabe 11.7 Man gebe f¨ ur den Parameter a1 einer kausalen AR(p)–Reihe mit i.i.d. reellem, weißem Rauschen (et ), welches Ee41 < ∞ erf¨ ullt, ein asymptotisches (1 − α)–Konfidenzintervall an. Was ergibt sich in den Spezialf¨allen p = 1 bzw. p > 1 und a2 , . . . , ap = 0 ? Hinweis: Lemma 11.13 und Satz 11.4. Aufgabe 11.8 Man leite aus (11.28) unter einer Normalverteilungsannahme ur σe2 im kausalen AR(p)–Modell die Gleichung her, dass der ML–Sch¨ atzer σ e2 f¨ σ e2 =

p n  2 8

1 7 T  −1 Xt + X 0 G(p) X 0 +  aj Xt−j n t=1 j=1

erf¨ ullt. Dabei bezeichnen  a1 , . . . ,  ap die ML–Sch¨ atzer f¨ ur a1 , . . . , ap und mit −2  G(p) = σe Γ (p) sei G(p) diejenige Matrix, die entsteht, wenn die Kovarianzmatrix Γ (p) explizit als Funktion von a1 , . . . , ap geschrieben und dann die aj durch die  aj ersetzt werden. Aufgabe 11.9 Man betrachte das bei t = 0 startende AR(1)–Modell X0 := e0 und Xt + aXt−1 = et , t = 1, 2, . . . , f¨ ur |a| > 1 . Die et seien i.i.d. mit et ∼ N (0, 1) . Man zeige, dass der nur von angende Sch¨atzer  an := −Xn+1 /Xn zwei Beobachtungen Xn und Xn+1 abh¨ die Eigenschaft an − a| = OP (1) |a|n · | besitzt. Hinweis: F¨ ur zwei stochastisch unabh¨ angige, standard normalverteilte Zufallsvariablen U und V besitzt U/V eine Cauchy–Verteilung.

12 Sch¨ atzen im Spektralbereich

In Kapitel 3 haben wir gesehen, dass sich eine Reihe von charakteristischen Eigenschaften einer station¨ aren Zeitreihe X = (Xt : t ∈ Z) mit Hilfe der Spektraldarstellung ausdr¨ ucken, gut veranschaulichen und interpretieren lassen. Ganz konkret bestimmt etwa das Spektralmaß einer station¨aren Zeitreihe eindeutig die zugeh¨ orige Autokovarianzfunktion (vgl. Satz 3.4, HerglotzLemma). D.h. alle in der Autokovarianzfunktion enthaltenen Informationen spiegeln sich vollst¨ andig im Spektralmaß wider. Als besonders vorteilhaft hat sich das Spektralmaß erwiesen, wenn es um die Darstellung der Zeitreihe als ¨ Uberlagerung von Schwingungen in Form eines stochastischen Integrals geht (vgl. Satz 5.7, Spektralsatz). Hier gibt das Spektralmaß gerade die Verteilung u ur die An¨ber die verschiedenen Frequenzen an. Ganz besonders wichtig f¨ wendung ist nat¨ urlich der Fall, in dem wir eine Dichte fX des Spektralmaßes vorliegen haben. Die Inversionsformel (Satz 3.8) sichert uns stets eine solche (dann sogar stetige) Spektraldichte, wenn nur die zugeh¨orige Autokovarianzfunktion γX absolut summierbar ist. In diesem Fall gilt die Darstellung fX (ω) =

+∞ 1
γX (h)e−ihω , 2π

∀ ω ∈ [−π, π] .

(12.1)

h=−∞

F¨ ur reellwertige station¨ are Zeitreihen X kann man sich wegen der Symmetrie von γX grunds¨atzlich auf Frequenzen 0 ≤ ω ≤ π beschr¨anken. Wegen # +π f (ω)dω = γX (0) f¨ uhrt eine Ersetzung von γX in (12.1) durch die Au−π X tokorrelationsfunktion X zu einer normierten Form der Spektraldichte als Wahrscheinlichkeitsdichte, was h¨ aufig aus Darstellungs– und Interpretationsgr¨ unden von Vorteil ist. Gehen wir im Folgenden von Realisierungen X1 , . . . , Xn einer reellwertigen Zeitreihe aus, so erhalten wir den schon wiederholt verwendeten Sch¨atzer n−|h| 1
γn (h) = (Xt − X n )(Xt+|h| − X n ) , n t=1

|h| < n ,

(12.2)

228

12 Sch¨ atzen im Spektralbereich

f¨ ur die Autokovarianzen γ(h) mit |h| < n. Setzt man nun noch γn (h) = 0 f¨ ur |h| ≥ n, so kann man leicht zeigen, dass γn positiv semidefinit ist (siehe Aufgaben 8.3, 12.1, 12.2), also selbst die Kovarianzfunktion einer station¨aren Zeitreihe ist, deren Spektraldichte als Sch¨ atzung f¨ ur die theoretische Spekurlich erscheint. Die so zu γn geh¨orende Spektraldichte traldichte fX ganz nat¨ ist nach der Inversionsformel Satz 3.8 gerade In,X n (ω) :=

1 2π

n−1


γn (h)e−ihω ,

−π ≤ ω ≤ π,

(12.3)

h=−(n−1)

wobei der Index X n darauf hindeutet, dass zentrierte Beobachtungen Xt −X n

10.0 8.0 6.0 4.0 2.0 0.0 −2.0 −4.0 −6.0 −8.0 −10.0 0.0

0.5

1.0

1.5

2.0

2.5

3.0

Abb. 12.1 Logarithmiertes Periodogramm einer simulierten ARMA(4, 2)– Zeitreihe der L¨ ange n = 300 und tats¨ achliche logarithmierte Spektraldichte (glatte Kurve)

zur Berechnung verwendet werden. Da γn f¨ ur |h| ≥ n verschwindet, ist die zu γn geh¨ orige Zeitreihe nach Lemma 9.10 eine MA(q)–Reihe mit q = n − 1. Genauer gilt mit einem beliebigen weißen Rauschen e = (et : t ∈ Z) mit n−1 Ee2t = 1/n und Koeffizienten bj = (Xj+1 − X n ), dass Yt = j=0 bj et−j eine Zeitreihe mit Autokovarianzfunktion γn und Spektraldichte (12.3) ist. # n−1 Nach dem Spektralsatz gilt wegen Yt = ( j=0 bj e−ij· )eit· dZe , dass die Spektraldichte von Yt auch in der folgenden Form geschrieben werden kann

12 Sch¨ atzen im Spektralbereich

In,X (ω) =

n−1 n 2 2 1 
1 
  bj e−ijω  = (Xt − X n )e−itω  .   2πn j=0 2πn t=1

229

(12.4)

Bemerkung 12.1 Ersetzt man in (12.2) das Stichprobenmittel X n durch eine beliebige reelle Zahl µ gem¨ aß γn,µ (h) :=

n−|h| 1
(Xt − µ)(Xt+|h| − µ), |h| < n, n t=1

(12.5)

und definiert wieder γn,µ (h) := 0 f¨ ur |h| ≥ n, so ist auch γn,µ positiv semide¨ finit und es gilt mit denselben Uberlegungen wie oben f¨ ur −π ≤ ω ≤ π die Gleichheit In,µ (ω) :=

1 2π

n−1


γn,µ (h)e−ihω =

h=−(n−1)

n 2 1 
 (Xt − µ)e−itω  . (12.6)  2πn t=1

Traditionell wird f¨ ur den Beweis von (12.6) in der Literatur die folgende direkte Rechnung durchgef¨ uhrt, bei der Formel (A.6) aus Anhang A.1 verwendet wird. n n 2 1 
1
 (Xt − µ)e−itω  = (Xt − µ)(Xs − µ)e−i(t−s)ω  2πn t=1 2πn s,t=1 =

n−1 n−|h| 1

(Xt+|h| − µ)(Xt − µ)e−ihω 2πn t=1 h=0

+

−(n−1) n−|h|

1 (Xt − µ)(Xt+|h| − µ)e−ihω 2πn t=1 h=−1

1 = 2π =

1 2π

n−1
h=−(n−1) n−1


n−|h| 1
(Xt − µ)(Xt+|h| − µ)e−ihω n t=1

γn,µ (h)e−ihω .

(12.7)

h=−(n−1)

Man nennt In,X n das (zentrierte) Periodogramm und In := In,0 einfach Periodogramm der Beobachtungen X1 , . . . , Xn . In Abbildung 12.1 ist f¨ ur eine simulierte ARMA(4, 2)–Zeitreihe der L¨ange n = 300 mit ausgepr¨ agtem peak der Spektraldichte in der Frequenz ω = π/2 und moderatem peak in der Frequenz ω = π/4 die tats¨achliche Spektraldichte und das Periodogramm der simulierten Daten dargestellt. Um die Form der Kurven besser deutlich zu machen wurden jeweils logarithmierte Werte aufgetragen.  

230

12 Sch¨ atzen im Spektralbereich

Im Abschnitt 12.2 werden wir uns ausf¨ uhrlich mit dem Periodogramm In und seiner Interpretation auseinander setzen, bevor wir im Abschnitt 12.3 (asymptotische) Eigenschaften des Periodogramms, zun¨achst f¨ ur den einfachen Fall eines weißen Rauschens, danach aber auch f¨ ur allgemeine lineare Prozesse, herleiten. Dort werden wir sehen, dass das Periodogramm zwar einen asymptotisch erwartungstreuen aber nicht konsistenten Sch¨atzer f¨ ur die Spektraldichte darstellt. Deshalb stellen wir in den Abschnitten 12.4 und 12.5 Modifikationen in Form von Gl¨ attungen des Periodogramms vor, die zu konsistenten Sch¨atzern der Spektraldichte f¨ uhren. Die erzielten Grenzwertaussagen erlauben uns die Konstruktion von Konfidenzintervallen f¨ ur die Spektraldichte zum vorgegebenen asymptotischen Niveau. Hierauf gehen wir in Abschnitt 12.6 ein, bis wir schließlich in Abschnitt 12.7 sogenannte integrierte Periodogrammsch¨ atzer und ihre Eigenschaften vorstellen werden. Bevor wir aber mit den nichtparametrischen Spektraldichtesch¨atzern, die u ¨ber entsprechende Gl¨ attungen des Periodogramms erkl¨art sind, beginnen, wollen wir noch einen ebenfalls naheliegenden modellbasierten sogenannten parametrischen Ansatz u ¨ber anzupassende AR– oder ARMA–Modelle im ersten Abschnitt 12.1 vorstellen.

12.1 Parametrische Spektraldichtesch¨ atzung Sehr ausf¨ uhrlich haben wir uns in Kapitel 11 mit der Sch¨atzung der Modellparameter in ARMA–Modellen auseinander gesetzt. Selbstverst¨andlich k¨onnen wir die dort untersuchten Sch¨ atzer auch im Rahmen der Spektraldichtesch¨atzung f¨ ur ARMA–Zeitreihen verwenden. Die Idee ist einfach, die entsprechenden Parametersch¨ atzer in den in Satz 7.6 hergeleiteten Ausdruck f¨ ur die Spektraldichte einzusetzen, um auf diese Weise einen sogenannten parametrischen Spektraldichtesch¨ atzer zu gewinnen. Bezeichnen wir die zugeh¨origen ap beziehungsweise Parametersch¨ atzer f¨ ur ein ARMA(p, q)–Modell mit  a1 , . . . ,  2   mit b1 , . . . , bq und sei σ e ein Sch¨ atzer f¨ ur die Varianz des zugeh¨origen weißen Rauschens, so lauten die zugeh¨ origen parametrischen Spektraldichtesch¨atzer im reinen MA(q)–Fall, also f¨ ur p = 0, wie folgt: q 2
σ 2  bj e−ij ω  , fMA (ω) = e 1 + 2π j=1

ω ∈ [−π, π] .

(12.8)

p aj z j in der komplexen F¨ ur den Fall, dass das gesch¨ atzte Polynom 1 + j=1  Variablen z keine Nullstelle vom Betrag 1 besitzt (und dies wird ja bei Verwendung der Yule–Walker–Parametersch¨ atzer im autoregressiven Modell stets garantiert (vgl. Satz 8.7)), so k¨ onnen wir auch f¨ ur reine AR– und ARMA– Modelle entsprechende parametrische Spektraldichtesch¨atzer in der folgenden Form angeben.

12.1 Parametrische Spektraldichtesch¨ atzung 10.0

10.0

8.0

8.0

6.0

6.0

4.0

4.0

2.0

2.0

0.0

0.0

−2.0

−2.0

−4.0

−4.0

−6.0

−6.0

−8.0

−8.0

−10.0

−10.0 0.0

0.5

1.0 1.5

2.0

2.5

3.0

0.0

0.5

1.0

1.5

2.0

2.5

231

3.0

Abb. 12.2 Tats¨ achliche logarithmierte Spektraldichte des ARMA(4, 2)– Modells (12.11) (durchgezogen) und basierend auf einer simulierten Zeitreihe der L¨ ange n = 300 gem¨ aß (12.9) parametrische autoregressive Spektraldichtesch¨ atzer der Ordnung p = 2 (links) und p = 4 (rechts) (ebenfalls logarithmierte Versionen, gestrichelt) q −2
σ 2    aj e−ij ω  , fAR (ω) = e 1 + 2π j=1

und

2  q   1 + j=1 bj e−ij ω  fARMA (ω) =  2 , q 2π   aj e−ij ω  1 + j=1  σ e2

ω ∈ [−π, π] ,

ω ∈ [−π, π] .

(12.9)

(12.10)

Grunds¨ atzlich u ¨bertragen sich die Eigenschaften der Parametersch¨atzer (wie Konsistenz und asymptotische Normalit¨ at) auf die obigen Spektraldichtesch¨atzer (jedenfalls f¨ ur festes ω), denn die Ausdr¨ ucke (12.8)–(12.10) h¨angen jeweils stetig von den Parametersch¨ atzern ab, so dass das continuous mapping theorem (Satz A.27) angewendet werden kann. Auf jeden Fall ist also klar, dass bei tats¨ achlich zugrunde liegendem ARMA–Modell von der Ordnung p, q, √ aj und der gem¨ aß (12.10) auf Basis von n–konsistenten Parametersch¨atzern  bk berechnete Spektraldichtesch¨ a tzer ebenfalls punktweise (d.h. f¨ u r jedes feste √ ur die tats¨ achliche Spektraldichte ist. ω) n–konsistent f¨ Auch f¨ ur den Fall, dass die vorliegenden Beobachtungen keine Realisierung einer bestimmten ARMA–Zeitreihe darstellen, macht es Sinn aufgrund eines lediglich angepassten ARMA–Modells den zugeh¨origen parametrischen

232

12 Sch¨ atzen im Spektralbereich

Spektraldichtesch¨ atzer zu verwenden. Aus Abschnitt 9.2 wissen wir n¨amlich, dass stetige Spektraldichten beliebig genau durch Spektraldichten von AR–, MA– und damit nat¨ urlich erst recht von ARMA–Modellen geeigneter Ordnungen approximiert werden k¨ onnen. Zur Konkretisierung betrachten wir das ARMA(4, 2)–Modell Xt − 1.34Xt−1 + 1.88Xt−2 − 1.32Xt−3 + 0.80Xt−4 = et + 0.71et−1 + 0.25et−2 , ∀ t ∈ Z ,

(12.11)

mit standard normalverteiltem weißen Rauschen (et ). F¨ ur eine simulierte Zeitreihe der L¨ ange n = 300 sind in den Abbildungen 12.2 und 12.3 die Spektraldichten von angepassten autoregressiven Modellen der Ordnungen 2, 4 und 6 (autoregressive Spektraldichtesch¨ atzer) sowie die Spektraldichte eines gesch¨ atzten ARMA(4, 2)–Modells zu sehen. Man erkennt, dass bereits ab AR(4) die parametrischen Spektraldichtesch¨ atzer eine recht gute Approximation an die tats¨ achliche Spektraldichte abgegeben. Aus Gr¨ unden der besseren Sichtbarkeit sind wiederum logarithnmierte Versionen dargestellt. Wir wollen auf parametrische Spektraldichtesch¨ atzer nicht weiter im Detail eingehen, sondern unser Augenmerk nunmehr auf die periodogrammbasierten nichtparametrischen Spektraldichtesch¨ atzer richten.

12.2 Das Periodogramm Wir rekapitulieren die Definition des Periodogramms. Definition 12.2 (Periodogramm) F¨ ur gegebene Realisierungen X1 , . . . , Xn einer reellen, station¨ aren Zeitreihe aß definieren wir f¨ ur −π ≤ ω ≤ π das Periodogramm In (ω) gem¨ In (ω) =

n 2 1 
 Xt e−itω  .  2πn t=1

(12.12)

F¨ ur reelle X1 , . . . , Xn gilt stets In (ω) = In (−ω), so dass man in diesem Fall in der Regel das Periodogramm nur auf [0, π] betrachtet. Bemerkung 12.3 Nat¨ urlich k¨ onnen wir gem¨ aß (12.12) nicht nur f¨ ur Realisierungen einer Zeitreihe, sondern f¨ ur jeden Vektor (X1 , . . . , Xn ) ∈ Rn (sogar f¨ ur (X1 , . . . , Xn ) ∈ Cn ) ein Periodogramm berechnen. Die Eigenschaften des Periodogramms werden wir aber ausschließlich im Zusammenhang mit Zeitreihen untersuchen.   Offensichtlich weichen die Definitionen des zentrierten Periodogramms In,X und des Periodogramms In voneinander ab. Wir werden jedoch in dem folgenden Lemma sehen, dass f¨ ur die sogenannten Fourier–Frequenzen ωj := 2πj n n−1 n mit j = −[ 2 ], . . . , [ 2 ], j = 0, tats¨ achliche Gleichheit gilt.

12.2 Das Periodogramm 10.0

10.0

8.0

8.0

6.0

6.0

4.0

4.0

2.0

2.0

0.0

0.0

−2.0

−2.0

−4.0

−4.0

−6.0

−6.0

−8.0

−8.0

−10.0

−10.0 0.0

0.5

1.0 1.5

2.0

2.5

3.0

0.0

0.5

1.0

1.5

2.0

2.5

233

3.0

Abb. 12.3 Tats¨ achliche logarithmierte Spektraldichte des ARMA(4, 2)– Modells (12.11) (durchgezogen) und basierend auf einer simulierten Zeitreihe der L¨ ange n = 300 gem¨ aß (12.9) der parametrische autoregressive Spektraldichtesch¨ atzer der Ordnung p = 6 (links) und der Spektraldichtesch¨ atzer (12.10) des gesch¨ atzten ARMA–Modells (rechts) (ebenfalls logarithmierte Versionen, gestrichelt)

Lemma 12.4 F¨ ur reelle X1 , . . . , Xn , ωj = 2πj/n, j = −[(n − 1)/2], . . . , [n/2], gilt In (ωj ) = In,X (ωj ) = In,µ (ωj ),

∀ µ ∈ R,

(12.13)

falls ωj = 0 (d.h. j = 0). Beweis: Die Gleichungen (12.13) n folgen unmittelbar aus (12.6) und der Tat  sache, dass f¨ ur ωj = 0 stets t=1 e−itωj = 0 gilt. Bezeichnungen: F¨ ur sp¨ atere Betrachtungen wollen wir an dieser Stelle die folgenden empirischen Autokovarianzen zusammenstellen:

234

12 Sch¨ atzen im Spektralbereich

γn (h) =

n−|h| 1
(Xt − X n )(Xt+|h| − X n ), |h| < n, n t=1

(12.14)

γn (h) =

n−|h| 1
Xt Xt+|h| , |h| < n, n t=1

(12.15)

γn (h) =

1
Xt Xt+|h| , |h| ≥ 0. n t=1

(12.16)

n

Wie bereits erw¨ ahnt, k¨ onnen wir grunds¨ atzlich f¨ ur jeden n–dimensionalen komplexen Vektor ein Periodogramm berechnen. Wir werden im Folgenden sehen, dass das Periodogramm sehr eng mit der Darstellung des Vektors (X1 , . . . , Xn ) (∈ Cn ) in einer anderen als der kanonischen Basis zusammenh¨angt. Dazu beachte man zun¨ achst, dass folgendes Resultat gilt. Lemma 12.5 Die n Vektoren bj := n−1/2 (eiωj , ei2ωj , . . . , einωj )T , mit den Fourier–Frequenzen ωj = 2πj/n, j = −[(n − 1)/2], . . . , [n/2], bilden eine Orthonormalbasis des Cn .  

Beweis: Siehe Aufgabe 12.4. Wegen Lemma 12.5 l¨ aßt sich also der Vektor (X1 , . . . , Xn ) gem¨aß n

T

(X1 , . . . , Xn ) =

[2]


Cj bj

(12.17)

j=−[ n−1 2 ]

bzw. n

1 Xt = √ n

[2]


Cj eitωj ,

t = 1, . . . , n,

(12.18)

j=−[ n−1 2 ]

n mit Cj := n−1/2 t=1 Xt e−itωj als Linearkombination von Schwingungen mit Frequenzen ωj , j = −[(n − 1)/2], . . . , [n/2], darstellen. Die Koeffizienten Cj , j = −[(n − 1)/2], . . . , [n/2], heißen auch finite Fourier Transformation von X1 , . . . , Xn . orende Periodogramm In erf¨ ullt nun f¨ ur Das zu den Werten X1 , . . . , Xn geh¨ j = −[(n − 1)/2], . . . , [n/2] die Gleichungen In (ωj ) =

n 2 1 
1  |Cj |2 . Xt e−itωj  =  2πn t=1 2π

(12.19)

F¨ ur reelle Daten X1 , . . . , Xn gilt C−j = C j . Die Darstellung (12.18) erinnert stark an das Modell einer zyklischen Zeitreihe

12.3 Eigenschaften des Periodogramms

235

(vgl. Beispiel 5.9). Dort ergab das Quadrat der L2 –Norm der stochastischen Amplitude zu einer Frequenz gerade das Gewicht dieser Frequenz im (in diesem Fall diskreten) Spektralmaß an. Hier greift nun die Analogie zum Periodogramm (ausgewertet √ an einer Fourier–Frequenz ωj ). Der quadrierte Betrag des Koeffizienten Cj / n des Schwingungsanteils zur Frequenz ωj in der Darstellung (12.18) stimmt wegen (12.19) gerade mit (2π/n)In (ωj ) u ¨berein. Stellt nun X = (Xt : t ∈ Z) eine station¨ are Zeitreihe mit Spektraldichte f dar, so liefert eine Diskretisierung von f auf die Fourier–Frequenzen auf der Frequenz ωj = 2πj/n gerade das Gewicht 2π/n · f (ωj ). Die obigen heuristischen ¨ Uberlegungen legen u ¨ber die Argumentation in der Einleitung zu diesem Kapitel hinaus nahe, dass In (ωj ), basierend auf Realisierungen X1 , . . . , Xn dieser Zeitreihe, eine plausible Sch¨ atzung f¨ ur f (ωj ) darstellen k¨onnte. Es sollte noch erw¨ ahnt werden, dass gem¨ aß (12.18) eine bijektive Zuordnung zwischen X1 , . . . , Xn und Cj , j = −[(n − 1)/2], . . . , [n/2] gegeben ist. Das stochastische Verhalten von X1 , . . . , Xn kann also vollst¨andig durch die Zufallsvariablen Cj beschrieben werden. ¨ ¨ Beim Ubergang zum Periodogramm, d.h. im Wesentlichen beim Ubergang 2 von Cj zu |Cj | , geht diese bijektive Zuordnung allerdings verloren. Allein mit Kenntnis des Periodogramms ist somit kein R¨ uckschluß auf die zugrunde liegenden Daten mehr m¨ oglich. Allerdings k¨ onnen wir u ¨ber das Herglotz– Lemma aus In,µ die empirischen Autokovarianzen γn,µ der Daten rekonstru#π ieren gem¨ aß γn,µ (h) = −π In,µ (ω)eihω dω.

12.3 Eigenschaften des Periodogramms Im vorangegangenen Abschnitt haben wir argumentiert, dass das Periodogramm ein plausibler Sch¨ atzansatz f¨ ur die Spektraldichte einer Zeitreihe darstellt. Hier sollen nun die Eigenschaften des Periodogramms genau untersucht werden. Es wird sich zeigen, dass das Periodogramm keine konsistente Sch¨atzung f¨ ur die Spektraldichte einer Zeitreihe darstellt. Aber zun¨achst gilt Satz 12.6 (Erwartungstreue des Periodogramms) aren und reellwertigen Zeitreihe mit X1 , . . . , Xn seien Elemente einer station¨ absolut summierbarer Autokovarianzfunktion γ und deshalb existierender Spektraldichte f . Konvergenzen im Folgenden sind f¨ ur n → ∞ . ur das Periodogramm Ist EXt = 0, so gilt f¨ EIn (ω) → f (ω) ,

∀ ω ∈ [0, π].

(12.20)

Diese Konvergenz ist gleichm¨ aßig in ω ∈ [0, π]. Falls EXt = µ (evtl. µ = 0) erhalten wir EIn (0) −

n 2 µ → f (0) 2π

(12.21)

236

12 Sch¨ atzen im Spektralbereich

und mit den Fourier–Frequenzen ωj = 2πj/n |EIn (ωj ) − f (ωj )| → 0 .

sup

(12.22)

j=1,...,[n/2]

Beweis: Wir betrachten nur den Fall EXt = µ. Zun¨achst gilt mit Hilfe von Gleichung (A.11) n  n 2 1  
2 µ = E Xt  − n2 µ2 2π 2πn t=1

EIn (0) − =

n n 1
1
E(Xs − µ)(Xt − µ) = γ(s − t) 2πn s,t=1 2πn s,t=1

=

1 2π



n−1


1−

h=−(n−1)

|h| n



γ(h).

n−1 ∞ Da h=−∞ |γ(h)| < ∞, ergibt der Satz von Lebesgue h=−(n−1) |h| n γ(h) → 0,   ∞ n 2 1 also mit obiger Rechnung EIn (0) − 2π µ → 2π h=−∞ γ(h) = f (0), und damit (12.21). Zum Nachweis von (12.22) verwenden wir die Darstellung (12.6) des Periodour ωj = 0 gramms mit µ = EXt . Es ergibt sich f¨ EIn (ωj ) =

1 2π

n−1
h=−(n−1)

  |h| 1− γ(h)e−ihωj . n

  Da sowohl |h|≥n |γ(h)| wie |h| 0 gilt n   √ 1
2 Eet cos2 (tω)1 |et cos(tω)| > ε nσe n t=1   √ ur n → ∞ . ≤ Ee21 1 |e1 | > ε nσe → 0 f¨

Damit sind alle Aussagen des Satzes 12.9 bewiesen.

 

¨ Die Ubertragung der S¨ atze 12.7 und 12.9 auf allgemeine Klassen von Zeitreihen gelingt mit der folgenden Aussage, die in gewisser Weise die Transformation des Periodogramms unter linearen Filtern angibt. Es sei daran erinnert, dass f¨ ur die Spektraldichte fX eines zweiseitigen MA(∞)–Prozesses ∞


Xt =

bj et−j ,

∀ t ∈ Z,

(12.33)

j=−∞

mit einem weißen Rauschen e = (et : t ∈ Z) gilt ∞ 2 
  bj e−ijω  fe (ω) , fX (ω) = 

∀ ω ∈ (−π, π] .

j=−∞

fe bezeichnet dabei die Spektraldichte des weißen Rauschens. F¨ ur das Periodogramm gilt Satz 12.10  X = (Xt : t ∈ Z) sei ein linearer Prozess (12.33) mit j |j| |bj | < ∞ und einem i.i.d. weißen Rauschen e = (et : t ∈ Z) mit Ee41 < ∞ . InX bezeichne das Periodogramm basierend auf X1 , . . . , Xn und Ine das Periodogramm basierend auf e1 , . . . , en . Dann gilt ∞ 2 
82 7   bj e−ijω  Ine (ω) = O(n−1 ). (12.34) E InX (ω) −  j=−∞

Insbesondere folgt hieraus nat¨ urlich ∞ 
2   bj e−ijω  Ine (ω) + OP (n−1/2 ) . InX (ω) =  j=−∞

(12.35)

12.3 Eigenschaften des Periodogramms

241

Bevor wir diese Aussage beweisen, wollen wir mit ihrer Hilfe die S¨atze 12.7 und 12.9 auf lineare Prozesse u ¨bertragen. Satz 12.11 (Asymptotisches Verhalten des Periodogramms) X = (Xt : t ∈ Z) sei ein linearer Prozeß mit Darstellung (12.33) f¨ ur ein i.i.d. weißes Rauschen e = (et : t ∈ Z) mit Eet = 0, Ee2t = σe2 , Ee41 < 2  ∞  ∞ 2 −ijω  |j| |b | < ∞. f (ω) = (σ /2π) b e ∞ , sowie  ,ω ∈  j e j=−∞ j=−∞ j (−π, π], bezeichne die Spektraldichte und InX das Periodogramm basierend auf Realisierungen X1 , . . . , Xn . (i) Es gilt f¨ ur ω, ω1 , ω2 ∈ [0, π] mit ω1 = ω2 einerseits Cov(InX (ω1 ), InX (ω2 )) = O(n−1/2 ) und andererseits



V arInX (ω) =

2f 2 (ω) + O(n−1/2 ) , ω = 0, π, f 2 (ω) + O(n−1/2 ) , 0 < ω < π .

(12.36)

(12.37)

ur 0 = ω1 < ω2 < . . . < ωk = π (wobei die ωj keine Fourier–Frequenzen (ii)F¨ sein m¨ ussen) und n → ∞ gilt D

(InX (ω1 ), . . . , InX (ωk )) −→ (f (ω1 )Z1 , . . . , f (ωk )Zk ),

(12.38)

wobei die Zufallsvariablen Z1 , . . . , Zk stochastisch unabh¨ angig sind mit EZj = 1, j = 1, . . . , k, und Z2 , . . . , Zk−1 eine Exponentialverteilung mit Parameter 1 besitzen, w¨ ahrend Z1 und Zk jeweils χ21 –verteilt sind. Beweis: Zun¨ achst folgt (12.38) direkt aus Satz 12.9 und Satz 12.10, 12.35 mit Hilfe des Lemmas von Slutsky. (12.36) sieht man wie folgt ein. Setze dabei zur Abk¨ urzung (beachte (12.34)) ∞ 2 
  Rn (ω) := InX (ω) −  bj e−ijω  Ine (ω) . j=−∞

Da   Cov InX (ω1 ), InX (ω2 ) ∞ ∞ 2 
2 
    bj e−ijω1   bk e−ikω2  Cov(Ine (ω1 ), Ine (ω2 )) = j=−∞ ∞ 


 +

k=−∞

2  bj e−ijω1  Cov(Ine (ω1 ), Rn (ω2 ))

j=−∞ ∞ 
2   + bk e−ikω2  Cov(Rn (ω1 ), Ine (ω2 )) k=−∞

+ Cov(Rn (ω1 ), Rn (ω2 )) ,

242

12 Sch¨ atzen im Spektralbereich

folgt die Behauptung aus V arRn (ω) ≤ ERn2 (ω) = O(n−1 ), vgl. (12.34), denn V arIne (ω) ist beschr¨ankt (vgl. Satz 12.7). Auf die gleiche Weise kann (12.37) verifiziert werden (vgl. Aufgabe 12.6).   Bemerkung 12.12 Statt (12.36) gilt unter den gleichen Voraussetzungen wie in Satz 12.11 sogar Cov(InX (ω1 ), InX (ω2 )) = O(n−1 )

(12.39)

f¨ ur ω1 = ω2 ∈ [0, π]. Siehe Brockwell/Davis (1991), Theorem 10.3.2.

 

Es bleibt noch der Beweis von Satz 12.10 nachzutragen. Beweis: (Zu Satz 12.10) Zun¨ achst gilt InX (ω) = ZnX (ω)Z¯nX (ω) mit der Definition 1
Xt e−iωt ZnX (ω) := √ 2πn t=1 n

n−ν ∞

1 = √ bν e−iων e−iωt 2πn ν=−∞ t=1−ν ∞ n  1

= bν e−iων √ et e−iωt 2πn ν=−∞ t=1 n−ν n 
1 
−iωt √ + et e − et e−iωt 2πn t=1−ν t=1

=: B(e−iω )Zne (ω) + Dn (ω) ,

(12.40)

 mit B(z) := ν bν z ν und Zne analog zu ZnX definiert, sowie dem Restterm Dn . Unter Verwendung von InX (ω) = ZnX (ω)Z¯nX (ω) ergibt sich somit ∆n := InX (ω) − |B(e−iω )|2 Ine (ω)   e = B(e−iω ) Zne (ω)Dn (ω) + B(e−iω ) Z n (ω)Dn (ω) + |Dn (ω)|2  ≤ 2|B(e−iω )| |Zne (ω)| |Dn (ω)| + |Dn (ω)|2 .  Mit |B(e−iω )| ≤ ν |bν | =: c0 < ∞ ergibt sich zun¨achst ∆2n ≤ 8 c20 Ine (ω)|Dn (ω)|2 + 2|Dn (ω)|4 ,

(12.41)

(12.42)

und daraus mit E|Zne (ω)|4 = E(Ine )2 ≤ c1 < ∞ (unabh¨angig von ω, siehe (12.30)) unter Verwendung der Cauchy–Schwarz–Ungleichung 1/2 √  + 2E|Dn (ω)|4 . E∆2n ≤ 8c20 c1 E|Dn (ω|4

(12.43)

12.4 Lag–Window–Sch¨ atzer der Spektraldichte

Nun ist mit Dnν (ω) :=

n−ν t=1−ν

et e−iωt −

n

t=1 et

243

e−iωt

E|Dn (ω)|4 =

∞ 
4 1   E bν e−iων Dnν (ω)  2 (2πn) ν=−∞

≤

∞ 
4 1 E |b | |D (ω)| . ν nν (2πn)2 ν=−∞

(12.44)

Die grobe Absch¨ atzung E|


t

Yt |4 ≤




EYs4 EYt4 EYu4 EYv4

s,t,u,v

1/4

=




(EYt4 )1/4

4

,

t

die man durch zweifache Anwendung der Cauchy–Schwarz–Ungleichung erh¨alt, f¨ uhrt nun bereits zum Ziel. Beachtet man E|Dnν (ω)|4 ≤ 2|ν|Ee41 + 12ν 2 σe4 ≤ c ν 2 ,

(12.45)

mit c := 2Ee41 + 12σe4 , siehe Aufgabe 12.18, so erh¨alt man schließlich E|Dn (ω)|4 ≤

4 c 
1/2 |b | |ν| . ν (2πn)2 ν

Einsetzen in (12.43) ergibt mit einer von ω unabh¨angigen Konstanten K E∆2n ≤ K

1 , n  

also (12.34). Bemerkung 12.13 In Erg¨ anzung zu Satz 12.10 sei erw¨ ahnt, dass die Aussage ∞ 2 
  InX (ω) =  bj e−ijω  Ine (ω) + oP (1) j=−∞



auch ohne die Annahme j |j| |bj | < ∞ nachgewiesen werden kann. Siehe Brockwell/Davis (1991), Theorem 10.3.1.  

12.4 Lag–Window–Sch¨ atzer der Spektraldichte Im vorangegangenen Abschnitt haben wir eine ganze Reihe von zentralen asymptotischen Aussagen f¨ ur das Periodogramm hergeleitet. Dabei hat sich gezeigt, dass das Periodogramm kein konsistenter Sch¨atzer f¨ ur die Spektraldichte (etwa eines linearen Prozesses) ist, da die Varianz f¨ ur gegen unendlich

244

12 Sch¨ atzen im Spektralbereich

wachsenden Stichprobenumfang nicht gegen Null konvergiert. Jetzt sollen konsistente Sch¨ atzer f¨ ur die Spektraldichte einer station¨aren Zeitreihe vorgestellt werden. Die grundlegende Idee ist eine Gl¨ attung des Periodogramms, die auf vielf¨ altige Weise erreicht werden kann. Z.B f¨ uhren bekanntlich sogenannte Moving Average Filter
|k|≤m

1 In (ωj+k ) 2m + 1

 (oder auch mit allgemeineren Gewichten |k|≤m wk,n In (ωj+k )) zu einer Gl¨attung des Periodogramms an der Fourier–Frequenz ωj = 2πj/n. Ganz ¨ ahnlich k¨ onnte man mit einer mehr oder weniger um eine bestimmte Frequenz ω0 konzentrierten Funktion W : [−π, π] → R u ¨ber % π W (ω)In (ω)dω −π

zu einer Gl¨ attung von In an der Stelle ω0 gelangen. Wir werden hierauf in Abschnitt 12.7 zur¨ uckkommen. Zun¨achst wollen wir jedoch einen etwas anderen Weg einschlagen und aufbauend auf der Kovarianzform des Periodogramms, siehe (12.7), zu einer Gl¨attung gelangen. Konkret werden wir f¨ ur M (n), mit M (n) < n f¨ ur alle n ∈ N, den aß folgenden Spektraldichtesch¨ atzer fn gem¨  
h 1  fn (ω) = k γ (h)e−ihω , 0 ≤ ω ≤ π , (12.46) 2π M (n) n |h|≤M (n)

n−|h| mit γn (h) = 1/n t=1 Xt Xt+|h| (siehe (12.15)) und einer Gewichtsfunktion k : [−1, 1] → R betrachten. fn heißt Lag–Window–Sch¨atzer und ist in der Tat eine Gl¨ attung des Periodogramms, wie wir sp¨ater sehen werden (zur Veranschaulichung vgl. die Abbildungen 12.5 und 12.6). Die Gewichtsfunktion k wichtet in der Inversionsformel die gesch¨ atzten Autokovarianzen in bestimmter Weise. Sie wird mit den folgenden Eigenschaften gew¨ahlt k : [−1, +1] → R ist symmetrisch und stetig sowie k(0) = 1 und |k(u)| ≤ 1 f¨ ur alle |u| ≤ 1 .

(12.47)

k heißt auch Lag Window. Einige in der Literatur vorgeschlagene Beispiele f¨ ur k sind in Tabelle 12.1 angegeben. Bei der Wahl des Abschneidepunktes M (n), auch Lag Number oder Truncation Point genannt, wird darauf zu achten sein, dass dieser f¨ ur n → ∞ hinreichend schnell gegen unendlich konvergiert, um die asymptotische Erwartungstreue auch f¨ ur fn sicher zu stellen. Man beachte dabei, dass fn mit M (n) = n − 1 exakt dem Periodogramm entspricht. Andererseits darf M (n) nicht zu schnell

12.4 Lag–Window–Sch¨ atzer der Spektraldichte

245

gegen unendlich konvergieren, damit wir im Gegensatz zum Periodogramm f¨ ur fn die Konsistenz erreichen. Genau wie bei der Untersuchung der asymptotischen Eigenschaften des Periodogramms werden wir auch in diesem Abschnitt wieder einen linearen Prozess der Form (12.33) mit i.i.d. weißem Rauschen zugrunde legen. Zun¨achst erhalten wir das folgende Resultat.

4.0

4.0

2.0

2.0

0.0

0.0

−2.0

−2.0

−4.0

−4.0

−6.0

−6.0

−8.0

−8.0 0.0

0.5

1.0 1.5

2.0

2.5

3.0

0.0

0.5

1.0

1.5

2.0

2.5

3.0




|h| M −ihω 1 Abb. 12.5 Lag–Window–Sch¨ atzer f (ω) = 2π mit h=−M (1 − M )γ(h)e M = 50 f¨ ur ein simuliertes AR(4)–Modell Xt − 1.13Xt−2 + 1.54Xt−2 − ange n = 1000 mit standard normalverteiltem 1.02Xt−3 +0.58Xt−4 = et der L¨ weißen Rauschen. Links: ln f und logarithmiertes Periodogramm. Rechts: ln f und logarithmierte Spektraldichte (gestrichelt)







Satz 12.14 (Asymptot. Varianz und Kovarianz des Lag–Window–Sch¨ atzers) X = (Xt : t ∈ Z) sei ein linearer Prozess mit Darstellung (12.33) f¨ ur ein i.i.d. weißes Rauschen e = (et : t ∈ Z) mit Ee21 = σe2 , Ee41 < ∞ und absolut summierbaren Koeffizienten {bj : j ∈ Z}. Dann gilt f¨ ur den Spektraldich tesch¨ atzer fn gem¨ aß (12.46) mit Lag Window k mit (12.47) und Truncation Point M (n) < n derart, dass M (n) → ∞ und M (n)/n → 0 f¨ ur n → ∞: F¨ ur alle ω ∈ [0, π] lim E fn (ω) = f (ω) ,

n→∞

sowie

(12.48)

246

12 Sch¨ atzen im Spektralbereich

⎧ # ⎨ 2f 2 (ω) +1 k 2 (u)du , ω = 0, π , n −1 V arfn (ω) = lim n→∞ M (n) ⎩ f 2 (ω) # +1 k 2 (u)du , 0 < ω < π , −1

(12.49)

und f¨ ur alle ω1 , ω2 ∈ [0, π] mit ω1 = ω2    M (n)   Cov fn (ω1 ), fn (ω2 ) = O . n 

(12.50)

Dabei bezeichnet f die unter den Voraussetzungen des Satzes existierende Spektraldichte des linearen Prozesses.

Tabelle 12.1 Verschiedene Lag Windows +1

k(u) f¨ ur |u| ≤ 1

Name des Lag Window

−1

k2 (u)du

Bartlett

1

2

Modified Bartlett

1 − |u|

2/3

Truncated Daniell

sin(πu)/πu

0.9028

Blackman–Tukey

1 − 2a + 2a cos(πu)

2 − 8a + 12a2

a = 0.25 (Hanning)

0.5 + 0.5 cos(πu)

3/4

a = 0.23 (Hamming)

0.54 + 0.46 cos(πu)

0.7948

Parzen (1) Parzen (2)

2

1−u
 1 − 6u2 + 6|u|3 , |u| ≤  2(1 − |u|)3 ,

1 2

16/15 1 2

≤ |u| ≤ 1

151/280

Beweis: Wir schreiben zur Abk¨ urzung M (n) = M . Zun¨achst zur asymptotischen Erwartungstreue (12.48). Es gilt    h 1
|h| k E fn (ω) = 1− γ(|h|) e−ihω . 2π M n |h|≤M

   Da aus j |bj | < ∞ wegen γ(h) = σe2 j bj bj+h auch h |γ(h)| < ∞ folgt, impliziert der Satz von Lebesgue einerseits ∞
h=−∞

 1{|h| ≤ M }k

h M



|h| |γ(|h|)| = o(1), n

und andererseits (beachte M → ∞ f¨ ur n → ∞),

12.4 Lag–Window–Sch¨ atzer der Spektraldichte



∞


1{|h| ≤ M }k

h=−∞

h M



γ(|h|)e−ihω →

∞


247

γ(|h|)e−ihω .

h=−∞

Mit der Darstellung der Spektraldichte f aus der Inversionsformel folgt (12.48). Zur Berechnung der asymptotischen Varianz nehmen wir vereinfachend f¨ ur ein ur |j| > q gilt, d.h. wir unterstellen einen linearen festes q ∈ N an, dass bj = 0 f¨ Prozess endlicher Ordnung. Nat¨ urlich kann man jeden linearen Prozess durch einfaches Abschneiden der Summation in (12.33) durch einen Prozess endlicher Ordnung approximieren. Wir ersparen uns den technisch aufw¨andigen Nachweis, dass die Varianz von fn durch ein solches Abschneiden gleichm¨aßig in n beliebig gut approximiert werden kann.  Durch Einsetzen von Xt = |ν|≤q bν et−ν erhalten wir fn (ω) =

+q

 r  n−|r|
1 bν bµ k et−ν et+|r|−µ e−irω . 2πn ν,µ=−q M t=1 |r|≤M

Es ist leicht zu sehen, dass f¨ ur den Term mit r = 0 gilt +q n 

1 V ar bν bµ et−ν et−µ = o(1) , M ·n ν,µ=−q t=1

so dass die Betrachtung von +q M  r  n−r

1
 bν bµ k et−ν et+r−µ cos(rω) h(ω) := πn ν,µ=−q M t=1 r=1

(12.51)

hinreicht. Die Varianz dieses Ausdrucks ergibt sich bis auf einen Faktor 1/(π n)2 zu +q


bν bµ bν  bµ

ν,µ,ν  ,µ =−q

r,r  =1 

× =

M


n−r
n−r


 r   r  k k · cos(rω) cos(r ω) M M

   E et−ν et+r−µ − σe2 1{µ=ν+r} et −ν  et +r −µ − σe2 1{µ =ν  +r }

t=1 t =1 +q
ν,µ,ν  ,µ =−q

 n−r−ν −ν 
n−r


t=1−ν t =1−ν 

bν bµ bν  bµ

M
r,r  =1

k

 r   r  k · cos(rω) cos(r ω) × M M

   E et et+r+ν−µ − σe2 1{µ=ν+r} et et +r +ν  −µ − σe2 1{µ =ν  +r }

248

12 Sch¨ atzen im Spektralbereich +q


=

bν bµ bν  bµ

ν,µ,ν  ,µ =−q

M
+ν−µ

  M +ν
−µ

 k

r=1+ν−µ r  =1+ν  −µ

r+µ−ν M

    r + µ − ν  k M

× cos((r + µ − ν)ω) cos((r + µ − ν  )ω) ×

 n−r−ν −ν 
n−r


   E et et+r − σe2 1{r=0} et et +r − σe2 1{r =0} .

t=1−ν t =1−ν 

F¨ ur den Erwartungswert in diesem letzten Ausdruck gilt nun    E et et+r − σe2 1{r=0} et et +r − σe2 1{r =0} ⎧ 4 Ee1 − σe4 , t = t und r = r = 0 ⎪ ⎪ ⎪ ⎪ , t = t und r = r = 0 ⎨0 4 , t = t und r = r = 0 = σe ⎪ 4 ⎪ , t = t + r = t = t + r ⎪ σe ⎪ ⎩ 0 , sonst. ochstens dann auf, wenn |t − t| ≤ 2q Der Fall t = t + r = t = t + r tritt h¨ gilt. Durch grobe Absch¨ atzung erkennt man, dass dieser Anteil asymptotisch keine Rolle spielt. Gleiches gilt f¨ ur den Beitrag mit t = t und r = r = 0. Wir k¨ onnen unsere weiteren Berechnungen also auf den Fall t = t und  anken. Da sowohl die Doppelsumme u r = r = 0 beschr¨ ¨ber r, r , wie diejenige  u ¨ber t , t zu jeweils einer Einfachsumme zusammenf¨allt und die Indizes ν, µ, ν  und µ zwischen −q und q variieren, ergibt sich erneut durch direkte grobe Absch¨ atzung, dass gilt V ar  h(ω) =

1 π 2 n2

+q
ν,µ,ν  ,µ =−q

bν bµ bν  bµ

M −2q
r=1

 k

r+µ−ν M

· cos ((r + µ − ν)ω) cos ((r + µ − ν  )ω)

n−r
t=1

   r + µ − ν  k M

σe4 + o



M n

 .

Aufgrund der gleichm¨ aßigen Stetigkeit von k auf [−1, +1] und wegen der Ungleichungen |ν|, |µ|, |ν  |, |µ | ≤ q erhalten wir weiter +q M 2 σ4
2  r  
k bν bµ cos((r + µ − ν)ω) . V ar  h(ω) = 2e π n r=1 M ν,µ=−q

Mit cos(x) = (eix + e−ix )/2 folgt nun

12.4 Lag–Window–Sch¨ atzer der Spektraldichte +q


249

bν bµ cos((r + µ − ν)ω)

ν,µ=−q +q   1
= bν bµ eirω ei(µ−ν)ω + e−irω ei(ν−µ)ω 2 ν,µ=−q

eirω + e−irω = 2

+q


bν bµ ei(µ−ν)ω ,

ν,µ=−q

also schließlich n V ar  h(ω) M q M 4  r 
 σe4 
−iνω  1 2 e2irω + e−2irω + 2 + o(1) . = b e k   ν 4π 2 ν=−q M r=1 M Wegen f (ω) =

σe2 2π

 2  q  ur M → ∞  ν=−q bν e−iνω  und da f¨

% % 1 M 1
2 r  1 +1 2 k k 2 (u)du = k (u)du , −→ M r=1 M M →∞ 0 2 −1 sowie f¨ ur 0 < ω < π M 1
2  r  2irω k → 0, e M r=1 M

(12.52)

(vgl. Aufgabe 12.17) folgt die Aussage (12.49). Zum Nachweis von (12.50) kann man abschließend einfach die Cauchy–Schwarz–Ungleichung auf (12.49) anwenden.   Da sich die Varianz des Spektraldichtesch¨ atzers fn multipliziert mit n/M (n) asymptotisch stabilisiert, stellt sich die Frage, ob wir f¨ ur >   n (12.53) fn (ω) − f (ω) , 0 ≤ ω ≤ π , M (n) eine zentrale Grenzwertaussage beweisen k¨ onnen. Macht man die f¨ ur Kurvensch¨ atzung typische Zerlegung in Varianzanteil fn (ω) − E fn (ω) und Biasanteil E fn (ω) − f (ω), so sind diese beiden Anteile getrennt voneinander zu untersuchen. Um den Biasanteil ad¨ aquat behandeln zu k¨onnen, treffen wir folgende Annahme an das Lag Window k 1 − k(u) = K > 0. (12.54) u2 F¨ ur alle Lag Windows der Tabelle 12.1, mit der Ausnahme des Bartlett und des Modified Bartlett Windows, ist die Voraussetzung erf¨ ullt. Dann kann das folgende Resultat gezeigt werden. lim

u→0

250

12 Sch¨ atzen im Spektralbereich

4.0

4.0

2.0

2.0

0.0

0.0

−2.0

−2.0

−4.0

−4.0

−6.0

−6.0 0.0

0.5

1.0 1.5

2.0

2.5

0.0

3.0

0.5

1.0

1.5

2.0

2.5

3.0




|h| M −ihω 1 Abb. 12.6 Lag–Window–Sch¨ atzer f (ω) = 2π h=−M (1 − M )γ(h)e f¨ ur ein simuliertes AR(4)–Modell Xt − 1.13Xt−2 + 1.54Xt−2 − 1.02Xt−3 + ange n = 1000 mit standard normalverteiltem weißen 0.58Xt−4 = et der L¨ Rauschen. ln f (links mit M = 200 und rechts mit M = 500) jeweils mit logarithmierter Spektraldichte (glatte Kurve)




Satz 12.15 (Asymptot. Bias des Lag–Window–Spektraldichtesch¨ atzers)  2 Unter den Voraussetzungen von Satz 12.14 mit ν ν |bν | < ∞ und falls k ur n → ∞ gilt, erhalten wir zus¨ atzlich (12.54) erf¨ ullt sowie M 2 (n)/n −→ 0 f¨ f¨ ur 0 ≤ ω ≤ π   (12.55) M 2 (n) · E fn (ω) − f (ω) → K f  (ω). Beweis: (12.55) folgt aus den f¨ ur n → ∞ geltenden drei Aussagen
γ(h)e−ihω → 0 , M 2 (n)

(12.56)

|h|>M (n)




M 2 (n)

|h|≤M (n)

M 2 (n) 2π


|h|≤M (n)

  k

 k

h M (n)

h M (n)





|h| γ(h)e−ihω → 0 , n

 − 1 γ(h)e−ihω → K f  (ω).

(12.57)

(12.58)

12.4 Lag–Window–Sch¨ atzer der Spektraldichte

251

 2 Die linke Seite von (12.56) ist beschr¨ ankt durch |h|>M (n) h |γ(h)| < ∞,  2 da ν ν |bν | < ∞, konvergiert also wegen M (n) → ∞ gegen Null. Wegen der Konvergenz M 2 (n)/n → 0 gilt (12.57). Schließlich ist die linke Seite von (12.58), abgesehen vom Faktor 1/(2π), gleich  
k Mh(n) − 1 h2 γ(h)e−ihω , h2 M 2 (n)

|h|≤M (n)

wobei die Konvention 00 = 0 verwendet werde. Zu gegebenen ε > 0 existiert aufgrund von (12.54) ein δ > 0, so dass      k h   M (n) − 1 |h|  ≤ δ. + K  ≤ ε , ∀  h2 M (n)   M 2 (n) Da

≤




      k Mh(n) − 1

δ·M (n)δ·M (n)

n→∞

folgt

lim

n→∞


|h|≤M (n)

 k

h M (n)



h2 M 2 (n)

−1

h2 γ(h)e−ihω = −K

∞


h2 γ(h)e−ihω .

h=−∞

Beachtet man nun noch, dass in der Darstellung ∞ 1
f (ω) = γ(h)e−ihω 2π h=−∞

zweimal unter der Reihe differenziert werden darf, so folgt die Behauptung.   Nach diesen Vorarbeiten sind wir nun in der Lage, eine zentrale Grenzwertaussage f¨ ur den Spektraldichtesch¨ atzer fn zu beweisen. Das Resultat lautet wie folgt. Satz 12.16 (Asymp. Normalit¨ at des Lag–Window–Spektraldichtesch¨ atzers) X = (Xt : t ∈ Z) sei ein linearer Prozeß mit Darstellung (12.33) mit i.i.d. weißem Rauschen e = (et : t ∈ Z) mit Ee21 = σe2 , Ee41 < ∞ und absolut sumatzer mierbaren Koeffizienten (bν : ν ∈ Z). fn bezeichne den Spektraldichtesch¨

252

12 Sch¨ atzen im Spektralbereich

gem¨ aß (12.46). Das zugeh¨ orige Lag Window k erf¨ ulle (12.47) und es gelte M (n) → ∞ sowie M (n)/n → 0 f¨ ur n → ∞. Dann gilt >  n  D (12.59) fn (ω) − E fn (ω) → N (0, τ 2 (ω)), M (n) mit

⎧ # ⎨ 2f 2 (ω) +1 k 2 (u) du , −1 τ 2 (ω) = # ⎩ f 2 (ω) +1 k 2 (u) du , −1

ω = 0, π , (12.60) 0 < ω < π.

∞ Gilt zus¨ atzlich (12.54), ν=1 ν 2 |bν | < ∞ und n/M 5 (n) → C 2 ≥ 0 f¨ ur n → ∞, so folgt dar¨ uberhinaus f¨ ur alle 0 ≤ ω ≤ π und K aus (12.54) >    n  D (12.61) fn (ω) − f (ω) → N C · K · f  (ω), τ 2 (ω) . M (n) Beweis: (12.61) folgt aus Satz 12.15 und (12.59) durch direktes Einsetzen. Zum Nachweis von (12.59) beschr¨ anken wir uns auf den einfachsten Fall eines ur alle ν = 0. In dieser Situation weißen Rauschens, d.h. b0 = 1 und bν = 0 f¨ gilt (wir schreiben wieder M statt M (n)) >   n  fn (ω) − E f(ω) M   n h 1 1
1
√ √ k = e−ihω (et et+|h| − σe2 1{h=0} ) +oP (1) 2π n t=1 M M |h|≤M    =:Zt,n

Zt,n h¨ angt nur von et , . . . , et+M ab und es gilt EZt,n = 0 sowie 2 EZt,n

  r   s  
1 k k e−i(r+s)ω E et et+|r| − σe2 1{r=0} M M M |r|,|s|≤M   · et et+|s| − σe2 1{s=0} 1
2  r  −2irω Ee41 − σe4 = + k + 1) σe4 (e M M M |r|≤M ⎧ # +1 ⎨ 2σe4 k 2 (u) du , ω = 0, π , −1 −→ # +1 2 M →∞ ⎩ σ 4 0 < ω < π, e −1 k (u) du , =

vgl. Aufgabe 12.17. Da EZs,n Zt,n = 0

f¨ ur s = t

12.4 Lag–Window–Sch¨ atzer der Spektraldichte

253

erhalten wir 1
Zt,n = (2π)2 τ 2 (ω). lim V ar √ n→∞ n t=1 n

Die letzte Aussage folgt u ¨brigens auch als Spezialfall aus Satz 12.14, (12.49). n Wir werden nun angig und identisch t=1 Zt,n durch eine Summe unabh¨ verteilter Zufallsvariablen approximieren. Man definiere dazu mit N (n) = ur j = 1, . . . , [n/N (n)] [ nM (n)] f¨ Yj,n :=

1 N (n)

 Z(j−1)N (n)+1,n + · · · + ZjN (n)−M (n),n .



(12.62)

Wegen M (n)/N (n) → 0 f¨ ur n → ∞ gilt 1
1 √ Zt,n − n t=1 [n/N (n)] n

[n/N (n)]




Yj,n = oP (1)

j=1

4 und außerdem sind die Yj,n tats¨ achlich i.i.d. Da EYj,n gleichm¨aßig in n beschr¨ankt ist (vgl. Aufgabe 12.19) folgt schließlich mit dem Zentralen Grenzwertsatz von Lyapounov, siehe Bauer (1991), §28, die gew¨ unschte asymptotische Normalit¨ at.  

Bemerkung 12.17 Die asymptotische Normalverteilung des gegl¨ atteten Spektraldichtesch¨atzers fn ist zentriert, falls C = 0, d.h. n/M 5 (n) → 0. Da die Varianz des Spektraldichtesch¨ atzers mit Geschwindigkeit M (n)/n konvergiert und der quadrierte Bias (vgl. Satz 12.15) mit Geschwindigkeit 1/M 4 (n) konvergiert, ist zu erwarten, dass sich der Mean Square Error (MSE) 2  E fn (ω) − f (ω) asymptotisch wie C1

M (n) 1 + C2 4 n M (n)

(f¨ ur zwei Konstanten C1 , C2 > 0) verh¨ alt. Dieser asymptotische MSE wird gerade f¨ ur M (n) ∼ n1/5 minimal, so dass tats¨achlich die nicht zentrierte Limesverteilung einen besonders relevanten Fall darstellt.   Grunds¨ atzlich besteht die M¨ oglichkeit parametrische und nichtparametrische Spektraldichtesch¨ atzer zu kombinieren. Eine auf Tukey zur¨ uckgehende und als prewhitening bezeichnete Idee besteht darin, zun¨achst ein parametrisches Zeitreihenmodell an vorliegende Daten einer station¨aren Zeitreihe (Xt ) mit Spektraldichte fX anzupassen. Stellen wir uns vor, dass wir eine AR–Zeitreihe

254

12 Sch¨ atzen im Spektralbereich

der Ordnung p verwandt und Parametersch¨ atzer  a1 , . . . ,  ap erhalten haben. Wenden wir in einem n¨ achsten Schritt den AR–Filter Yt := Xt +

p


 aj Xt−j

(12.63)

j=1

an, so erhalten wir Beobachtungen einer Zeitreihe (Yt ), deren Spektraldichte fY der Gleichung p 2 
   aj e−ijω  fX (ω) fY (ω) = 1 +

(12.64)

j=1

gen¨ ugt. Falls die Approximation durch das autoregressive Modell hinreichend gut ist, stellt fY approximativ die Spektraldichte eines weißen Rauschens (prewhitening) dar, h¨ aufig aber zumindest eine recht glatte Spektraldichte (ohne ausgepr¨ agte Spitzen und Senken). Eine solche Spektraldichte fY ist den vorgestellten nichtparametrischen Spektraldichtesch¨atzmethoden in der Regel weitaus besser zug¨ anglich als die Ursprungsspektraldichte fX . Wendet man nun basierend auf den gefilterten Daten Yt eine nichtparametrische Sch¨ atzmethode (etwa einen Lag–Window–Sch¨atzer) an und erh¨alt den ur die Spektraldichte fY , so k¨ onnen wir durch Aufl¨osen nach Sch¨atzer fY f¨ fX in (12.64) leicht einen gemischt parametrisch–nichtparametrischen Spektraldichtesch¨ atzer ableiten. In vielen Anwendungsf¨allen f¨ uhrt ein solches Vorgehen, n¨ amlich parametrisches Sch¨ atzen der Grob– und nichtparametrisches Sch¨atzen der Feinstruktur einer Spektraldichte, in der Tat zu guten Ergebnissen. Selbstverst¨ andlich ist es nicht zwingend ein autoregressives parametrisches Modell zu verwenden. Ganz genauso k¨ onnen MA–, ARMA– und auch andere parametrische Modelle f¨ ur den ersten Sch¨ atzschritt eingesetzt werden. Zur Veranschaulichung der Idee des prewhitening wurde Daten aus einem station¨aren AR(4)–Modell mit extremem peak der Spektraldichte in der Frequenz ω = π/2 und moderatem peak in ω = π/4 simuliert. Es ist in Abbildung 12.7 (rechts) zu sehen, dass ein Lag–Window–Sch¨atzer durch den ausgepr¨ agten peak der tats¨ achlichen Spektraldichte verf¨alscht wird. Da autoregressive Modelle der Ordnung 2 in der Lage sind eine ausgepr¨agte Frequenz in der Spektraldichte abzubilden, berechnen wir zun¨achst einen AR(2)– Spektraldichtesch¨ atzer und wenden den sich gem¨aß (12.63) ergebenden Filter auf die simulierten Daten an. So eliminiert man in der Tat zu einem gewissen Grad den ausgepr¨ agten peak an der Stelle ω = π/2. Wendet man dann erst in einem zweiten Schritt auf die berechneten Werte Yt den Lag– Window–Sch¨ atzer an, so ergibt sich eine deutliche bessere Approximation an die tats¨ achliche Spektraldichte (vgl. Abbildung 12.7).

12.5 Das gegl¨ attete Periodogramm 8.0

8.0

6.0

6.0

4.0

4.0

2.0

2.0

0.0

0.0

−2.0

−2.0

−4.0

−4.0

−6.0

−6.0

−8.0

−8.0 0.0

0.5

1.0 1.5

2.0

2.5

3.0

0.0

0.5

1.0

1.5

2.0

2.5

255

3.0

Abb. 12.7 Gesch¨ atzte Spektraldichte f¨ ur ein AR(4)–Modell (n = 1000) mit Hilfe des prewhitening u ¨ber ein angepasstes AR(2)–Modell kombiniert mit einem Lag–Window–Sch¨ atzer mit dem Truncated–Daniell–Fenster (vgl. Tabelle 12.1) f¨ ur M = 20 (links). Zum Vergleich eine direkte Gl¨ attung (ebenfalls mit dem Truncated–Daniell–Fenster mit M = 20) des Peridodogramms (rechts) jeweils zum Vergleich mit der logarithmierten tats¨ achlichen Spektraldichte (gestrichelt)

12.5 Das gegl¨ attete Periodogramm Zu Beginn von Abschnitt 12.4 haben wir kurz Gl¨ attungen des Periodogramms von der Form
1 In (ωj+k ) (12.65) 2m + 1 |k|≤m

ωj = 2πj/n, bzw. %

π

−π

W (ω)In (ω)dω

(12.66)

mit einer stark um eine Stelle ω0 ∈ [0, π] herum konzentrierten Funktion W , vorgestellt. Wir nennen Sch¨ atzer der Form (12.66) integrierte Periodogrammsch¨ atzer. Wir werden nun zeigen, dass die in Abschnitt 12.4 behandelten konsistenen Spektraldichtesch¨ atzer fn (Lag–Window–Sch¨atzer, vgl. (12.46)) und die obigen Gl¨ attungen des Periodogramms n¨aher miteinander verwandt sind, als vielleicht # π auf den ersten Blick zu vermuten w¨are. Es gilt n¨amlich wegen γn (h) = −π eihω In (ω)dω (beachte (12.6) und (12.15))

256

12 Sch¨ atzen im Spektralbereich

  h 1
 k γn (h)e−ihω fn (ω) = 2π M |h|≤M % π % π = In (v)Wn (ω − v)dv = In (ω − v)Wn (v)dv −π

(12.67)

−π

  h 1
Wn (v) := k e−ihv . 2π M

mit

|h|≤M

(Man beachte f¨ ur das letzte Gleichheitszeichen die 2π–Periodizit¨at von In und uhrt von der Tatsache her, dass M = M (n) eine Wn . Der Index n bei Wn r¨ Funktion von n ist.) Diese Darstellung entspricht (12.66). Approximiert man nun das Integral in (12.67) mit Hilfe der Fourier–Frequenzen ωj = 2πj/n , so erh¨alt man die (12.65) ¨ ahnelnde Darstellung 2π n

[n/2]

[n/2]




In (ωj )Wn (ω − ωj ) =

j=−[(n−1)/2]




Wn,j In (ωj ) (12.68)

j=−[(n−1)/2]

mit allgemeinen Gewichten Wn,j := 2π n Wn (ω − ωj ). Bevor wir umgekehrt zeigen, dass integrierte Periodogrammsch¨atzer auch als Lag–Window–Sch¨ atzer geschrieben werden k¨ onnen, zun¨achst zwei Beispiele. Beispiel 12.18 (Bartlett Lag Window) F¨ ur das Bartlett Lag Window k(u) = 1[−1,+1] (u) erhalten wir unter Beachtung von (A.6) Wn (v) =

= =

1
−ihv e 2π |h|≤M  2M +1 2π

1 sin((M +1/2)v) 2π sin(v/2)

, v = 0, ±2π , −2π < v < 2π und v = 0

1 sin((M + 1/2)v) · , −2π ≤ v ≤ 2π . 2π sin(v/2)  

Aus der Tatsache, dass Wn f¨ ur das Bartlett Lag Window auch negative Werte annehmen kann, folgt, dass sowohl die Version (12.67) als auch die Version (12.68) des gegl¨ atteten Periodogramms negative Werte annehmen k¨onnen, was f¨ ur einen Spektraldichtesch¨ atzer eine eher unerw¨ unschte Eigenschaft ist. Beispiel 12.19 (Modified Bartlett Lag Window) F¨ ur das Lag Window k(u) = 1 − |u| , −1 ≤ u ≤ 1, ergibt sich (vgl. Aufgabe 12.20)

12.5 Das gegl¨ attete Periodogramm

257

4.0

3.0

2.0

1.0

0.0

−1.0 −6.0 −5.0 −4.0 −3.0 −2.0 −1.0 0.0

Abb. 12.8 Darstellung von

Wn (v) =

1.0

2.0

1 sin((M +1/2)v) 2π sin(v/2)

3.0

4.0

5.0

6.0

f¨ ur M = 10

1 sin2 (M v/2) , −2π ≤ v ≤ 2π . 2πM sin2 (v/2)

atzer (12.67) als auch (12.68) Wegen Wn (v) ≥ 0 folgt, dass sowohl der Sch¨ stets nichtnegativ sind.   Die Varianz eines Spektraldichtesch¨ atzers in der Darstellung (12.68) k¨onnen wir wie folgt heuristisch approximieren. Zun¨ achst gilt % +π % π  r   s 
1 Wn2 (ω − v)dv = k k e−i(r+s)(ω−v) dv 2 M M −π −π 4π |r|,|s|≤M % +1 1
2 r  M · = k k 2 (u)du . ≈ 2π M 2π −1 |r|≤M

F¨ ur das letzte Gleichheitszeichen beachte man die Orthogonalit¨at der Funkur 0 < ω < π tionen eij· und die Symmetrie von k. Damit folgt weiter f¨ % +1 M · k 2 (u) du · f 2 (ω) V arfn (ω) ≈ n −1 % 2π π ≈ W 2 (ω − v) dv · f 2 (ω) . (12.69) n −π n

258

12 Sch¨ atzen im Spektralbereich 1.0

0.8

0.6

0.4

0.2

0.0 −6.0 −5.0 −4.0 −3.0 −2.0 −1.0 0.0

Abb. 12.9 Darstellung von

1.0

2.0

2 1 sin (M v/2) 2πM sin2 (v/2)

3.0

4.0

5.0

6.0

f¨ ur M = 5

Wir zeigen nun, dass ein integrierter Periodogrammsch¨atzer der Form % π % π W (ω − v)In (v) dv = W (v)In (ω − v) , dv −π

−π

vgl. (12.67), in eine zu (12.46) vergleichbare Form gebracht werden kann. Dabei nehmen wir an, dass W eine 2π–periodische und gerade Funktion ist, f¨ ur die die zugeh¨ orige Fourier Reihe ∞ 1
k(h)e−iωh , 2π h=−∞

#π

mit k(h) = −π W (ω)eihω dω , h ∈ Z , f¨ ur alle ω ∈ [−π, π] gegen W (ω) konvergiert. Damit erhalten wir % π % π 1
W (v)In (ω − v) dv = γn (h) W (v)eihv dv e−ihω 2π −π −π |h| 0 und ur allgemeine r ∈ N aber eine c χ2r –verteilte Zufallsvariable dar. Da nun auch f¨ Gl¨attungen des Periodogramms, etwa fn (ωj ) :=

m


Wn,j In (ωj+k )

(12.74)

j=−m

m mit j=−m Wn,j = 1 (vgl. auch (12.68)), die Verteilungen recht gut durch eine gewichtete χ2r –Verteilung beschrieben werden, verwendet man approximativ L(fn (ωj )) ≈ c · χ2r , wobei c > 0 und r ∈ N u ¨ber die ersten beiden Momente angepasst werden und L(U ) die Verteilung einer Zufallsvariablen U bedeutet. Da die χ2r –Verteilung den Erwartungswert r und die Varianz 2r besitzt, f¨ uhrt dies wegen E fn (ωj ) ≈  2 2  f (ωj ) und V ar fn (ωj ) ≈ |j|≤m Wn,j f (ωj ) (vgl. (12.69)) zu c r = f (ωj )

und

2c2 r =




2 Wn,j · f 2 (ωj ) .

|j|≤m

Hieraus ergeben sich die folgenden Festlegungen f¨ ur c und r 7 8
1
2 2 c= Wn,j f (ωj ) und r = 2/ Wn,j . 2 |j|≤m

|j|≤m

262

12 Sch¨ atzen im Spektralbereich

r nennt man in diesem Zusammenhang auch equivalent degrees of freedom (EDF) des Spektraldichtesch¨ atzers fn an der Stelle ωj = 2πj/n. Im Hinblick auf Konfidenzintervalle ergibt sich hieraus   fn (ωj ) ≈ χ2r L r· f (ωj ) und deshalb das folgende Konfidenzintervall f¨ ur f (ωj ) zur approximativen ¨ Uberdeckungswahrscheinlichkeit 1−α 4 3 rfn (ωj ) rfn (ωj ) . (12.75) , χ2r;1−α/2 χ2r;α/2 Dabei bezeichnet χ2r;α das α–Quantil der χ2r –Verteilung (0 < α < 1). Durch Logarithmieren erh¨alt man wie oben ein Konfidenzintervall f¨ ur ln f (ωj ) mit fester Breite f¨ ur alle Frequenzen, n¨ amlich 8 7 ln fn (ωj ) + ln r − ln χ2r;1−α/2 , ln fn (ωj ) + ln r − ln χ2r;α/2 . (12.76)

12.7 Das integrierte Periodogramm In Abschnitt 12.4 haben wir im Rahmen der notwendigen Gl¨attung des in Definition 12.2 erkl¨arten Periodogramms In sogenannte integrierte Periodogrammsch¨ atzer % π W (ω)In (ω)dω (12.77) −π

mit einer um die Frequenz ω0 konzentrierten Funktion W : [−π, π] → R kurz eingef¨ uhrt und in Abschnitt 12.5 ihren Zusammenhang zu den Lag–Window– Sch¨atzern diskutiert. In diesem Abschnitt wollen wir nun integrierte Periodogrammsch¨ atzer (12.77) f¨ ur beliebige Funktionen W detaillierter betrachten. F¨ ur weitergehende Untersuchungen sei auf Dahlhaus (1985) verwiesen. Schr¨ankt man sich auf symmetrische Funktionen W ein, so reicht es wegen der Symmetrie des Periodogramms Ausdr¨ ucke der Form % π W (ω)In (ω)dω (12.78) M (In , W ) = 0

f¨ ur geeignete Funktionen W : [0, π] → R zu betrachten. Wir stellen nun einige integrierte Periodogrammsch¨atzer vor.

12.7 Das integrierte Periodogramm

263

Beispiel 12.21 (Verschiedene integrierte Periodogrammsch¨atzer) (i) F¨ ur W (ω) = 2 cos(ωh) , h ∈ N0 , erhalten wir mit Hilfe der Darstellung wird. γn (h) ist be(12.1) M (In , W ) = γn (h), wobei γn (h) in (12.6) definiert √ n–konsistenter Sch¨atzer kanntlich unter geeigneten Voraussetzungen ein #π ullt. f¨ ur die Autokovarianz, die ihrerseits γ(h) = 0 2 cos(ωh)f (ω) dω erf¨ Dabei bezeichnet f die zugrunde liegende und als existierend vorausgesetzte Spektraldichte. (ii) F¨ ur W (ω) = 1[0,x] (ω) , x ∈ [0, π] ist M (In , W ) das sogenannte integrierte Periodogramm % x In (ω)dω , 0

#x welches einen Sch¨ atzer f¨ ur die sog. Spektralverteilungsfunktion 0 f (ω)dω an der Stelle x darstellt. (iii) Stellt W hingegen eine mehr oder weniger stark um eine feste Frequenz ω0 ∈ [0, π] konzentrierte Funktion dar, etwa   ω0 − ω 1 W (ω) = K , (12.79) h h mit einer zentrierten Wahrscheinlichkeitsdichte K (ein sogenannter Kern) und h > 0 eine Bandweite, so stellt M (In , W ) eine Gl¨attung des Periodour gramms um die Frequenz ω0 und damit einen Spektraldichtesch¨atzer f¨   f (ω0 ) dar. In vielen F¨ allen wird man M (In , W ) mit Hilfe einer Riemannschen Summe mit den St¨ utzstellen der Fourier–Frequenzen ωj = 2πj/n , j = 0, . . . , N = [n/2] , approximieren. Dies f¨ uhrt zu der folgenden diskretisierten Version von (12.78) N 2π
W (ωj )In (ωj ). n j=0

(12.80)

Unser Ziel ist es, asymptotische Verteilungsaussagen f¨ ur M (In , W ) herzuleiten. Das√Beispiel 12.21 (i) l¨ aßt vermuten, dass wir f¨ ur geeignete Funktionen W eine n–Konsistenz mit einer asymptotischen Normalverteilung erwarten k¨onnen. In der Tat hat Dahlhaus (1985) bewiesen, dass unter gewissen Annahmen an die Abh¨angigkeitsstruktur des zugrunde liegenden Prozesses f¨ ur eine große Klasse von Funktionen W gezeigt werden kann, dass  √  n M (In , W ) − M (f, W ) (12.81) % π  % π √ = n W (ω)In (ω) dω − W (ω)f (ω) dω 0

0

eine zentrierte asymptotische Normalverteilung besitzt. F¨ ur die Klasse der linearen Zeitreihen mit i.i.d. weißem Rauschen (vgl. Definition 10.3) gilt das folgende Resultat.

264

12 Sch¨ atzen im Spektralbereich

Satz 12.22 (Asymptot. Normalit¨ at f¨ ur integrierte Periodogrammsch¨ atzer) X = (Xt : t ∈ Z) sei eine kausale, lineare Zeitreihe mit i.i.d. weißem Rauschen im Sinne von Definition 10.3. F¨ ur die Koeffizienten bj der MA(∞) ∞ ur das weiße Rauschen wird neben –Darstellung gelte j=1 j |bj | < ∞ und f¨ 2 4 E e1 = 0 und V ar e1 = σe auch E e1 =: ησe4 < ∞ vorausgesetzt. f bezeichne die zur Zeitreihe X geh¨ orende Spektraldichte. Dann gilt f¨ ur jede stetig differenzierbare Funktion W : [0, π] → R √

D

n(M (In , W ) − M (f, W )) → N (0, τ 2 )

mit der asymptotischen Varianz % % π W 2 (ω)f 2 (ω)dω + (η − 3) τ 2 = 2π 0

(12.82) 2

π

W (ω)f (ω)dω

. (12.83)

0

achst gilt aufgrund der Symmetrie von γn (h) Beweis: Zun¨ In (ω) =

1 2π

n−1


γn (h)e−ihω

h=−(n−1)

n−1 
1  = γn (0) + 2 γn (h) cos(hω) . 2π h=1

Ganz analog erh¨ alt man aus der Inversionsformel Satz 3.8 f (ω) = Wegen γ(h) = σe2

∞

∞ 
1  γ(h) cos(hω) . γ(0) + 2 2π

j=0 bj bj+h

(12.84)

h=1

gilt

∞ ∞ ∞
 √
√ 
 n γ(h) cos(hω) ≤ n · σe2 |bj bj+h | h=n

≤ σe2

∞


|bj |

j=0

denn

∞


j + h|bj+h | ≤

h=n

h=n j=0 ∞ √ ∞

σe2 |bj | k |bk | j=0 k=n

→ 0 , f¨ ur n → ∞ ,

∞ √

k |bk | < ∞ . Deshalb erhalten wir √ n(M (In , W ) − M (f, W )) √  % π n = W (ω) dω (γn (0) − γ(0)) · 2π 0  % π n−1
(γn (h) − γ(h)) · W (ω) cos(hω)dω + o(1) +2 ·

k=1

h=1

=: Zn + o(1)

0

(12.85)

12.7 Das integrierte Periodogramm

265

Man definiere nun f¨ ur M < n  √  T Zn,M = n (γn (h) − γ(h) : h = 0, . . . , M (w0 , w1 , . . . , wM ) (12.86) mit % π 1 W (ω) dω und 2π 0 % 1 π W (ω) cos(hω) dω wh := π 0 w0 :=

(h ≥ 1) .

(12.87)

Mit Hilfe von Satz A.29 aus Anhang A.5 folgt die Behauptung aus den folgenden drei Aussagen D

2 Zn,M → N (0, τM ) f¨ ur n → ∞ ∀ M ,

2 → τ2 τM

f¨ ur M → ∞

(12.88) (12.89)

und lim lim sup P {|Zn − Zn,M | > ε} = 0 ∀ ε > 0 .

M →∞ n→∞

(12.90)

Zun¨achst ist die Aussage (12.88) unter Beachtung von Satz 10.15 klar, wenn 2 wie folgt definiert man τM 2 τM := (w0 , . . . , wM ) SM (w0 , . . . , wM ) . T

(12.91)

Es gilt (man beachte die Definition von SM aus Satz 10.15) 2 = (η − 3) · τM

M 


2 wh γ(h)

(12.92)

h=0

+

∞


M


& ' wh wk γ(r)γ(r + k − h) + γ(r + k)γ(r − h) .

r=−∞ h,k=0

(12.90) sieht man wie folgt ein. Unter Verwendung der Markov–Ungleichung ur gilt reicht die Betrachtung von E |Zn − Zn,M | aus. Hierf¨ E |Zn − Zn,M | ≤

n−1


√   n wh  E |γn (h) − γ(h)| .

h=M +1

Da 2 √ n E|γn (h) − γ(h)| ≤ n · E(γn (h) − γ(h))2

266

12 Sch¨ atzen im Spektralbereich

und die rechte Seite gleichm¨ aßig in h nach oben beschr¨ankt ist (vgl. Aufgabe 12.19), erhalten wir die gew¨ unschte Aussage (12.95) aus der absoluten Sumur die Summierbarkeitseigenschaft der wh verweisen wir mierbarkeit der wh . F¨ auf die dem Beweis folgende Bemerkung 12.23. Es bleibt (12.89) zu zeigen. Da sowohl wh als auch γ(h) absolut summierbar sind, folgt zun¨ achst aus (12.92) durch Grenz¨ ubergang M → ∞ ∞ 
2 2 τM → (η − 3) wh γ(h) (12.93) h=0 ∞


+

& ' wh wk γ(r)γ(r + k − h) + γ(r + k)γ(r − h) .

∞


r=−∞ h,k=0

Aufgrund der Darstellung (12.84) der Spektraldichte f aus der Inversionsformel gilt nun einerseits % π % π ∞ '
1 & W (ω)f (ω)dω = W (ω) γ(h) cos(hω) dω (12.94) γ(0) + 2 2π 0 0 h=1

∞


=

wh γ(h) .

h=0

∞ Andererseits erhalten wir wegen W (ω) = 2 · h=0 wh cos(hω) (man beachte hierf¨ ur ebenfalls die nachfolgende Bemerkung 12.23) % π 2π W 2 (ω)f 2 (ω)dω (12.95) 0

= 4·

∞


% wh wk

h,k=0

π

0

∞ 
 cos(hω) cos(kω) γ(r) cos(rω) f (ω) dω . r=−∞

Ein Additionstheorem f¨ ur trigonometrische Funktionen lautet cos(a) cos(b) cos(c) 1 = (cos(a + b − c) + cos(b + c − a) + cos(c + a − b) + cos(a + b + c)) . 4 #π Deshalb k¨ onnen wir (12.95) wegen γ(h) = 2 0 cos(hω)f (ω) dω, vgl. (3.17), wie folgt fortsetzen % π 2π W 2 (ω)f 2 (ω)dω (12.96) 0

=4

=

∞


wh wk

h,k=0 ∞


1 · 2

h,k=0

∞


% γ(r)

r=−∞

wh wk

π

cos(hω) cos(kω) cos(rω)f (ω) dω 0

∞ &
γ(r)γ(r + k − h) + γ(r)γ(k + h − r) r=−∞

' +γ(r)γ(h + r − k) + γ(r)γ(r + k + h)

12.7 Das integrierte Periodogramm

=

∞


wh wk

267

∞ & '
γ(r)γ(r + k − h) + γ(r)γ(r + k + h) r=−∞

h,k=0

(Ersetzung des Summationsindexes r durch r + k − h im dritten und r + k + h im zweiten Summanden) ∞ ∞ & '

= γ(r)γ(r + k − h) + γ(r + k)γ(r − h) wh wk r=−∞

h,k=0

(Summationsverschiebung im zweiten Summanden) . Durch Zusammenf¨ ugen von (12.93) - (12.96) erhalten wir mit τ 2 aus (12.83) also die Aussage (12.89) und damit die Behauptung.   Bemerkung 12.23 ur h ∈ N0 , vergleiche Die im Beweis von Satz 12.22 definierten Gr¨ oßen wh f¨ (12.87), sind nichts anderes als die Fourierkoeffizienten der Funktion W . W k¨onnen wir durch Spiegelung an der y–Achse (d.h. W (−ω) = W (ω) zun¨achst symmetrisch auf #[−π, π] ausdehnen und anschließend periodisch auf R fortπ setzen. Es gilt π1 −π W (ω) dω = 4w0 , % 1 π W (ω) cos(hω) dω = 2wh , h = 1, 2, . . . , (12.97) π −π sowie

#π

W (ω) sin(hω) dω = 0 (h = 1, 2, . . .) , aufgrund der Symmetrie von

−π

W . F¨ ur stetig differenzierbares W konvergiert die Fourier–Reihe ∞


2w0 + 2

wh cos(hω)

h=1

nach Heuser (1981), Satz 136.5, absolut und damit gleichm¨aßig gegen W . Also gelten 2·

∞


wh cos(hω) = W (ω) ,

ω ∈ [−π, π]

(12.98)

h=0

und ∞


|wh | < ∞

(12.99)

h=0

Beide Aussagen wurden im Beweis von Satz 12.22 verwendet.

 

An dieser Stelle wollen wir auf das integrierte Periodogramm als Spektraldichtesch¨ atzer zur¨ uckkommen, welches wir schon in Abschnitt 12.5 behandelt haben. Mit Hilfe von Satz 12.22 k¨ onnen wir die asymptotische Verteilung exakt angeben und damit die in Abschnitt 12.5 lediglich heuristisch hergeleiteten Ergebnisse untermauern.

268

12 Sch¨ atzen im Spektralbereich

Bemerkung 12.24 (Das integrierte Periodogr. als Spektraldichtesch¨atzer) F¨ ur   λ−ω 1 W (ω) = Kh (λ − ω) = K , (12.100) h h wobei K : [−π, π] → [0, ∞) eine stetig differenzierbare und symmetrische Wahrscheinlichkeitsdichte, h > 0 eine Bandweite und λ ∈ (0, π) eine feste Frequenz bezeichne, ist W eine (in Abh¨ angigkeit von h) mehr oder weniger stark um die gegebene Frequenz λ konzentrierte Funktion. Im Sinne von Beispiel 12.21 stellt % π Kh (λ − ω)In (ω) dω fn (λ) = 0

≈

N 2π
Kh (λ − ωj )In (ωj ) , ωj = 2πj/n , j = 0, . . . , N = [n/2] n j=0

also einen Spektraldichtesch¨ atzer dar. Dabei ist die Summe nichts anderes als eine Riemann–Approximation an das Integral mit den Fourier–Frequenzen utzstellen. F¨ ur eine feste Bandweite h kann die asymptoωj = 2πj/n als St¨ tische Verteilung von fn (λ) f¨ ur lineare Zeitreihen mit Hilfe von Satz 12.22 bestimmt werden. Mit (12.100) gilt √ n (M (In , W ) − M (In , f ))   % π √ D  = n fn (λ) − Kh (λ − ω)f (ω) dω → N (0, τh2 (λ)) , 0

mit τh2 (λ)

% = 2π 0

π

Kh2 (λ

%

2

− ω)f (ω) dω + (η − 3)

0

2

π

Kh (λ − ω)f (ω) dω

.

Obwohl wir den Fall h = h(n) → 0 f¨ ur n → ∞ hier nicht behandeln, wollen ur kleine Bandweiten h approwir im Folgenden den Varianzausdruck τh2 (λ) f¨ ximieren. Mit Hilfe der Substitutionsregel f¨ ur Integrale und entsprechenden Taylorentwicklungen erhalten wir f¨ ur zweimal stetig differenzierbare Spektraldichten f sowohl % 0

π

Kh2 (λ

2

%

− ω)f (ω) dω ≈

λ/h

(λ−π)/h

h−1 K 2 (u) f 2 (λ − hu) du   

≈ h−1 f 2 (λ) als auch

%

≈f 2 (λ)+O(h)

π −π

K 2 (u) du + O(1)

(12.101)

12.7 Das integrierte Periodogramm

% 0

% ≈

269

π

Kh (λ − ω)f (ω) dω λ/h

(λ−π)/h

%

h−1 K(u) f (λ − hu) du   

≈f (λ)−huf  (λ)+O(h2 )

π

K(u) du + O(h2 ) −π # man beachte uK(u) du = 0 wegen der Symmetrie von K ≈ f (λ) + O(h2 ) (K ist Wahrscheinlichkeitsdichte) . ≈ f (λ)

Die Approximationen mit den unterschiedlichen Abh¨angigkeiten von h f¨ ur die beiden Varianzanteile legen f¨ ur λ ∈ (0, π) die folgende Asymptotik  √  D nh fn (λ) − f (λ) → N (0, τ02 (λ)) (12.102) mit h = h(n) → 0, nh(n) → ∞ f¨ ur n → ∞ und % π 2 2 τ0 (λ) = 2πf (λ) K 2 (u) du . −π

nahe. ¨ Die Uberschlagsrechnungen sind im Einklang mit den heuristischen Varianzberechnungen f¨ ur das gegl¨ attete Periodogramm in Abschnitt 12.5. Vergleiche insbesondere mit (12.69).   Die Form der Varianz der asymptotischen Verteilung f¨ ur integrierte Periodo#π grammsch¨ atzer M (In , W ) in (12.83) wird vereinfacht, wenn 0 W (ω)f (ω) dω verschwindet. Insbesondere h¨ angt in #diesem Fall die resultierende asymptoπ tische Varianz von M (In , W ) mit 2π 0 W 2 (ω)f 2 (ω) dω nicht von dem vier4 ten Moment Ee1 der Innovationen der MA(∞)–Darstellung der Zeitreihe ab. Zu einer derartigen Situation gelangen wir, wenn wir wie in Janas/Dahlhaus (1986) vorgestellt, sogenannte Quotientenstatistiken #π R(IN , W ) =

0

W (ω)In (ω) dω #π 0

(12.103) In (ω) dω

betrachten. Im Spezialfall W (ω) = 2 cos(ωh) (vgl. Beispiel 12.21 (i)) f¨ uhrt die Quotientenstatistik (12.103) zu M (In , W )/M (In , 1) = γn (h)/γn (0) =: n (h). In den Teilen (ii) und (iii) des Beispiels 12.21 f¨ uhrt die Division durch das integrierte Periodogramm dazu, dass die Sch¨ atzer f¨ ur die Spektralverteilungsfunktion bzw. –dichte auf Wahrscheinlichkeitsverteilungsfunktionen bzw. –dichten auf [0, π] normiert werden. Wir erhalten f¨ ur Quotientenstatistiken das folgende Korollar zu Satz 12.22

270

12 Sch¨ atzen im Spektralbereich

Korollar 12.25 (Asymptotische Normalit¨ at f¨ ur Quotientenstatistiken) Unter den Voraussetzungen von Satz 12.22 gilt √ D n (R(In , W ) − R(f, W )) −→ N (0, τr2 ) (12.104) mit der asymptotischen Varianz #π τr2 ? (ω) = W (ω) wobei W

#π 0

0

= 2π

f (λ) dλ −

? 2 (ω)f (ω) dω W # π 4 , f (ω)dω 0

#π

(12.105)

W (λ)f (λ) dλ gesetzt werde.

0

Beweis: Es gilt  √  n R(In , W ) − R(f, W )  % π √ % π n W (ω)In (ω) dω · M (f, 1) − In (ω) dω · M (f, W ) = M (In , 1)M (f, 1) 0 0 √ % π& ' n = W (ω)M (f, 1) − M (f, W ) In (ω) dω . M (In , 1)M (f, 1) 0 # ? (ω)f (ω) dω = 0 . Also ? = W · M (f, 1) − M (f, W ) gilt M (f, W ?) = π W Mit W 0 folgt aus Satz 12.22   % π % π √ D ? (ω)In (ω) dω −→ ? 2 (ω)f 2 (ω) dω . W W n N 0, 2π 0

0

Speziell impliziert (12.82) nat¨ urlich die Konsistenz von M (In , W ), also auch M (In , 1) −→ M (f, 1) n.W. . Das Lemma von Slutsky (vgl. Bemerkung A.26 (ii)) ergibt nun die Behauptung.  

Aufgaben Aufgabe 12.1 Seien x1 , . . . , xn ∈ R. F¨ ur ein weißes Rauschen e = (et : t ∈ Z) mit et ∼ (0, n1 ) und bi := xi+1 , i = 0, . . . , n − 1, bilde man die ur ihre Zeitreihe Yt := b0 et + b1 et−1 + . . . + bn−1 et−n+1 , ∀ t ∈ Z , und zeige f¨ Autokovarianzfunktion γY (h) die Gleichheit


n−|h|

γY (h) =

xi xi+|h|

f¨ ur |h| ≤ n − 1

i=1

und γY (h) = 0 f¨ ur |h| ≥ n. Als Folgerung erh¨ alt man einen anderen Beweis f¨ ur die positive Semidefinitheit der Autokovarianzsch¨atzer γn und γn (zur Definition von γn und γn siehe (12.14) bzw. (12.15)).

Aufgaben

Aufgabe 12.2 Seien x1 , . . . , xn ∈ R. a) Man zeige durch direkte Rechnung, dass f¨ ur γn (k) := k = 0, . . . , n − 1, γn (−k) := γn (k), die Ungleichung fn (ω) :=

1 2π

n−1


1 n

n−k t=1

271

xt xt+k ,

e−ihω γn (h) ≥ 0

h=−(n−1)

gilt. b) Man leite aus a) die Beziehung % π fn (ω)dω = γn (0) < ∞ , −π

ab, sowie c)

%

π

ikω

e −π

< fn (ω) dω =

γn (k) , |k| < n , 0 , |k| ≥ n .

Nach dem Herglotz–Lemma ist also γn positiv semidefinit mit Spektraldichte ur die positive Semidefinitheit von γn fn . Dies liefert wiederum einen Beweis f¨ aus (12.14) und γn aus (12.15). Aufgabe 12.3 Seien X1 , . . . , Xn i.i.d. ∼ N (0, σ 2 ), mit n = 2m n + 1, m ∈ N. n 1/2 1/2 F¨ ur A(ω) := (2/n) t=1 Xt cos(ωt) und B(ω) := (2/n) t=1 Xt sin(ωt) zeige man mit ωk := 2πk/n (A(ω1 ), . . . , A(ωm ), B(ω1 ), . . . , B(ωm )) ∼ N (0, σ 2 E2m ), wobei Ek die k × k–Einheitsmatrix bezeichne. Aufgabe 12.4 Man beweise Lemma 12.5. Aufgabe 12.5 Man beweise die Beziehungen (12.31) und (12.32). Aufgabe 12.6 Man beweise Aussage (12.37). Aufgabe 12.7 Man zeige f¨ ur den zentrierten Autokovarianzsch¨atzer γn aus Gleichung (12.14) die Aussage
γn (h) = 0 . |h| % π n Z (n) (ω)eitω dω , xt = 2π −π

t = 1, . . . , n.

n−k ur γn (k) = n1 t=1 xt xt+k , Aufgabe 12.10 Seien x1 , . . . , xn ∈ R . Man zeige f¨ k = 0, . . . , n−1 , und In (ω) := |Z (n) (ω)|2 (siehe vorherige Aufgabe) die Gleichheit (r > 2n − 1; ω h := 2πh/r) γn (k) =

2π r

[r/2]




eiωh k In ( ωh ) , k = 0, . . . , n − 1 .

h=−[(r−1)/2]

Aufgabe 12.11 Seien X1 , . . . , Xn reelle Zufallsvariablen, n = 2m+1, m ∈ N. Mit den Bezeichnungen aus (12.3) zeige man m n 4π
1
In,X (ωk ) = (Xt − X n )2 , ωk := 2πk/n. n n t=1 k=1

Aufgabe 12.12 Sei X = (Xt : t ∈ Z) eine reelle, station¨are, zentrierte Zeitreihe mit Spektraldichte f . a) Man zeige f¨ ur das Periodogramm In die Gleichung % kn (x − ω)f (x) dx , ∀ ω ∈ [π, π] . EIn (ω) =

(12.106)

[−π,π]

Dabei bezeichnet kn den Fej´er–Kern kn (u) :=

sin2 (u · n/2) . 2πn sin2 (u/2)

(12.107)

Aufgaben

273

b) Man zeige % [−π,π]

kn (x − ω) dx = 1

∀ω ∈ R.

(12.108)

c) Sei g Lebesgue–integrabel auf [−π, π] und stetig im Punkt ω ∈ (−π, π] . Man zeige % g kn (· − ω) dλ → g(ω) f¨ ur n → ∞ . (12.109) [−π,π]

Aufgabe 12.13 F¨ ur eine reelle, zentrierte, station¨are Zeitreihe X = (Xt : t ∈ Z) mit Spektraldichte f zeige man f¨ ur das zentrierte Periodogramm (vgl. (12.3)) EIn,X (ω) =

1 2πn

% [−π,π]


0 mit V ar γn (h) ≤

c , n

∀ n, h ,

(12.112)

sowie M = M (n) → ∞ und M (n)2 /n → 0 f¨ ur n → ∞ .

(12.113)

b) Man zeige, dass dann auch f¨ ur γn mit einer (12.110) entsprechenden Definition gilt E fn (ω) → f (ω) ,

∀ ω ∈ [−π, π] ,

(12.114)

und fn (ω) → f (ω) ,

n.W.

∀ ω ∈ [−π, π] .

(12.115)

Aufgabe 12.17 Sei f : [−1, 1] → R stetig. F¨ ur d ∈ / 2πZ zeige man   M k 1
f ur M → ∞ . eidk → 0 f¨ M M k=−M

Hinweis: F¨ ur Indikatorfunktionen f = 1(a,b] ergibt sich die Aussage aus (A.6). Sie gilt damit f¨ ur primitive Funktionen. Schließlich approximiere man eine stetige Funktion f gleichm¨ aßig durch primitive Funktionen. Aufgabe 12.18 Seien et , t = 1, . . . , n, stochastisch unabh¨angige reelle Zuur fallsvariable mit et ∼ (0, σe2 ) und Ee4t =: ησe4 < ∞ ∀ t. Man zeige f¨ 0≤ω≤π n 4 
  et eiωt  ≤ n(η − 3)σe4 + n2 3σe4 . E t=1

Aufgabe 12.19 Man zeige, dass f¨ ur lineare Zeitreihen X = (Xt : t ∈ Z) mit ur das E e41 < ∞ erf¨ ullt ist, eine i.i.d. weißem Rauschen e = (et : t ∈ Z) f¨ Konstante C > 0 existiert, so dass f¨ ur alle n, h gilt 2

n · E (γn (h) − γ(h)) ≤ C .

Aufgaben

275

Aufgabe 12.20 (Whittle–Sch¨ atzer) fARM A (ω; a, b, ) bezeichne die parametrische Form der Spektraldichte einer uhrt eine Minimierung des InARMA–Zeitreihe. Mit dem Periodogramm In f¨ tegrals % π In (ω) dω −π fARM A (ω; a, b) in den Parametern a und b zum sogenannten Whittle–Sch¨ atzer. Man zeige, dass f¨ ur den Fall einer reinen AR–Zeitreihe dieses Vorgehen, n¨amlich eine Minimierung von % π I (ω) p n dω , −ijω |−2 |1 + −π j=1 aj e exakt zu den Yule–Walker–Parametersch¨atzern f¨ uhrt.

13 Modellierung mit ARMA-Zeitreihen

Bisher haben wir uns im Rahmen der Parametersch¨atzung von ARMA– Zeitreihen auf den Standpunkt gestellt, dass die zugeh¨origen Ordnungen p und q bekannt sind. Dar¨ uberhinaus haben wir unterstellt, dass die zur Verf¨ ugung achlich von einem ARMA(p, q)–Modell gestehenden Daten X1 , . . . , Xn tats¨ neriert wurden. Beide Annahmen sind nat¨ urlich f¨ ur die tats¨achliche Anwendung unrealistisch. Grunds¨ atzlich sollte man sich bei statistischen Test– und Sch¨atzverfahren immer fragen, wie sich die unter einer gewissen Modellvorstellung entwickelten Methoden verhalten, wenn das unterstellte Modell nicht vorliegt. Einen gewissen Schritt in diese Richtung haben wir mit Satz 11.3 getan, in dem wir das asymptotische Verhalten des unter der Annahme einer AR(p)–Zeitreihe abgeleiteten Yule–Walker–Parametersch¨atzers in der Modellklasse der MA(∞)–Zeitreihen abgeleitet haben. Eine weitergehende Untersuchung in dieser Richtung soll im Rahmen dieser Einf¨ uhrung allerdings unterbleiben. Vielmehr wollen wir uns in diesem Kapitel mit der Frage auseinander setzen, wie wir auf der Basis realer Daten ein ad¨ aquates ARMA–Modell ausw¨ahlen k¨onnen. Erste Schritte bei der Untersuchung von Zeitreihendaten sind sicherlich eine visuelle Betrachtung und die etwaige Bereinigung von Saison– und/oder Trendkomponenten. Hierf¨ ur haben wir in Kapitel 1 einige Methoden vorgestellt. Durch derartige Saison– und/oder Trendbereinigungen soll erreicht werden, dass wir zumindest approximativ von station¨ar erzeugten Daten ausgehen k¨ onnen, wenn wir damit beginnen ARMA–Modelle anzupassen. In Beispiel 6.7 haben wir dar¨ uberhinaus die Differenzenbildung (als einen speziellen Filter) f¨ ur Zeitreihen kennen gelernt. Wie dort ausgef¨ uhrt, versucht man mit dieser Differenzenbildung ebenfalls nichtstation¨are Reihen in station¨are zu u uhren. Verbunden mit der ARMA–Modellklasse f¨ uhrt die Diffe¨berf¨ renzenbildung zu sogenannten ARIMA–Zeitreihen, die wir in Abschnitt 13.1 vorstellen werden. Danach gehen wir im Abschnitt 13.2 auf verschiedene Methoden zur Wahl ad¨ aquater Ordnungen p und q von ARMA–Zeitreihen ein.

278

13 Modellierung mit ARMA-Zeitreihen

Neben eher graphischen und teilweise auch heuristischen Methoden stehen sogenannte Ordnungswahlverfahren im Vordergrund. Zu nennen sind hier die auf Akaike zur¨ uckgehenden Methoden des Final Prediction Errors (FPE) und das Akaike Information Criterion (AIC).

10.0

5.0

0.0

−5.0

−10.0 0

50

100

150

200

250

300

Abb. 13.1 Simulation einer ARIMA(2, 1, 0)–Zeitreihe (vgl. Beispiel 13.2)

13.1 ARIMA–Zeitreihen Eine in der Praxis g¨ angige Klasse zur Modellierung auch nichtstation¨arer Zeitreihen stellen die im Folgenden definierten ARIMA (autoregressive integrated moving average)–Zeitreihen dar. Definition 13.1 (ARIMA(p, d, q)–Zeitreihe) F¨ ur gegebene p, d, q ∈ N0 heißt (Yt : t ∈ Z) ARIMA(p, d, q)–Zeitreihe, falls are ARMA(p, q)–Zeitreihe Xt := (1 − L)d Yt , t ∈ Z, eine kausale und station¨ darstellt. L ist dabei der Lag–Operator. Zur Verdeutlichung der Definition betrachten wir das folgende Beispiel. Beispiel 13.2 (ARIMA(p, 1, q)–Zeitreihe) Ausgehend von einer station¨ aren und kausalen ARMA(p, q)–Zeitreihe (Xt ) erf¨ ullt die ARIMA(p, 1, q)–Zeitreihe (Yt ) die Beziehung Xt = (1 − L)Yt = Yt − Yt−1 ,

t ∈ Z.

13.2 Ordnungswahl in ARMA–Zeitreihen

279

Durch rekursives Einsetzen erhalten wir Yt = Yt−1 + Xt = Y0 +

t


Xk .

(13.1)

k=1

In Abbildung 13.1 ist f¨ ur den Spezialfall p = 2, q = 0 sowie a1 = 0, a2 = 0.8 und Y0 = 0 eine Realisierung einer ARIMA(2, 1, 0)–Zeitreihe der L¨ange n = 300 zu sehen. Deutlich zu erkennen ist das nichtstation¨are Verhalten.   Unter Verwendung der Darstellung einer ARMA(p, q)–Zeitreihe Xt in Kompaktform (vgl. Bemerkung 7.3) A(L)Xt = B(L)et (13.2) p q mit A(L) = j=0 aj Lj sowie B(L) = j=0 bj Lj , ergibt sich ganz entsprechend f¨ ur ARIMA(p, d, q)–Zeitreihen (Yt ) die Darstellung A(L)(1 − L)d Yt = B(L)et ,

t ∈ Z.

(13.3)

Dies ist die kompakte Darstellung einer ARMA(p+d, q)–Gleichung, wobei das autoregressive Polynom A(z)(1 − z)d eine d–fache Nullstelle in z = 1 besitzt. Bereits aus Beispiel 6.7 ist bekannt, dass die Anwendung des Operators (1 − L)d auf ein Polynom (d − 1)–ten Grades mit zuf¨alligen oder konstanten Koeffizienten stets die Nullfunktion liefert. D.h. aber, dass wir zu einer ARIMA(p, d, q)–Zeitreihe (Yt ) stets ein solches Polynom (d − 1)–ten Grades addieren k¨ onnen, ohne den nach d–facher Differenzenbildung entstehenden ARMA(p, q)–Prozeß zu ver¨ andern. Damit ist klar, dass die in Definition 13.1 eingef¨ uhrten ARIMA–Zeitreihen keineswegs eindeutig bestimmt sind. Diese Tatsache tritt in (13.1) durch die vollst¨ andige Freiheit bei der Wahl von Y0 zu Tage. Wir schließen die kurze Einf¨ uhrung in die Klasse der ARIMA–Zeitreihen ab und wenden uns im n¨ achsten Abschnitt dem Problem der Ordnungswahl in ARMA–Zeitreihen zu.

13.2 Ordnungswahl in ARMA–Zeitreihen Zun¨achst wollen wir einige visuelle M¨ oglichkeiten zur Wahl geeigneter Ordnungen in speziellen ARMA–Modellen vorstellen. Aus Beispiel 2.6 wissen wir, dass die Autokovarianz– und damit auch die Autokorrelationsfunktion f¨ ur eine MA(q)–Zeitreihe f¨ ur Lags h > q gleich Null ist. Diese Tatsache erm¨oglicht es uns, anhand der empirischen Autokorrelationsfunktion (h) Informationen u ¨ber die Ordnungen q einer zugrunde liegenden moving average Zeitreihe zu gewinnen.

280

13 Modellierung mit ARMA-Zeitreihen

1.0 0.8 0.6 0.4 0.2 0.0 −0.2 0 2 4 6 8 10 12 14 16 18 20 22 24 26 28 30 32 34 36 38 40

Abb. 13.2 Empirisches Korrelogramm einer MA(7)–Zeitreihe gem¨ aß Bei√ spiel 13.3 mit L¨ ange n = 300 und Konfidenzschranken ±1.96 n

Beispiel 13.3 (Visuelle Ordnungswahl bei MA–Zeitreihen) In Abbildung 13.2 ist f¨ ur eine MA(7)–Zeitreihe mit b1 = . . . = b7 = 1 und σe2 = 1 aufgrund von n = 300 simulierten Beobachtungen ein empirisches Korrelogramm gegeben. Mit Hilfe von√10.100) ergibt sich die Varianz der ur h > 7 zu 43/8. Wir erasymptotischen Normalverteilung von n · (h) f¨ warten also f¨ ur gr¨ oßere Stichprobenumf¨ ange im besagten MA(7)–Modell, dass (h) f¨ ur h > 7 mit approximativer Wahrscheinlichkeit von 95% im Konfidenzintervall ±1.96· 43/(8n) liegt (beachte z0.975 = 1.96). Hieraus leitet man ab, dass als Sch¨ atzer f¨ ur die Ordnung q der MA–Zeitreihe (unter der Annahme, dass u ¨berhaupt eine moving average Zeitreihe zugrunde liegt) das gr¨oßte Lag h zu verwenden ist, f¨ ur das (h) nicht im oben genannten asymptotischen 95%–Konfidenzintervall liegt. Da die f¨ ur die Bestimmung des Konfidenzintervalls ben¨ otigten Autokorrelationen aber in aller Regel nicht bekannt sind, verwendet achlichen Anwendung h¨aufig das k¨ urzere Intervall √ man in der tats¨ uhren, dass nach ±1.96/ n. Dieses engere Intervall wird in der Regel dazu f¨ dem gerade beschriebenen Vorgehen tendenziell eine gr¨oßere Modellordnung gew¨ahlt wird. Falls die zugrunde liegende Zeitreihe ein unabh¨angiges weißes Rauschen darstellt, so sind die engeren Konfidenzschranken asymptotisch exakt. In Abbildung 13.2 sind diese sch¨ arfere Konfidenzschranken eingezeichnet. Man w¨ urde auf die beschriebene Weise f¨ ur die der Abbildung 13.2 zugrunde liegen-

13.2 Ordnungswahl in ARMA–Zeitreihen

den Daten vermutlich den Ordnungssch¨ atzer q = 6 w¨ahlen.

281

 

Bei autoregressiven Zeitreihen k¨ onnen wir ¨ ahnlich vorgehen, wobei statt der Autokorrelation die partielle Autokorrelation zu verwenden ist. Beispiel 13.4 (Visuelle Ordnungswahl bei AR–Zeitreihen) ur die zugeh¨orige partielle (Xt ) sei eine kausale AR(p)–Zeitreihe. Dann gilt f¨ Autokorrelationsfunktion π gem¨ aß Aufgabe 7.7 π(h) = 0 f¨ ur h > p. Ebenso wie im Beispiel 13.3 f¨ ur moving average Zeitreihen k¨onnen wir nun anhand der empirischen partiellen Autokorrelationsfunktion π (h) (vgl. (2.40)) einen Sch¨atzer f¨ ur die Ordnung der angenommenen AR–Zeitreihe √ ableiten. Satz 11.4 (h) f¨ ur h > p eine und die anschließende Bemerkung 11.6 besagen, dass n π asymptotische Standardnormalverteilung besitzt. Deshalb ist es gerechtfertigt, p als gr¨ oßtes Lag h zu w¨ ahlen, f¨ ur welches π (h) nicht im asymptotischen √ ur n = 200 simulierte Werte der AR(2)– Konfidenzintervall ±1.96/ n liegt. F¨ aß Xt + 0.8Xt−2 = et , t ∈ Z, f¨ uhrt dieses Vorgehen zur Zeitreihe (Xt ) gem¨ Ordnungswahl p = 2 (vgl. Abbildung 13.3).  

1.0 0.8 0.6 0.4 0.2 0.0 −0.2 −0.4 −0.6 −0.8 −1.0 0 2 4 6 8 10 12 14 16 18 20 22 24 26 28 30 32 34 36 38 40

Abb. 13.3 Empirisches partielles Autokorrelogramm einer simulierten AR(2)–Zeitreihe der L¨ ange n = 200 gem¨ aß Beispiel 13.4 mit den asymptoti√ schen 95%–Konfidenzschranken ±1.96/ n

F¨ ur allgemeine ARMA(p, q)–Zeitreihen ist die Situation komplizierter. Hier wissen wir aufgrund von Bemerkung 8.1 nur, dass die Autokorrelation f¨ ur

282

13 Modellierung mit ARMA-Zeitreihen

wachsendes Lag h geometrisch abklingt. Auf dieser Basis ist mit Hilfe der jeweiligen empirischen Gr¨ oßen kaum eine ad¨ aquate Ordnungswahl m¨oglich. Einen ganz anderen Ansatz f¨ ur die Wahl ad¨ aquater Modellordnungen erlaubt die Betrachtung der Spektraldichte f einer kausalen ARMA(p, q)–Zeitreihe (Xt ) mit Xt + a1 Xt−1 + . . . + ap Xt−p = et + b1 et−1 + . . . + bq et−q , t ∈ Z . (13.4) Die zugeh¨ orige Spektraldichte f besitzt gem¨ aß (7.15) die Darstellung f (ω) = =

σe2 |1 + b1 e−iω + · · · + bq e−iqω |2 2π |1 + a1 e−iω + · · · + ap e−ipω |2 σe2 |B(e−iω )|2 , 2π |A(e−iω )|2

(13.5)

ω ∈ [−π, π] .

Da wir uns in diesem Abschnitt auf reelle Zeitreihen beschr¨anken ist f symmetrisch um Null und wir betrachten f somit lediglich auf [0, π]. Im Falle der Invertibilit¨ at transfomiert eine Anwendung des Filters A(e−iω )/B(e−iω ) auf die ARMA– Zeitreihe diese bekanntlich in das zugeh¨orige weiße Rauschen mit konstanter Spektraldichte. Durch Ausprobieren k¨ onnen wir nun f¨ ur eine Reihe von Ordnungen p und q  die Koeffizienten der zugeh¨ origen ARMA(p, q)–Modelle sch¨atzen und – solange die gesch¨ atzten Modelle invertibel sind – die Filter 

ap (p )e−ip ω 1+ a1 (p )e−iω + · · · +  1 + b1 (q  )e−iω + · · · + b1 (q  )e−iq ω

(13.6)

auf unsere Daten anwenden. Auf die gefilterte Zeitreihe et (p , q  ) , t = 1 + max(p , q  ), . . . , n , (die sog. Residuen) wenden wir dann einen konsistenten Spektraldichtesch¨atzer gem¨aß Kapitel 12 an und w¨ ahlen schlussendlich diejenigen Ordnungen p und q, f¨ ur die der Spektraldichtesch¨ atzer der zugeh¨ origen Residuen die visuell beste Approximation an eine gew¨ unschte konstante Funktion auf [0, π] liefert. Grunds¨ atzlich spricht f¨ ur ein solches Vorgehen, dass beliebige stetige Spektraldichten auf [0, π] sowohl durch Spektraldichten eines kausalen AR–Modells als auch eines invertiblen MA–Modells (und somit auch eines kausalen und invertiblen ARMA–Modells) beliebig genau approximiert werden k¨onnen (vgl. Abschnitt 9.2). Deshalb k¨ onnen wir selbst bei Daten, die nicht von einem ARMA–Modell generiert wurden, auf die beschriebene Art und Weise vorgehen, solange nur eine stetige Spektraldichte existiert. Vergleiche hierzu auch ¨ die Uberlegungen in Abschnitt 12.1 u ¨ber die parametrische Spektraldichtesch¨atzung mittels Anpassung von ARMA–Modellen.

13.2 Ordnungswahl in ARMA–Zeitreihen

283

Im Folgenden wollen wir uns eher quantitativen Methoden der Ordnungswahl zuwenden. Wir beginnen erneut mit den einfacher zug¨anglichen autoregressiven Zeitreihen. Auf Akaike (1969) geht die folgende, Final Prediction Error (FPE) genannte, Methode zur¨ uck. Ausgehend von Beobachur verschiedene tungen X1 , . . . , Xn einer AR(p0 )–Zeitreihe bestimmen wir f¨ p ∈ {1, . . . , P } (wobei P typischerweise mit n w¨achst) Parametersch¨atzer ap (p) , p = 1, . . . , P , f¨ ur jeweils entsprechende AR(p)–Modelle. Dies  a1 (p), . . . ,  k¨ onnte etwa u ¨ber die Yule–Walker–Methode (vgl. (11.3)) oder u ¨ber die LS– Methode (vgl. (11.24), (11.25) und (11.12)) geschehen. Die Yule–Walker– Methode hat den Vorteil, dass sie uns stets auf kausale gesch¨atzte autoregressive Modelle f¨ uhrt. W¨ urden wir p nun derart w¨ ahlen, dass σ e2 (p)

p n 2
1
 :=  aj (p)Xt−j Xt + n t=p+1 j=1

(13.7)

minimal wird, so w¨ urde das Ergebnis in aller Regel p = P lauten, da eine h¨ohere Modellordnung grunds¨ atzlich eine bessere Approximation erlaubt. W¨ahlt man f¨ ur jedes feste p die Sch¨ atzer  aj (p), j = 1, . . . , p , gerade so, dass die rechte Seite von (13.7) minimal wird (LS–Methode), so ist die G¨ ultigkeit der Aussage p = P offensichtlich. Akaike (1969) hat nun vorgeschlagen, gedanklich eine identische aber unabh¨ angige Kopie (Yt ) des zugrunde liegenden AR(p0 )–Modells anzunehmen. Eine optimale Ordnung im Sinne des final prediction error (FPE) ist dann als Minimalstelle (bzgl. p ) von p  2
 aj (p)Yt−p EY Yt +

(13.8)

j=1

erkl¨art. Dabei bedeutet EY (·) eine Erwartungsbildung bez¨ uglich (Yt ) bei festgehaltenen X1 , . . . , Xn (also eine bedingte Erwartungswertbildung). Der Unterschied zu (13.7) ist, dass in (13.8) eine unabh¨angige Kopie (Yt ) der Ausgangszeitreihe m¨ oglichst gut mittels des gesch¨ atzten AR(p)–Modells prognostiziert werden soll und nicht die zugrunde liegende Zeitreihe, die zur Parametersch¨ atzung verwendet wurde, selbst. Dadurch wird ein overfitting“ an ” den einen vorliegenden Datensatz durch eine zu große Modellordnung vermieden und ein Ausgleich zwischen der Komplexit¨at des Modells (eine h¨ohere Ordnung liefert theoretisch immer bessere Anpassung) und des stochastischen Fehlers bei der Parametersch¨ atzung (der nat¨ urlich mit wachsender Ordnung immer gr¨ oßer wird) geschaffen. Zun¨achst k¨ onnen wir (13.8) unter Verwendung von a(p) = (a1 (p), . . . , ap (p))T aus Lemma 11.13 wie folgt vereinfachen

284

13 Modellierung mit ARMA-Zeitreihen p  2
EY Yt +  aj (p)Yt−j

 = EY Yt +

j=1 p


aj (p)Yt−j +

j=1

p


( aj (p) − aj (p))Yt−j

2

j=1

p  2
= EY Yt + aj (p)Yt−j j=1



+( a(p) − a(p))

T

EYt−j Yt−k j, k = 1, . . . , p

 ( a(p) − a(p)) ,

(13.9)

(p) = ( mit a a1 (p), . . . ,  ap (p))T . Die Begr¨ undung f¨ ur das letzte Gleichheitszeichen, also das Verschwinden der gemischten Terme, liegt in der Definition der amlich f¨ ur h = 1, . . . , p (vgl. Lemma 11.13) aj (p), j = 1, . . . , p. Es gilt n¨  EY

Yt +

p


  aj (p)Yt−j Yt−h

j=1

= γ(h) +

p


aj (p)γ(h − j) = 0 .

j=1

Beide in (13.9) auftretenden Ausdr¨ ucke m¨ ussen aus den vorliegenden Beobachtungen X1 , . . . , Xn gesch¨ atzt werden. Den Ausdruck p p  2 2 

σ 2 (p) := EY Yt + aj (p)Yt−j = E Xt + aj (p)Xt−j j=1

j=1

wird man zun¨ achst durch eine Stichprobenversion, also etwa durch σ 2 (p) :=

p n 2
1
 Xt + aj (p)Xt−j n t=p+1 j=1

zu approximieren versuchen. Der Versuch, die aj (p) durch entsprechende Sch¨atzer  aj (p), j = 1, . . . , p, zu ersetzen, die sich durch Minimierung von (13.7) ergeben (LS–Sch¨ atzer), f¨ uhrt dann zu der folgenden Rechnung σ 2 (p) = =

p p n 2

1
  aj (p)Xt−j − ( aj (p) − aj (p))Xt−j Xt + n t=p+1 j=1 j=1 p n 2
1
 Xt +  aj (p)Xt−j n t=p+1 j=1    =σe2 (p)

+( a(p) − a(p))T



1 n

n

Xt−j Xt−k  ( a(p) − a(p)) , j, k = 1, . . . , p t=p+1

(13.10)

13.2 Ordnungswahl in ARMA–Zeitreihen

285

denn wieder fallen die gemischten Terme weg, da wir die  aj (p) , j = 1, . . . , p , gerade als Minimalstellen von σ e2 (p) definiert haben und diese erf¨ ullen f¨ ur k = 1, . . . , p  n 

Xt +

t=p+1

⇐⇒

n 

p


  aj (p)Xt−j Xt−k = 0

(13.11)

j=1

Xt Xt−k +

n 


t=p+1

 (p) = 0 . Xt−j Xt−k : j = 1, . . . , p a

t=p+1

Nun ist aber der zweite Summand in (13.10) nichts anderes als eine Art

3.0 2.0 1.0 0.0 −1.0 −2.0 −3.0 −4.0 −5.0 0.0

0.5

1.0

1.5

2.0

2.5

3.0

Abb. 13.4 Tats¨ achliche logarithmierte Spektraldichte des ARMA(2, 2)– Modells (13.13) (gestrichelt) und die logarithmierte Spektraldichte eines auf Basis eines simulierten Datensatzes der L¨ ange n = 400 angepassten AR(4)– Modells (vgl. Beipiel 13.5)

Stichprobenversion des zweiten Summanden in (13.9), den wir ja auch noch zu sch¨ atzen haben. Hierzu gehen wir lediglich heuristisch vor. Falls das zugrunde liegende Modell tats¨ achlich eine AR(p)–Zeitreihe mit Parametern gilt a(p) = (a1 , . . . , ap )T und wir wissen aufgrund von a1 , . . . , ap ist, so √ a(p) − a(p)) asymptotisch N (0, σe2 Γ (p)−1 )–verteilt ist. Satz 11.4 das n( √ 1/2 nΓ (p) ( a(p) − a(p))/σe besitzt folglich eine asymptotische p–variate Standardnormalverteilung. Bezeichnet nun Z eine Zufallsvariable mit p–variater Standardnormalverteilung, so approximieren wir den in Frage stehenden Ausdruck (vgl. (13.9))

286

13 Modellierung mit ARMA-Zeitreihen

) )2 ) ) ( a(p) − a(p))T Γ (p)( a(p) − a(p)) = )Γ (p)1/2 ( a(p) − a(p))) und die zugeh¨ orige Stichprobenversion aus (13.10) jeweils durch σe2 σ2 E Z 2 = e EZ T Z . n n Wegen EZ T Z = p und mit Ersetzung von σe2 durch σ e2 (p) gelangen wir schließlich auf die folgende berechenbare Approximation von (13.8)   2p σ e2 (p) 1 + =: FPE(p) . (13.12) n Eine Minimierung von FPE(p) in p f¨ uhrt auf die Ordnungswahl gem¨aß der Methode des Final Prediction Error. Nat¨ urlich k¨ onnen wir das FPE–Kriterium zur Auswahl eines geeigneten AR(p)–Modells auch anwenden, wenn die zugrunde liegende Zeitreihe nicht selbst von autoregressiver Gestalt ist. F¨ ur die Klasse der AR(∞)–Zeitreihen, zu der alle invertiblen ARMA–Prozesse geh¨ oren, hat Shibata (1980) eine gewisse Optimalit¨ at des FPE–Kriteriums nachgewiesen. In der AR(∞)– Situation ist es so, dass mit wachsendem Stichprobenumfang immer gr¨oßere Modellordnungen ausgew¨ ahlt werden. Theoretisch beschreiben nat¨ urlich gr¨oßere Modellordnungen das zugrunde liegende AR(∞)–Modell besser. Dem entgegen steht allerdings die Tatsache, dass die Sch¨ atzung einer großen Zahl von Parametern eine wachsende stochastische Fluktuation bedeutet. Durch den sogenannten Penalty–Term 1 + 2p/n in (13.12) versucht das FPE–Kriterium hier einen Ausgleich zwischen diesen beiden konkurrierenden Anforderungen zu erreichen. Selbst wenn der zugrunde liegende Prozess eine autoregressive Zeitreihe mit endlicher Ordnung p0 ist, ist es nicht zwingend, dass auch f¨ ur jeden Datensatz genau die tats¨ achliche Modellordnung gew¨ahlt wird. Wir werden dies in Beispiel 13.6 f¨ ur ein modifiziertes Ordnunsgwahlkriterium noch n¨aher betrachten. Beispiel 13.5 (Ordnungswahl gem¨ aß FPE ) In diesem Beispiel wenden wir die FPE–Methodik an, um an einen simulierten Datensatz der L¨ ange n = 400 ein autoregressives Zeitreihenmodell anzupassen. Die Daten entstammen einer autoregressiven Zeitreihe unendlicher Ordnung, gegeben durch das folgende invertible ARMA(2, 2)–Schema Xt + 0.8Xt−2 = et + 0.71et−1 + 0.25et−2 , t ∈ Z.

(13.13)

In Tabelle 13.1 haben wir f¨ ur verschiedene Ordnungen p sowohl die Ausdr¨ ucke σ e2 (p) (vgl. (13.7)) als auch FPE(p) (vgl. (13.12)) berechnet. Man erkennt, allt, FPE(p) dagegen ein Minimum in pFPE = 4 dass σ e2 (p) in der Tat in p f¨ aufweist. Nach der Methode des Final Prediction Error w¨ urden wir also ein AR(4)–Modell zur Beschreibung der Daten ausw¨ ahlen. Die zugeh¨origen Para-

13.2 Ordnungswahl in ARMA–Zeitreihen

287

Tabelle 13.1 Simulierte Werte von σe2 (p) und FPE(p) f¨ ur einen Datensatz der L¨ ange n = 400 des ARMA(2, 2)–Modells aus Beispiel 13.5 p

1

2

3

4

5

6

σe2 (p)

3.864

1.227

0.959

0.941

0.941

0.940

FPE(p)

3.883

1.239

0.974

0.960

0.964

0.968

metersch¨ atzer  aj (p), j = 1, . . . , p , p = 1, . . . , 6 , (vgl. (13.11)) sind in Tabelle 13.2 angegeben. Um die G¨ ute der Anpassung beurteilen zu k¨ onnen, vergleichen wir in Abbildung 13.4 die Spektraldichte der Ausgangszeitreihe (13.13) mit derjenigen des gesch¨ atzten AR(4)–Modells (mit Parametern gem¨aß Tabelle 13.2). Man erkennt, dass das AR(4)–Modell den zugrunde liegenden ARMA(2, 2)–Prozess in diesem Sinne recht gut beschreibt.   Tabelle 13.2 Gesch¨ atzte Parameter f¨ ur verschiedene AR–Modelle, die an einen simulierten Datensatz der L¨ ange n = 400 des ARMA(2, 2)–Prozesses aus Beispiel 13.5 angepasst wurden p

aj (p), j = 1, . . . , p

1

−0.118

2

−0.214

+0.822

3

−0.581

+0.918

−0.446

4

−0.638

+1.034

−0.520

+0.127

5

−0.640

−1.044

−0.540

+0.139

−0.019

6

−0.640

−1.039

−0.520

+0.100

+0.005

−0.038

Ein sehr verbreitetes weiteres Modellwahlkriterium ist das sogenannte Akaike Information Criterion (AIC), vergleiche Akaike (1973) und Akaike (1974). Das AIC l¨ aßt sich unabh¨ angig vom Zeitreihenkontext formulieren und basiert auf einer empirischen Minimierung der Kullback–Leibler–Information. Bevor wir kurz auf eine wiederum nur heuristische Ableitung des AIC eingehen, soll das resultierende Kriterium f¨ ur ARMA–Modelle genannt werden. Dazu bezeichne Ln (a, b, σe2 ) die Likelihood–Funktion auf Basis von Beobachtungen X1 , . . . , Xn einer kausalen und normalverteilten ARMA(p, q)–Zeitreihe mit Parametern a = (a1 , . . . , ap )T und b = (b1 , . . . , bq )T sowie Varianz σe2 des weißen Rauschens (vgl. (11.71)).  und σ ,b Mit den Maximum–Likelihood–Sch¨ atzern a 2 (vgl. mit Abschnitt e

288

13 Modellierung mit ARMA-Zeitreihen

11.4) lautet das AIC–Kriterium AIC(p, q) = −

2 p+q+1  σ ln Ln ( . a, b, e2 ) + 2 n n

(13.14)

Tabelle 13.3 Simulierte Werte von AIC(p, 0) f¨ ur verschiedene an einen Datensatz der L¨ ange n = 400 des ARMA(2, 2)–Modells aus Beispiel 13.5 angepasste AR(p)–Modelle p

1

2

3

4

5

6

7

AIC(p,0)

4.199

3.063

2.824

2.810

2.814

2.818

2.815

Tabelle 13.4 Simulierte Werte von AIC(p, q) f¨ ur verschiedene an einen Datensatz der L¨ ange n = 400 des ARMA(2, 2)–Modells aus Beispiel 13.5 angepasste ARMA(p, q)–Modelle (p,q)

(1, 1)

(2, 1)

(1, 2)

(2, 2)

(3, 2)

(2, 3)

(3, 3)

AIC(p,q)

3.851

2.853

3.552

2.809

2.821

2.818

2.818

Zur Anpassung eines ARMA–Modells an die Daten X1 , . . . , Xn werden nun die Ordnungen p und q gew¨ ahlt, die den Ausdruck AIC(p, q) minimieren. F¨ ur die gleichen Daten wie im Beispiel 13.5 sind in Tabelle 13.3 zun¨achst die Werte AIC(p, 0) f¨ ur verschiedene p gegeben und in Tabelle 13.4 f¨ ur verschiedene p und q die Werte AIC(p, q). Man erkennt, dass zur Beschreibung der simulierten Daten des ARMA(2, 2)–Modells vom Umfang n = 400 laut Tabelle 13.3 (wie schon im Beispiel 13.5 auf Basis des FPE–Kriteriums) eine AR(4)– Zeitreihe gew¨ ahlt werden sollte, wenn man das AIC–Kriterium zugrunde legt. Minimiert man dagegen das AIC–Kriterium in der Klasse der ARMA(p, q)– Modelle, so zeigt Tabelle 13.4, dass dann die tats¨achlichen Modellordnungen p = q = 2 identifiziert werden. Die zum ARMA(2, 2)–Modell geh¨orenden Sch¨atzwerte der Parameter sind in Tabelle 13.5 wiedergegeben. Auch hier vergleichen wir die tats¨ achliche mit der u ¨ber das ARMA(2, 2)– Modell (d.h. mit Parametern gem¨ aß Tabelle 13.5) gesch¨atzten Spektraldichte (vgl. Abbildung 13.5). Eine entsprechende Grafik f¨ ur das gesch¨atzte AR(4)– Modell ist bereits in Abbildung 13.4 zu finden. Brockwell/Davis (1991) geben dar¨ uber hinaus ein auf Hurvich/Tsai (1989) uckgehendes korrigiertes AIC–Kriterium (das sog. AICC–Kriterium) an, zur¨ was sich durch einen ver¨ anderten Penalty–Term (d.h. durch die additive Konstante zur Likelihood–Funktion) von (13.14) unterscheidet. Es lautet

13.2 Ordnungswahl in ARMA–Zeitreihen

289

Tabelle 13.5 Gesch¨ atzte Parameter f¨ ur das ARMA(2, 2)–Modell aus Beispiel 13.5 aufgrund eines simulierten Datensatzes der L¨ ange n = 400 a1 (2)

a2 (2)

b1 (2)

b2 (2)

−0.07

+0.85

+0.61

+0.17

AICC(p, q) = −

2 p+q+1  σ ln Ln ( a, b, 2 ) + 2 n n−p−q−2

(13.15)

Der Penalty–Term 2(p + q + 1)/(n − p − q − 2) beim AICC, der zur Likelihood– Funktion addiert wird, ist gr¨ oßer als der entsprechende Term 2(p + q + 1)/n im AIC–Kriterium. Dies f¨ uhrt dazu, dass mit Hilfe des AICC tendenziell kleinere Modellordnungen gew¨ ahlt werden. Dies tr¨agt der Tatsache Rechnung, dass das AIC (wie u ¨brigens auch das FPE) typischerweise zu ei¨ ner Ubersch¨ atzung der tats¨ achlichen Modellordnungen f¨ uhrt (wenn es denn u achliche Modellordnung gibt). Wir wollen dies an einem ¨berhaupt eine tats¨ kleinen Simulationsbeispiel belegen.

3.0 2.0 1.0 0.0 −1.0 −2.0 −3.0 −4.0 −5.0 0.0

0.5

1.0

1.5

2.0

2.5

3.0

Abb. 13.5 Tats¨ achliche logarithmierte Spektraldichte des ARMA(2, 2)– Modells (13.13) (gestrichelt) und die logarithmierte Spektraldichte eines auf Basis eines simulierten Datensatzes der L¨ ange n = 400 gesch¨ atzten ARMA(2, 2)–Modells

290

13 Modellierung mit ARMA-Zeitreihen

Beispiel 13.6 (Ordnungswahl mit dem AIC-Kriterium) X1 , . . . , Xn seien Realisierungen der folgenden AR(4)–Zeitreihe Xt − 1.34Xt−1 + 1.88Xt−2 − 1.32Xt−3 + 0.80Xt−4 = et , t ∈ Z , mit standard normalverteiltem weißen Rauschen (et ). F¨ ur jeweils 100 simulierte Datens¨ atze der L¨ange n haben wir gem¨ aß AIC die gesch¨atzten Ordnungen bestimmt, um einen Eindruck von der Verteilung der Ordnungswahlsch¨atzer zu gewinnen. Tabelle 13.6 gibt die Resultate f¨ ur verschiedene Werte von ¨ n an. Sehr deutlich ist in Tabelle 13.6 die Tendenz zum Ubersch¨ atzen der tats¨achlichen Modellordnung p0 = 4 zu erkennen. Tabelle 13.6 Relative H¨ aufigkeiten der gem¨ aß AIC gew¨ ahlten Modellordnung eines an simulierte Beobachtungen der AR(4)–Zeitreihe aus Beispiel 13.6 der L¨ ange n = 50, 100, 200, 500 und 1000 angepassten autoregressiven Modells (jeweils 100 Monte–Carlo Wiederholungen) ≤2

3

4

5

6

≥7

n = 50

0

1

36

31

13

19

n = 100

0

0

41

38

8

13

n = 200

0

0

55

31

2

12

n = 500

0

0

78

11

3

8

n = 1000

0

0

88

6

2

4

Ordnung p

¨ Diese grunds¨ atzliche Tendenz zum Ubersch¨ atzen der tats¨achlichen Modellordnungen wird in abgeschw¨ achter Form allerdings auch vom AICC–Kriterium geteilt.   Akaike (1978) hat ein weiteres Ordnungwahlkriterium vorgeschlagen (das sogenannte BIC), dass sich vom AIC dahingehend unterscheidet, dass der additive Penalty–Term 2(p + q + 1)/n durch den mit n langsamer fallenden Ausdruck ln(n) · (p + q + 1)/n ersetzt wird. Hannan (1980) konnte f¨ ur tats¨achlich zugrunde liegende ARMA(p, q)–Zeitreihen zeigen, dass gem¨aß BIC gew¨ahlte Modellordnungen konsistente Sch¨ atzer f¨ ur p und q darstellen. Nun wollen wir die oben angek¨ undigte, allerdings nur heuristische Begr¨ undung f¨ ur das AIC nachreichen. Gehen wir dazu ganz allgemein von einer Klasse {f (·; ϑ)|ϑ ∈ Θ} von Wahrscheinlichkeitsdichten auf Rn aus, zu der die Veroren m¨oge. ϑ0 bezeichne den teilung des Datensatzes X = (X1 , . . . , Xn ) geh¨ tats¨achlichen Parameter der zugrunde liegenden Verteilung.

13.2 Ordnungswahl in ARMA–Zeitreihen

f (X; ϑ0 ) f (X; ϑ) = 2Eϑ0 ln f (X; ϑ0 ) − 2Eϑ0 ln f (X; ϑ)

I(ϑ0 , ϑ) = 2Eϑ0 ln

291

(13.16)

heißt Kullback–Leibler–Information von ϑ (in Bezug auf ϑ0 ). Mit Hilfe der Jensen–Ungleichung folgt wegen der Konvexit¨ at von − ln(x)   f (X; ϑ) I(ϑ0 , ϑ) = 2Eϑ0 − ln f (X; ϑ0 )   f (X; ϑ) ≥ −2 ln Eϑ0 f (X; ϑ0 ) % f (X; ϑ) f (X; ϑ0 )dµ(x) = −2 ln Rn f (X; ϑ0 ) ≥ −2 ln 1 = 0 . Dabei gilt I(ϑ0 , ϑ) = 0 genau dann, wenn f (·; ϑ) = f (·; ϑ0 ) Pϑ0 –fast sicher. I(ϑ0 , ϑ)/n wird als Maß f¨ ur die Approximationsg¨ ute der Dichte f (·; ϑ) an die zugrunde liegende Verteilung angesehen. Die Idee des AIC ist nun, einen geeigugung neten Sch¨ atzer f¨ ur I(ϑ0 , ϑ)/n zu konstruieren, der nur von den zur Verf¨ stehenden Daten abh¨ angt, und ϑ dann als Minimalstelle dieses Sch¨atzers zu w¨ahlen. Offensichtlich reicht es aufgrund von (13.16) das genannte Programm lediglich f¨ ur einen Sch¨ atzer von 2 − Eϑ0 ln f (X, ϑ) n durchzuf¨ uhren, da der verbleibende Ausdruck in (13.16) unabh¨angig von ϑ ist. Den Erwartungswert Eϑ0 ersetzt man durch das Stichprobenmittel (−2/n) ln f (X; ϑ), was f¨ ur unabh¨ angige Beobachtungen tats¨achlich die Form eines Mittels besitzt. Problematischer ist die Ersetzung von ϑ durch einen  da hierdurch typischerweise eine wesentliche Verf¨alschung (ein soSch¨atzer ϑ, genannter Bias–Term) in Kauf genommen werden muss. Akaike schl¨agt zur Korrektur dieses Bias–Terms den folgenden Ausdruck vor 2· (Anzahl der Parameter) / Stichprobenumfang und erh¨ alt so das in (13.14) angegebene AIC–Kriterium. Auf weiterf¨ uhrende Erl¨ auterungen soll im Rahmen dieser Einf¨ uhrung verzichtet werden. Es sei lediglich darauf hingewiesen, dass wir im Rahmen der heuristischen Herleitung des FPE–Kriteriums (vgl. (13.10)) und nachfolgende Ausf¨ uhrungen) einer sehr ¨ ahnlichen Problematik begegnet sind. Bevor wir diesen bewusst kurzen Einblick in die Welt der Modellwahl bei Zeitreihen beenden, soll noch darauf hingewiesen werden, dass (mit welcher Methode auch immer) gew¨ ahlte Zeitreihenmodelle anhand der zugrunde liegenden Daten validiert werden sollten. Eine nahe liegende Idee ist, mit Hilfe des gew¨ ahlten ARMA–Modells und der zur Verf¨ ugung stehenden Daten die

292

13 Modellierung mit ARMA-Zeitreihen

Terme et des zum gesch¨ atzen ARMA–Modell geh¨orenden weißen Rauschens zu approximieren. Diese gesch¨ atzten Innovationen et , die sich u ¨ber eine Filterung aus den Ausgangsdaten gewinnen lassen, sollte man dann zumindest visuell oder auch mit statistischen Methoden auf approximative Unabh¨angigkeit u ufen. ¨berpr¨

13.3 Threshold Zeitreihenmodelle Eine f¨ ur die Anwendung wichtige Klasse nichtlinearer Zeitreihenmodelle wird durch die sogenannten Threshold (Schwellen)–Modelle gegeben. Die Grundidee ist, dass die Modellparameter zur Berechnung des folgenden Wertes abh¨angig von tats¨ achlichen Werten zur¨ uck liegender Beobachtungen sind. Man erreicht dadurch, dass der Verlauf der Zeitreihe beobachtungsabh¨angig von wechselnden Regimen gesteuert wird. F¨ ur autoregressive Zeitreihen l¨asst sich diese Idee am einfachsten darstellen und f¨ uhrt zu den Threshold AR– (kurz: TAR–) Zeitreihenmodellen. Seien dazu f¨ ur ein R ∈ N Ordnungen pr und Parameters¨ atze a1 (r), . . . , apr (r), σr2 f¨ ur r = 1, . . . , R gegeben. Im einur ein Lag d, eine Zerlegung fachsten Fall erf¨ ullt eine TAR–Zeitreihe (Xt ) f¨ −∞ = u0 < u1 < · · · < uR = ∞ von R und ein weißes Rauschen (et ) dann die folgenden Gleichungen Xt +

pr


aj (r)Xt−j = et , falls ur−1 < Xt−d ≤ ur .

(13.17)

j=1

In diesem Fall steuert also der zur¨ uckliegende Wert Xt−d die Auswahl eines entsprechenden autoregressiven Modells zur Berechnung des n¨achsten Wertes angige Parameterwahl wird etwa die MoXt . Durch diese beobachtungsabh¨ dellierung von S¨ attigungsproblemen m¨ oglich. Wir gehen auf diese und weitere Modellklassen parametrischer nichtlinearer Zeitreihen nicht weiter ein. Den interessierten Leser verweisen wir auf Tong (1983) und Tong (1990), der insbesondere die Threshold Modelle eingef¨ uhrt und untersucht hat. Es gibt noch zahlreiche weitere Modellklassen, insbesondere f¨ ur nichtlineare Zeitreihen, die wir in dieser Einf¨ uhrung nicht behandeln k¨onnen. Dazu geh¨oren sowohl bilineare als auch die f¨ ur die ¨ okonomischen Anwendungen sehr wichtigen sogenannten kointegrierten Zeitreihenmodelle.

Aufgaben Aufgabe 13.1 Man betrachte das bei t = 1 startende AR(1)–Modell X0 := 0 und Xt = Xt−1 + et , t = 1, 2, . . . , f¨ ur i.i.d. Zufallsvariable et ∼ (0, σe2 ) und berechne die Autokorrelationen f¨ ur die Zeitreihe Ut := Xt − Xt−m , t = m, 2m, . . . , sowie mit Yt := (Xt + · · · +

13.3 Threshold Zeitreihenmodelle

293

Xt+m−1 ) f¨ ur Vt := Yt − Yt−m , t = m, 2m, . . . . Dies einfache Beispiel zeigt, dass bei der Betrachtung von Differenzen (wie sie h¨aufig bei Preiszeitreihen gebildet werden) durch die Bildung von Durchschnitten Korrelationen entstehen k¨ onnen, die in der Ausgangsreihe nicht vorhanden waren. Aufgabe 13.2 Man betrachte das folgende Threshold AR(1)–Modell < a1 Xt−1 + et , Xt−1 ≤ r Xt = a2 Xt−1 + et , Xt−1 > r , f¨ ur bekanntes r ∈ R und a1 , a2 mit |a1 |, |a2 | < 1 . Man leite mit Hilfe eines Kleinste–Quadrate–Ansatzes Sch¨atzer f¨ ur a1 und a2 her. Aufgabe 13.3 Sei (Xt ) eine ARIMA(p, d, q)–Zeitreihe. Man zeige, dass die d−1 Zeitreihe Xt + j=0 Aj tj mit beliebigen Zufallsvariablen A0 , A1 , . . . , Ad−1 dieselbe ARIMA–Gleichung wie (Xt ) erf¨ ullt.

14 Grundlagen finanzieller Zeitreihen

Seit Mitte der siebziger Jahre nimmt die Modellierung von Preisen von Finanzg¨ utern eine wichtige Rolle im Bereich der Zeitreihenanalyse ein. Insbesondere f¨ ur das Finanzrisikomanagement ist die ad¨aquate Modellierung von diskret beobachteten Finanzdaten von großer Bedeutung. Da man den Realisierungen von vielen Finanzzeitreihen auf den ersten Blick ansieht, dass sie die Annahme der Stationarit¨ at in der Regel in keiner Weise erf¨ ullen (vgl. etwa den zeitlichen Verlauf des Deutschen Aktienindex DAX in Abbildung 1.5 oder den des US–Dollar/DM–Wechselkurs in Abbildung 1.6), k¨onnen station¨are Zeitreihenmodelle h¨ochstens auf geeignet transformierte Beobachtungen zur Modellierung eingesetzt werden. Eine g¨ angige Transformation f¨ ur den Preis Pt , t = 0, 1, 2, . . . , eines bestimmten Finanzgutes (z.B. den Preis einer Aktie, ein Aktienindex oder ein Wechselkurs) stellen die sogenannten log–returns Xt = ln Pt − ln Pt−1 ,

t = 1, 2, . . . ,

(14.1)

¨ dar. In erster N¨ aherung beschreibt ein log–return gerade die relative Anderung (Pt − Pt−1 )/Pt−1 ,

t = 1, 2, . . . ,

(14.2)

des Preises vom Zeitpunkt t − 1 zu t . Dies sieht man mit Hilfe der Taylor– Approximation ln(1 + x) ≈ x f¨ ur betragsm¨ aßig kleine x sofort ein. F¨ ur den Deutschen Aktienindex (DAX) sind die zugeh¨ origen log–returns in Abbildung 14.1 dargestellt (vgl. auch mit den Renditen des DAX aus Abbildung 1.7). Man erkennt, dass eine station¨are Modellierung hierf¨ ur schon eher in Frage kommt. Allerdings ist die Schwankungsbreite der log–returns des DAX deutlich zeitlich ver¨anderlich. In den Anf¨angen der Modellierung von Finanzzeitreihen war es durchaus u ¨blich anzunehmen, dass log–returns sich approximativ wie i.i.d. Zufallsvariable verhalten. Dar¨ uberhinaus wurde vielfach auch eine Normalverteilung angenommen.

296

14 Grundlagen finanzieller Zeitreihen

10 5 0 −5 −10 0

500

1000

1500

2000

2500

3000

3500

4000

0

500

1000

1500

2000

2500

3000

3500

4000

4 3 2 1 0

Abb. 14.1 Log–returns des DAX f¨ ur den Zeitraum Januar 1990 bis September 2005 (n = 3966) (oben) zusammen mit der u ¨ber ein GARCH(1, 1)–Modell gesch¨ atzten Volatilit¨ at σt (unten)

Die 1997 durch die Verleihung des Preises der schwedischen Nationalbank zu Ehren Alfred Nobels gew¨ urdigten Arbeiten von Black/Scholes (1973) und Merton (1973), die bahnbrechend f¨ ur die Optionspreistheorie waren, nahmen eine sogenannte geometrische Brownsche Bewegung f¨ ur das zugrunde liegende Finanzgut an. Ohne n¨ aher auf diese Theorie einzugehen sei hier lediglich erw¨ahnt, dass diese Annahme zu einer normalverteilten i.i.d. Struktur f¨ ur die log–returns des Finanzgutes f¨ uhrt und somit eine gewisse Rechtfertigung f¨ ur die Annahme darstellt, dass log–returns in der Sprache der Zeitreihenanalyse nichts anderes sind als ein unabh¨ angiges weißes Rauschen. F¨ ur den logarithuhrt eine solche i.i.d. Annahme f¨ ur die log–returns mierten Preisprozess ln Pt f¨ (etwa ln Pt −ln Pt−1 = et ) zu einer klassischen random walk Struktur, genauer ln Pt = ln P0 +

t


ej ,

t = 1, 2, . . . .

(14.3)

j=1

Zahlreiche empirische Studien u ¨ber Finanzzeitreihen legen nun aber nachdr¨ ucklich nahe, dass die Unabh¨ angigkeit von log–returns und auch die Normalverteilungsannahme kaum zu rechtfertigen sind. Ohne hier in die Tiefe zu gehen, betrachten wir lediglich ein empirisches Korrelogramm f¨ ur die zentrierten log–returns, die Absolutbetr¨ age und die quadrierten log–returns des DAX. Eine Unabh¨ angigkeitsannahme f¨ ur die log–returns allein w¨ urde sich direkt auf die Betr¨ age und auch die Quadrate u bertragen und m¨ u sste in allen F¨allen ¨

14 Grundlagen finanzieller Zeitreihen

297

1.0 0.8 0.6 0.4 0.2 0.0 −0.2 −0.4 −0.6 −0.8 −1.0 0

5

10

15

20

25

30

Abb. 14.2 Korrelogramm f¨ ur die log–returns des DAX aus Abbildung 14.1

zu verschwindenden Autokorrelationen f¨ uhren, was zwar f¨ ur die log–returns selbst aber keineswegs f¨ ur die Betr¨ age und die Quadrate gerechtfertigt werden kann (vgl. Abbildung 14.2 und Abbildung 14.3). Diese Tatsache widerspricht der Modellierung von log–returns als weißem Rauschen zun¨achst nicht, allerdings einer m¨ oglichen Unabh¨ angigkeitsannahme. Wenn nun aber log–returns als lediglich unkorreliertes aber nicht unabh¨ angiges weißes Rauschen modelliert werden sollen, dann stellt dies die im Rahmen der Black–Scholes Theorie gemachte Normalverteilungsannahme in Frage, da f¨ ur multivariate Normalverteilungen die Unabh¨ angigkeit stets aus der Unkorreliertheit folgt. Robert Engle (1982) hat mit der Klasse der autoregressiven bedingt heteroskedastischen Zeitreihenmodelle (autoregressive with conditional heteroscedasticity, kurz: ARCH–Modelle) eine Modellklasse vorgeschlagen, die trotz ihrer recht einfachen Struktur in der Lage ist, real auftretende Ph¨anomene bei Finanzzeitreihen einigermaßen zufriedenstellend beschreiben zu k¨onnen. Hierf¨ ur wurde Engle 2003 mit dem schon oben erw¨ahnten Nobelpreis f¨ ur Wirtschaftswissenschaften ausgezeichnet. Zusammen mit einer von Bollerslev (1986) vorgeschlagenen Verallgemeinerung (generalized ARCH oder kurz GARCH) hat die von Engle initiierte bedingt heteroskedastische Modellierung eine u ¨berragende Bedeutung in der Finanzzeitreihenanalyse erlangt. Aus und neben den GARCH–Modellen haben sich zahlreiche weitere bedeutende bedingt heteroskedastische Modellans¨ atze entwickelt. Besonders genannt werden sollen die stochastischen Volatilit¨ atsmodelle. Shephard (1996) gibt ei¨ ne gute Ubersicht u uberschaubare Literatur im Bereich der ¨ber die fast un¨ Modellierung von Finanzzeitreihen mit ARCH–Typ und stochastischen Vo-

298

14 Grundlagen finanzieller Zeitreihen

1.0

1.0

0.8

0.8

0.6

0.6

0.4

0.4

0.2

0.2

0.0

0.0

−0.2

−0.2

−0.4

−0.4

−0.6

−0.6

−0.8

−0.8

−1.0

−1.0 0

5

10

15

20

25

30

0

5

10

15

20

25

30

Abb. 14.3 Korrelogramm der Betr¨ age (links) und der Quadrate (rechts) der log–returns des DAX aus Abbildung 14.1

latilit¨atsmodellen. Wir k¨ onnen im Rahmen dieser Einf¨ uhrung nur einen kleinen Ausschnitt dieses bedeutenden Anwendungsfeldes der Zeitreihenanalyse beleuchten und werden uns auf die GARCH–Modelle beschr¨anken. In Abschnitt 14.1 untersuchen wir die grunds¨ atzlichen wahrscheinlichkeitstheoretischen Eigenschaften des einfachsten GARCH–Modells erster Ordnung und gehen auch auf GARCH–Prozesse h¨ oherer Ordnung ein. Die M¨oglichkeiten der Parametersch¨ atzung in GARCH–Modellen diskutieren wir in Abschnitt 14.2, bevor wir dieses Kapitel in Abschnitt 14.3 mit einer Anwendung der GARCH– Modellierung auf einen realen Datensatz (n¨ amlich den Deutschen Aktienindex) beenden.

14.1 GARCH–Modelle Zun¨achst wollen wir die Klasse der verallgemeinerten ARCH–Modelle definieren. Definition 14.1 (GARCH(p, q)–Zeitreihe) Eine reelle Zeitreihe heißt GARCH(p, q)–Zeitreihe, falls f¨ ur i.i.d. Zufallsvariable (et : t ∈ Z) mit Eet = 0 und Var et = 1, also et ∼ (0, 1), die Gleichung Xt = σt · et ,

∀t ∈ Z,

(14.4)

ur erf¨ ullt ist, wobei (σt : t ∈ Z) eine nichtnegative Zeitreihe bezeichnet, die f¨ reelle und nichtnegative Parameter a0 , a1 , . . . , ap und b1 , . . . , bq mit ap , bq = 0

14.1 GARCH–Modelle

299

der Rekursion σt2 = a0 +

p


2 ai Xt−i +

i=1

q


2 bj σt−j

(14.5)

j=1

gen¨ ugt. (σt ) heißt Volatilit¨ at der GARCH–Zeitreihe (Xt ). Im Falle q = 0 nennen wir X = (Xt : t ∈ Z) eine ARCH(p)–Zeitreihe. Bemerkung 14.2 Die Abk¨ urzung GARCH steht wie schon oben erw¨ahnt f¨ ur generalized autoregressive with conditional heteroscedasticity. Falls die Zeitreihe (σt ) streng station¨ ar ist, so u agt sich diese Eigenschaft wegen der i.i.d.–Struktur der ¨bertr¨ ur die folgenInnovationen (et ) auch auf die GARCH–Zeitreihe (Xt ) selbst. F¨ ¨ den Uberlegungen nehmen wir an, dass σt eine Funktion von (es : s ≤ t − 1), also messbar bzgl. der von diesen Zufallsvariablen aufgepannten σ−Algebra ist. Wir werden weiter unten in Satz 14.3 sehen, dass jede streng station¨are L¨osung von (14.5) automatisch diese Art Kausalit¨at erf¨ ullt. Weiterhin nehmen wir f¨ ur den Augenblick an, dass die vierten Momente von σt und et endlich sind. Warum wir im Rahmen der GARCH–Modelle speziell nach streng station¨aren L¨ osungen suchen, wird weiter unten klar werden. Durch Quadrieren der Gleichung (14.4) erhalten wir zun¨achst Xt2 = σt2 + σt2 (e2t − 1) ,

∀t ∈ Z.

(14.6)

Aufgrund der eben getroffenen Annahme sind et und σt stochastisch unabh¨angig, so dass die Zufallsvariable ηt = Xt2 − σt2 = σt2 (e2t − 1) zentriert ist. Wegen der angenommenen Existenz der vierten Momente von σt und et stellt (ηt : t ∈ Z) im Sinne der klassischen Zeitreihenanalyse sogar ein weißes Rauschen dar, wie man leicht nachrechnet. Unter Verwendung von (14.5) ergibt (14.6) schließlich die folgende ARMA(max(p, q), q)–Darstellung f¨ ur den quadrierten GARCH–Prozess Xt2 = a0 +

p


2 ai Xt−i +

i=1

q


2 bj (Xt−j − ηt−j ) + ηt

max(p,q)

= a0 +

(14.7)

j=1




(ai +

2 bi )Xt−i

−

i=1

q


bj ηt−j + ηt ,

j=1

wobei ai = 0 f¨ ur i > p und bi = 0 f¨ ur i > q zu setzen ist. Man beachte aber, dass das zugeh¨ orige weiße Rauschen (ηt ) lediglich aus unkorrelierten Zufallsvariablen besteht. In Aufgabe 14.1 wird gezeigt, dass unter der Nichtnegativit¨atsvoraussetzung a1 , . . . , ap , b1 , . . . , bq ≥ 0 die Bedingung p
i=1

ai +

q
j=1

bj < 1

(14.8)

300

14 Grundlagen finanzieller Zeitreihen

notwendig und hinreichend f¨ ur die Existenz einer (schwach) station¨aren und kausalen L¨ osung der ARMA–Gleichung (14.7) ist. Man k¨ onnte geneigt sein zu vermuten, dass (14.8) auch notwendig und hinreichend f¨ ur die Existenz eines (schwach) station¨aren GARCH–Prozesses als L¨ osung von (14.4) und (14.5) ist, was allerdings nicht korrekt ist, wie wir im Laufe dieses Abschnitts noch sehen werden.   Unter der in Bemerkung 14.2 gemachten Annahme der Unabh¨angigkeit von ur s ≥ t und den Integrabilit¨ atsbedingungen folgt nun, dass f¨ ur σt und es f¨ einen GARCH–Prozess (Xt ) stets EXt = Eσt Eet = 0 ,

(14.9)

sowie f¨ ur h > 0 Cov(Xt , Xt+h ) = EE[σt et σt+h et+h |es : s < t + h] = E(σt et σt+h E[et+h |es : s < t + h]) = 0

(14.10)

gilt. Ein GARCH–Prozess besteht somit aus unkorrelierten und zentrierten Zufallsvariablen und ist mit anderen Worten nichts anderes als ein weißes Rauschen. Da aber der quadrierte GARCH–Prozess einer ARMA–Gleichung gehorcht, liegt f¨ ur diesen eine nicht verschwindende Autokovarianzfunktion ¨ vor. Diese beiden Eigenschaften sind in Ubereinstimmung mit der bei den log–returns des DAX in den Abbildungen 14.2 und 14.3 gemachten empirischen Beobachtung. Insofern sind GARCH–Prozesse also grunds¨atzlich in der Lage dieses scheinbare Ph¨ anomen der Unkorreliertheit der log–returns aber der deutlichen Korreliertheit der Betr¨ age und Quadrate der log–returns zu beschreiben. Aus wahrscheinlichkeitstheoretischer Sicht beinhalten GARCH– Prozesse damit eine nicht–lineare Abh¨ angigkeitsstruktur, die sich bekanntlich nicht u ¨ber die in der klassischen Zeitreihenanalyse u ¨blichen Autokorrelationen darstellen l¨ aßt. Deshalb m¨ ussen wir bei der Untersuchung der Eigenschaften von GARCH– Prozessen u ¨ber die Klasse der schwach station¨aren L2 – Prozesse hinausgehen und werden hier nach streng station¨aren L¨osungen der GARCH–Gleichungen suchen und wollen auch von vornherein keine Annahme an die Endlichkeit gewisser Momente dieser streng station¨aren L¨osungen stellen. Festzuhalten bleibt, dass GARCH–Prozesse im Rahmen der klassischen Zeitreihenanalyse nicht u ¨ber ein weißes Rauschen hinausgehen. Von besonderer Bedeutung ist die sogenannte Volatilit¨ at σt einer GARCH– Zeitreihe (Xt ) . Ihr Quadrat stimmt unter der zu Beginn von Bemerkung 14.2 gemachten Messbarkeitsannahme mit der bedingten Varianz von Xt bei gegebener Vergangenheit Ft−1 = σ(es : s ≤ t − 1) u ¨berein. Wegen E[Xt |Ft−1 ] = 0 gilt n¨amlich V ar[Xt |Ft−1 ] = E[Xt2 |Ft−1 ] p q

2 2 ai Xt−i + bj σt−j . = σt2 = a0 + i=1

j=1

(14.11)

14.1 GARCH–Modelle

301

Diese Eigenschaft impliziert, dass die bedingte Varianz einer Beobachtung Xt , also die quadrierte Volatilit¨ at, aus den p vorangegangenen log–returns Xt−i , i = 1, . . . , p , und den q vorangegangenen Volatilit¨aten σt−j , j = 1, . . . , q , explizit berechnet werden kann. Befindet sich unter den vergangenen returns ein gr¨ oßerer Wert (also eine hohe positive oder negative Rendite), so wirkt sich dieser aufgrund der Nichtnegativit¨ at der Koeffizienten in der Zukunft u ohere Streuungen der Renditen aus. Auch besitzt die quadrierte Vo¨ber h¨ latilit¨at die Eigenschaft, dass sie sich in autoregressiver Weise fortschreibt. Dies er¨ offnet die M¨ oglichkeit Phasen h¨ oherer und niedriger Volatilit¨aten modellm¨aßig in einer GARCH–Zeitreihe zu erfassen. Hierin ist eine St¨arke der GARCH–Zeitreihen zu sehen. Wir wollen nun genauer die Frage der Existenz von station¨aren GARCH– Zeitreihen untersuchen. Dazu betrachten wir das einfache GARCH(1, 1)– Modell im Detail. Hier k¨ onnen wir mit einem recht u ¨bersichtlichen Zugang, der auf Nelson (1990) zur¨ uckgeht, die Situation vollst¨andig aufkl¨aren. F¨ ur GARCH–Prozesse h¨oherer Ordnung haben Bougerol (1993) die Fragestellung nach station¨ aren L¨ osungen abschließend gekl¨ art. Eine ansprechende Zusammenstellung notwendiger und hinreichender Bedingungen f¨ ur die Existenz streng station¨ arer L¨ osungen von GARCH–Gleichungen (und weiteren Verallgemeinerungen) findet man in Straumann (2005). Es wird sich zeigen, dass es m¨ oglich ist, streng station¨are GARCH–Zeitreihen zu erhalten, f¨ ur die keine endlichen (unbedingten) vierten Momente existieren. In einem solchen Fall bes¨ aße der in Bemerkung (14.2) abgeleitete ARMA– Prozess ein weißes Rauschen ηt mit nicht existierender Varianz und dann ist ¨ in jedem Fall eine Ubertragung der notwendigen Bedingungen f¨ ur schwache Stationarit¨ at aus der ARMA–Welt nicht m¨ oglich. Auch suchen wir wie gesagt bei GARCH–Zeitreihen nach streng station¨ aren L¨osungen und k¨onnen schon allein deshalb nicht auf die ARMA–Theorie aufsetzen. Konkret sind wir also im GARCH(1, 1)–Fall an einer streng station¨aren L¨osung der Gleichungen Xt = σt et ,

∀t ∈ Z,

2 2 + bσt−1 , σt2 = a0 + aXt−1

∀t ∈ Z,

(14.12) (14.13)

f¨ ur gegebene i.i.d. Zufallsvariable (et : t ∈ Z) mit et ∼ (0, 1) interessiert. Satz 14.3 (Strenge Stationarit¨ at im GARCH(1, 1)–Modell) Sei a0 > 0 und a, b ≥ 0. Dann besitzen die GARCH(1, 1)–Gleichungen (14.12) und (14.13) genau dann eine eindeutige streng station¨ are L¨ osung, wenn E ln(ae21 + b) < 0

(14.14)

gilt. In diesem Fall besitzt die streng station¨ are L¨ osung f¨ ur σt2 die Darstellung

302

14 Grundlagen finanzieller Zeitreihen j ∞  
σt2 = a0 · 1 + (ae2t−i + b) ,

∀t ∈ Z.

(14.15)

j=1 i=1

Bevor wir Satz 14.3 beweisen, geben wir nachfolgendes Korollar an. Korollar 14.4 Seien a0 > 0 und a, b ≥ 0. Falls a + b < 1, dann existiert eine eindeutige streng station¨ are L¨ osung der GARCH(1, 1)–Gleichungen (14.12) und (14.13) mit Darstellung (14.15). Dar¨ uberhinaus besitzt diese L¨ osung f¨ ur σt2 einen endlichen Erwartungswert. Es gilt EXt2 = Eσt2 =

a0 , 1−a−b

∀t ∈ Z.

(14.16)

Beweis: Zun¨ achst folgt mit Hilfe der Jensen–Ungleichung   exp E ln(ae21 + b) ≤ E(ae21 + b) = a + b . Die Eigenschaft a + b < 1 sichert also (14.14) und damit die Existenz einer eindeutigen streng station¨ aren L¨ osung von (14.12) und (14.13) mit Darstellung (14.15). Aus (14.15) folgt f¨ ur a + b < 1 dann direkt j ∞  
Eσt2 = a0 · 1 + E (ae2t−i + b) j=1



= a0 · 1 +

∞


i=1

 (a + b)j =

j=1

a0 . 1−a−b  

Kommen wir nun zum Beweis: (von Satz 14.3) Die GARCH(1, 1)–Gleichungen (14.12) und (14.13) f¨ uhren durch Ersetzen von 2 2 durch σt−1 e2t−1 auf das folgende rekursive Schema f¨ ur die quadrierte Xt−1 Volatilit¨ at σt2 2 σt2 = a0 + (ae2t−1 + b) · σt−1 .

(14.17)

¨ Analog zu den Uberlegungen zur Stationarit¨ at im AR(1)–Modell, vgl. Beispiel 2.7, erhalten wir durch wiederholtes Einsetzen in (14.17) j k  k+1 
2 σt2 = a0 1 + (ae2t−i + b) + (ae2t−i + b) · σt−k−1 . j=1 i=1

i=1

(14.18)

14.1 GARCH–Modelle

303

Diese Gleichung verwenden wir zun¨ achst nur, um hieraus die Vermutung abzuleiten, dass durch (14.15) eine streng station¨ are L¨osung der Rekursion (14.17) und damit gem¨ aß Xt = σt et auch der GARCH(1, 1)–Gleichungen (14.12) und ¨ (14.13) gegeben ist. Anders als z.B. in der ¨ ahnlichen Uberlegung zur AR(1) Reihen in Beispiel 2.7 untersuchen wir das Restglied, also den zweiten Summanden in (14.18), hier nicht explizit. Zu zeigen ist neben der Konvergenz der Reihe in (14.15) die Tatsache, aß (14.15) tats¨ achlich (14.17) l¨ ost und dass jede L¨osung von dass (σt ) gem¨ (14.17) die Darstellung (14.15) besitzt, nat¨ urlich nur unter der Voraussetzung E ln(ae21 + b) < 0. Nicht zu vergessen ist auch die Notwendigkeit dieser Bedingung f¨ ur die L¨osbarkeit der Rekursion (14.17). Die strenge Stationarit¨at aß (14.15) ist hingegen eine direkte Folge der i.i.d.– des Prozesses (σt2 ) gem¨ Struktur der Innovationen (et ). Der Schl¨ ussel f¨ ur die Konvergenz der Reihe in (14.15) ist die Tatsache, dass ein ρ > 1 existiert mit n

n -

(ae2t−i + b) → 0

f.s. f¨ ur n → ∞ .

(14.19)

i=1

Hieraus folgt n¨ amlich f¨ ur jedes t ∈ Z wegen j n


(ae2t−i

+ b) =

j=1 i=1

n


−j



· (

j=1

j

j -

(ae2t−i + b))

i=1

die fast sichere absolute Konvergenz der Reihendarstellung (14.15). Man rechnet nun leicht nach, dass (14.15) wirklich eine L¨ osung der Rekursion (14.17) ist. Der Nachweis von (14.19) wird mit Hilfe des Starken Gesetzes der großen Zahlen (SLLN) gef¨ uhrt. Wegen E ln(ae21 + b) < 0 existiert ein  > 1 mit 2 ln  + E ln(ae1 + b) < 0. Aufgrund der i.i.d.– Struktur der (et ) und der Inteur jedes t ∈ Z grierbarkeit von ln(ae21 + b) folgt aus dem SLLN f¨ 1
ln(ae2t−i + b) n i=1 n

ln  +

→ ln  + E ln(ae21 + b) < 0

f.s. f¨ ur n → ∞ .

Das heißt aber n   ln n (ae2t−i + b) i=1

n   1
ln(ae2t−i + b) → −∞ = n ln  + n i=1

also

f.s. f¨ ur n → ∞ ,

304

14 Grundlagen finanzieller Zeitreihen

n

n -

(ae2t−i + b) → 0

f.s. f¨ ur n → ∞ ,

i=1

wie in (14.19) behauptet. Kommen wir nun zum Nachweis der Eindeutigkeit streng station¨arer L¨osungen aß (14.15) ( σt2 ) eine weitere streng stavon (14.17). Dazu sei neben (σt2 ) gem¨ tion¨are L¨ osung von (14.17). Aus (14.17) folgt mit  > 1 gem¨aß (14.19) 2 2 t2 | = (ae2t−1 + b)|σt−1 −σ t−1 | |σt2 − σ n 2 2 = −n · n · (ae2t−i + b) · |σt−n −σ t−n | i=1

→0

n.W. f¨ ur n → ∞ .

F¨ ur den Nachweis der Konvergenz nach Wahrscheinlichkeit beachte man die t2 . Aus P {|σt2 − σ t2 | > ε} = 0 ∀ ε > 0 folgt strenge Stationarit¨ at von σt2 und σ 2 2 t der beiden L¨osungen von (14.17). nun die fast sichere Gleichheit σt = σ Abschließend befassen wir uns nun noch mit der Notwendigkeit der Bedingung E ln(ae21 + b) < 0 f¨ ur die Existenz streng station¨arer L¨osungen der GARCH(1, 1)–Gleichungen. Dazu sei (σt2 ) eine beliebige streng station¨are L¨osung von (14.17). F¨ ur einen Widerspruchsbeweis nehmen wir an, dass E ln(ae21 + b) ≥ 0 gilt. Aufgrund der Nichtnegativit¨at der auftretenden Ausdr¨ ucke erhalten wir (vgl. (14.18)) j k  
σt2 ≥ a0 1 + (ae2t−i + b) . j=1 i=1

Wegen ln

j -

(ae2t−i + b) =

i=1

j


ln(ae2t−i + b)

i=1

konvergiert dieser Ausdruck im Falle E ln(ae21 + b) > 0 wiederum aufgrund ur des SLLN fast sicher gegen +∞. Falls E ln(ae21 + b) = 0 besagen Resultate f¨ j random walks (und i=1 ln(ae2t−i + b) ist ein solcher), vgl. Spitzer (1976) , dass lim sup j→∞

j


ln(ae2t−i + b) = +∞

f.s.

i=1

gilt. In jedem Fall haben wir also lim sup j→∞

j i=1

(ae2t−i + b) = +∞

f.s. .

14.1 GARCH–Modelle

305

Wegen der Nichtnegativit¨ at folgt sofort σt2 ≥ lim sup a0 j→∞

j -

(ae2t−i + b) = +∞

f.s. ,

i=1

also σt2 = +∞ f.s., im Widerspruch zu den Voraussetzungen. Damit ist Satz 14.3 bewiesen.   Anmerkung 14.5 Die Beweismethode zu Satz 14.3 f¨ ur das GARCH(1, 1)–Modell geht auf Nelson (1990) zur¨ uck und findet sich z.B. auch in Straumann (2005).   Wir sind nun in der Situation, dass wir im streng station¨aren Fall sowohl f¨ ur die ganz allgemeine Situation (vgl. Satz 14.3), wie unter der Einschr¨ankung der Existenz zweiter Momente f¨ ur Xt (vgl. Korollar 14.4) notwendige und hinreichende Bedingungen f¨ ur die eindeutige Existenz von L¨osungen der GARCH(1, 1)–Gleichungen haben. Die Frage nach streng station¨aren GARCH(1, 1)–Prozessen mit a + b > 1 beantwortet das folgende Beispiel

10 5 0 −5 −10 100

0

100

200

300

400

500

0

100

200

300

400

500

50 0 −50 −100

Abb. 14.4 Simulation jeweils einer ARCH(1)–Zeitreihe mit Parameter a = 0.8 (oben) bzw. Parameter a = 2.0 (unten) und normalverteilten Innovationen. Man beachte die unterschiedliche Skala der y–Achse.

306

14 Grundlagen finanzieller Zeitreihen

Beispiel 14.6 (i) Man betrachte zun¨ achst den einfacheren ARCH(1)–Fall mit standardnormalverteilten Innovationen (et ). Die Stationarit¨atsbedingung (14.14) lautet in diesem Fall % ∞ 2 4 2 ln(x) · e−x /2 dx E ln(ae1 ) = ln(a) + √ 2π 0 = ln(a) − (C + ln(2)) < 0 . Dabei ist C ≈ 0.5772 die Eulersche Konstante (vgl.Gradstein/Ryshik (1981), Nr. 4.333). Also ist die Bedingung E ln(ae21 ) < 0 in dieser Situation uhren somit ¨aquivalent zu a < 2 · exp(C) ≈ 3.562 . Alle diese Parameter a f¨ zu streng station¨aren ARCH(1)–Prozessen, aber nur f¨ ur a < 1 besitzt ein solcherARCH(1)–Prozess endliche zweite Momente. Eine Forderung nach endlichen vierten Momenten des ARCH(1)–Prozesses f¨ uhrt zur weiteren Einschr¨ ankung des Parameterbereiches auf a < √13 ≈ 0.577 (wie man aus der Darstellung (14.15) nachrechnen kann, vgl. Aufga¨ be 14.4). Diese Uberlegungen zeigen erneut, dass selbst einfache ARCH– Zeitreihen erster Ordnung mit normalverteilten Innovationen (et ) keine Normalverteilung als station¨ are Verteilung besitzen k¨onnen und dass die Forderung nach endlichen Momenten h¨ oherer Ordnung den Parameterraum immer weiter einschr¨ ankt. Man vergleiche auch die Simulation von ARCH(1)–Prozessen mit Parameter a = 0.8 bzw. a = 2.0 in Abbildung 14.4. (ii) Jetzt betrachten wir einen GARCH(1, 1)–Prozess mit der Rechteck–Inno√ √ vationsverteilung R(− 3, 3). Dann gilt Ee1 = 0, Ee21 = 1 sowie  % √3  1 b E + b) = ln(a) + √ ln x2 + dx a 3 0 √ 3 >  > 4 3   b a b 1 arctan x − 2x + 2 = ln(a) + √ x ln x2 + a a b 3 0 > >    b a b arctan = ln(a) + ln 3 + −2+2 . a 3a 3b ln(ae21

Im Falle a = b f¨ uhrt die Forderung E ln(ae21 + b) < 0 auf ln(a) < −0.595 . . . ⇐⇒ a < 0.551 . . . , d.h. es gibt in der Tat streng station¨ are GARCH(1, 1)–Prozesse mit a+b>1   Nachdem wir nun den GARCH(1, 1)–Fall ausf¨ uhrlich diskutiert haben, wollen wir f¨ ur den allgemeinen GARCH(p, q)–Fall auf ein ebenso scharfes Resultat

14.1 GARCH–Modelle

307

lediglich hinweisen. Der Beweis dieses Resultates geht zur¨ uck auf Bougerol (1993) und greift auf eine interessante stochastische Version des Banachschen Fixpunktsatzes f¨ ur sogenannte Stochastische Rekurrenzgleichungen zur¨ uck (vgl. Bougerol (1993)). Eine vollst¨ andige Darstellung dieser Argumentation w¨ urde den Rahmen einer Einf¨ uhrung in die Zeitreihenanalyse sprengen. Dem interessierten Leser sei neben den oben genannten Originalarbeiten erneut das Buch von Straumann (2005), insbesondere die Abschnitte 2.6 und 3.3 (Theorem 3.3.1), zur vertiefenden Lekt¨ ure empfohlen. Wir beschr¨ anken uns in diesem Text auf das folgende Resultat, welches sich um GARCH(p, q)–Zeitreihen mit existierenden zweiten Momenten k¨ ummert. Satz 14.7 (Strenge Stationarit¨ at von GARCH(p, q)–Zeitreihen) Es seien p, q ∈ N und a0 > 0 sowie ai , i = 1, . . . , p , und bj , j = 1, . . . , q , nichtnegative reelle Zahlen. (et : t ∈ Z) seien i.i.d. Zufallsvariable mit et ∼ (0, 1). Dann existiert eine streng station¨ are L¨ osung X = (Xt : t ∈ Z) mit EXt2 < ∞ f¨ ur die GARCH(p, q)–Gleichungen Xt = σt · et ,

σt2 = a0 +

p


2 ai Xt−i +

i=1

∀t ∈ Z, q


2 bj σt−j ,

(14.20)

∀t ∈ Z,

(14.21)

j=1

genau dann, wenn gilt p


ai +

i=1

q


bj < 1 .

(14.22)

a0 q . i=1 ai − j=1 bj

(14.23)

j=1

In diesem Falle gilt f¨ ur alle t ∈ Z EXt2 = Eσt2 =

1−

p

Beweis: Wir folgen erneut der Darstellung in Straumann (2005) vgl. Proposition 3.3.3 und 3.3.5. Zun¨ achst sei (14.22) erf¨ ullt. Um Schreibarbeit zu sparen, nehmen wir p = q an, was durch Auff¨ ullen mit Nullen stets zu erreichen ist und 2 2 = e2t−i σt−i somit keine Einschr¨ankung darstellt. (14.21) bedeutet wegen Xt−i σt2 = a0 +

p


2 (ai e2t−i + bi ) · σt−i .

i=1

Durch rekursives Einsetzen in (14.24) erhalten wir

(14.24)

308

14 Grundlagen finanzieller Zeitreihen

p p 7 8

2 σt2 = a0 1 + (ai e2t−i + bi ) + (ai e2t−i + bi )(aj e2t−i−j + bj )σt−i−j . i=1

i,j=1

Dies legt nahe, dass eine streng station¨ are L¨ osung der GARCH–Gleichungen gem¨aß p 7
(ai1 e2t−i1 + bi1 ) σt2 := a0 1 +

(14.25)

i1 =1

+

+

p
i1 ,i1 =1 p


(ai1 e2t−i1 + bi1 )(ai2 e2t−i1 −i2 + bi2 )

i1 ,i2 ,i3 =1

(ai1 e2t−i1 + bi1 )(ai2 e2t−i1 −i2 + bi2 )(ai3 e2t−i1 −i2 −i3 + bi3 )

8

+ ... gewonnen werden kann. Hierzu ist nat¨ urlich zun¨achst die fast sichere Konvergenz auf der rechten Seite von (14.25) zu kl¨aren. Ist diese nachgewiesen, so erh¨ alt man durch Einsetzen, dass der streng station¨are Prozess (σt2 ) gem¨aß (14.25) tats¨ achlich (14.24) l¨ ost und damit zu einem streng station¨aren GARCH–Prozess f¨ uhrt. Zum Nachweis der fast sicheren Konvergenz der rechten Seite von (14.25) gen¨ ugt es wegen der Nichtnegativit¨ at aller auftretenden Terme, die Aussage Eσt2 < ∞ nachzuweisen. Durch Inspektion der rechten Seite von (14.25) erhalten wir wegen der Unabh¨ angigkeit der Innovationen et p p 7 8

Eσt2 = a0 1 + (ai1 + bi1 ) + (ai1 + bi1 )(ai2 + bi2 ) + . . . i1 =1

= a0

p ∞ 

k=0

i1 ,i2 =1

k (ai + bi ) =

i=1

a0 , p  1− (ai + bi ) i=1

also das gew¨ unschte Resultat. Sei nun umgekehrt (Xt ) eine streng station¨are L¨osung von (14.21) mit EXt2 = Eσt2 = Eσ02 < ∞. Dann folgt durch Erwartungswertbildung in (14.21) unter Beachtung von EXt2 = Eσt2 Eσ02 = a0 +

p 
i=1

ai +

q


 bj · Eσ02 .

j=1

Wegen a0 > 0 folgt zwingend (14.22). Satz 14.7 ist somit bewiesen.

 

14.2 Parametersch¨ atzung in GARCH–Modellen

309

Bemerkung 14.8 (Eindeutigkeit von GARCH(p, q)–Prozessen) Unter der Bedingung (14.22) ist die im Beweis von Satz 14.7 angegebene L¨osung (14.25) die einzige derartige streng station¨are L¨osung der GARCH– Gleichungen (14.20) und (14.21). Vgl. dazu Straumann (2005), Proposition 3.3.3 und Theorem 3.3.1. Ausdr¨ ucklich sei aber darauf hingewiesen, dass die eing¨ angige Bedingung (14.22) an die Koeffizienten des GARCH(p, q)– Modells keineswegs notwendig f¨ ur die Existenz streng station¨arer L¨osungen der GARCH(p, q)– Gleichungen ist. Es ucklich m¨oglich, dass stati pist ausdr¨ q ur on¨are GARCH(p, q) –Zeitreihen mit i=1 ai + j=1 bj ≥ 1 existieren. F¨ 2 2 derartige L¨ osungen gilt dann aber stets EXt = Eσt = ∞ .  

14.2 Parametersch¨ atzung in GARCH–Modellen Bevor wir uns mit der Sch¨ atzung der Modellparameter in GARCH(p, q)– Zeitreihen auseinandersetzen k¨ onnen, m¨ ussen wir die grunds¨atzliche Frage der Identifizierbarkeit der Modellparameter bei diesen Zeitreihen beleuchten. Falls verschiedene Parameterkonstellationen zu identischen GARCH– Prozessen f¨ uhren k¨ onnen, dann m¨ ussen wir die Menge der zul¨assigen Parameter so weit einschr¨ anken, dass wir eine eindeutige Parametrisierung erreichen. Beispiel 14.9 (i) Das GARCH–Modell (14.20), (14.21) ist f¨ ur den Fall a1 = . . . = ap = 0 nicht identifizierbar. Die im Beweis von Satz 14.7 in (14.25) angegebene q L¨osung lautet f¨ ur diesen Fall (beachte j=1 bj < 1) q q 7 2 
8
σt2 = a0 1 + bj + bj + . . . j=1

C = a0

1−

q


(14.26)

j=1

 bj ,

t ∈ Z.

j=1

Die Heteroskedastizit¨ at verschwindet also und qes gibt offensichtlich verschiedene Parameterwerte a0 , b1 , . . . , bq mit j=1 bj < 1, die zu identischen Varianzen σt2 in (14.26) f¨ uhren. Speziell ist auch das GARCH (1, 1)– Modell mit a0 > 0, a = 0 und 0 ≤ b < 1 nicht eindeutig parametrisiert und damit nicht identifizierbar. (ii) F¨ ur gegebene i.i.d. Zufallsvariable (et : t ∈ Z) sind die beiden station¨aren GARCH–Zeitreihen Xt = σt · et mit σt2 = bzw.

3 1 2 1 + X + σ2 4 3 t−1 2 t−1

310

14 Grundlagen finanzieller Zeitreihen

1 2 1 2 1 2 1 2 σt2 = 1 + Xt−1 + Xt−2 + σt−1 + σt−2 3 9 6 6 nicht zu unterscheiden. Dies erkennt man beispielsweise dadurch, dass im GARCH(1, 1)–Modell ein weiteres Einsetzen der GARCH(1, 1)–Rekursion 2 in diese Rekursion exakt auf die angegebene GARCH(2, 2)– f¨ ur (1/3)σt−1 Rekursion f¨ uhrt und das obige GARCH(1, 1)–Modell somit mit der eindeutigen L¨ osung der genannten GARCH(2, 2)–Gleichung u ¨bereinstimmt. 2 durch die rechte Generell k¨ onnte man in der Gleichung (14.21) z.B. σt−q Seite von (14.21) mit t ersetzt durch t − q ausdr¨ ucken und erhielte eine GARCH–Darstellung mit h¨ oherem p und q.   Um die Fragen der Identifizierbarkeit allgemein beantworten zu k¨onnen, beachte man, dass die Volatilit¨ atsrekursion einer GARCH(p, q)–Zeitreihe in folgende Form umgeschrieben werden kann   q p

a0 2 2 2 bj σt−j = ai Xt−i + p σt − . (14.27) k=1 ak j=1 i=1 ¨ In Analogie zu den bei den ARMA–Modellen durchgef¨ uqhrten Uberlegungen, k¨onnte man im Fall, dass die Polynome B(z) = 1 − j=1 bj z j und A(z) = p i i=1 ai z gemeinsame Nullstellen besitzen, auf beiden Seiten der Gleichung (14.27) Linearfaktoren abspalten und gelangte so eventuell zu einem identischen GARCH–Modell mit niedriger Ordnung. Dies ist etwa im Beispiel 14.9 (ii) der Fall. Die Frage ist, ob die Bedingung A(z) =

p
i=1

ai z i

und

B(z) = 1 −

q


bj z j

(14.28)

j=1

besitzen keine gemeinsamen Nullstellen schon zur Identifizierbarkeit f¨ uhrt. Da (14.28) die Eindeutigkeit der Parametrisierung des aus der GARCH–Gleichung abgeleiteten ARMA (max(p, q), q)– Modells (vgl. (14.17)) f¨ ur Xt2 bedeutet, k¨ onnte man geneigt sein, die Frage ohne weitere Pr¨ ufung mit ja zu beantworten, denn es gilt, dass A und B genau dann keine Nullstellen besitzen, wenn A + B und B keine gemeinsamen Nullstellen haben. An dieser Stelle ist aber erneut zu beachten, dass die f¨ ur ARMA–Zeitreihen benutzten Techniken auf L2 –Zeitreihen basierten und wir die einschr¨ ankende Voraussetzung EXt4 < ∞ im GARCH–Kontext vermeiden wollen. Deshalb m¨ ussen wir erneut argumentieren und erhalten das folgende Resultat. Satz 14.10 (Identifizierbarkeit von GARCH–Modellen) Sei (Xt ) eine station¨ are GARCH(p, q)–Zeitreihe(14.20),  (14.21) mit Parap q ur die i=1 ai + j=1 bj < 1 gelte. metern a0 > 0, a1 , . . . , ap , b1 , . . . , bq ≥ 0 , f¨

14.2 Parametersch¨ atzung in GARCH–Modellen

311

Hinreichend f¨ ur eine eindeutige Parametrisierung ist dann, dass f¨ ur die zuoßen e2t keine Einpunktverteilung geh¨ origen i.i.d. Zufallsvariablen (et ) die Gr¨ besitzen, dass zudem ap oder bq = 0 ist, sowie dass ein Index i > 0 existiert ullt ist. mit ai > 0 und dass (14.28) erf¨ Bevor wir zum Beweis kommen, wollen wir einige Anmerkungen zu den Annahmen machen. Bemerkung 14.11 Im Fall ap = bq = 0 kann man durch Multiplikation von beiden Seiten mit einem geeigneten Linearfaktor 1+εL (L bezeichne wie fr¨ uher den Lag–Operator) einen identischen station¨ aren GARCH–Prozess mit unterschiedlichen Parameuhrt, wie im Beispiel 14.9 tern erzeugen. Auch der Fall a1 = . . . = ap = 0 f¨ (i) gesehen, zur Nichtidentifizierbarkeit. Schließlich k¨onnen gemeinsame Nullstellen in den Polynomen A und B zur M¨ oglichkeit der Abspaltung eines Linearfaktors auf beiden Seiten von (14.27) f¨ uhren und so zu einem identischen, aber von den Parametern her unterschiedlichen, GARCH–Modell. Beweis: (von Satz 14.10) Wir nehmen an, dass ein und derselbe Prozess ur unterschiedliche Parameterkonstellationen a0 , a1 , . . . , ap , b1 , . . . , bq (Xt ) f¨ und  a0 ,  a1 , . . . ,  ap , b1 , . . . , bq mit (14.21) der Darstellung Xt = σt · et , t ∈ Z, q q gen¨ ugt. Da sowohl j=1 bj < 1 als auch j=1 bj < 1 gilt, besitzen die zu geh¨origen Polynome B(z) und B(z), vgl. (14.28) keine Nullstellen mit |z| ≤ 1.  D.h. sowohl 1/B(z) wie 1/B(z) besitzen geometrisch konvergente Potenzreihendarstellungen. F¨ ur ein geeignetes δ > 0 gilt also ∞


1 = βj z j , B(z) j=0

1  B(z)

=

∞


βj z j ,

∀ |z| ≤ 1 + δ .

j=0

Damit kann man aber nun f¨ ur beide Parameterkonstellationen auf (14.27) den  linearen L1 –Filter 1/B(z) bzw. 1/B(z) anwenden (siehe Abschnitt 7.3) und erh¨alt einerseits σt2

= c0 +

∞


2 ci Xt−i

(14.29)

2  ci Xt−i

(14.30)

i=1

sowie andererseits c0 + σt2 = 

∞
i=1

ur i ≥ 1 die Potenzreihenkoeffizienten von A(z)/B(z) sind (anawobei die ci f¨ log f¨ ur die  ci , i ≥ 1), die geometrisch abklingen, also insbesondere absolut summierbar sind . Außerdem gilt

312

14 Grundlagen finanzieller Zeitreihen

C c0 = a0

1−

q


 bj

(14.31)

j=1

(analog f¨ ur  c0 ). Aus (14.29) und (14.30) folgt (wie wir gleich sehen werden) ci ∀i = 1, 2, . . . , woraus sich dann sofort auch c0 =  c0 ergibt. Nehmen ci =  ci f¨ ur alle i = 1, . . . , i0 − 1 und ci0 =  ci0 gilt. wir zum Nachweis an, dass ci =  2 2 2 2 ≥ a > 0 folgt hieraus mit e = X /σ Wegen σt−i 0 t−i0 t−i0 t−i0 0 ∞ C  
2 2 ( ci0 − ci0 )σt−i . e2t−i0 = c0 −  c0 + (ci −  ci )Xt−i 0 i=i0 +1

Bezeichnet F die von Xs , s ≤ t−i0 −1 aufgespannte σ–Algebra, so ist die rechte Seite der Gleichung messbar bzgl. F. Andererseits ist et−i0 aber unabh¨angig von F, wegen der i.i.d.–Struktur der Innovationen et . Nach Aufgabe 14.2 ist e2t−i0 damit fast sicher konstant, was im Widerspruch zu unseren Annahmen ci u steht. Es stimmen also alle Koeffizienten ci und  ¨berein. Aufgrund der Definition der ci bzw.  ci folgt hieraus weiter  A(z) A(z) = ,  B(z) B(z)

∀ |z| ≤ 1 + δ .

  Also gilt A(z)B(z) = A(z)B(z) zun¨ achst f¨ ur alle |z| ≤ 1 + δ und damit   sogar f¨ ur alle z. Da A(z) und B(z) sowie A(z) und B(z) keine gemeinsa men Nullstellen besitzen, m¨ ussen sich alle Nullstellen von A(z) in A(z) wie derfinden und umgekehrt. Analoges gilt f¨ ur B und B. Die beiden Polyno stimmen dann aber wegen der jeweils gleichen Konstanten 1 me B und B  vollst¨andig u was die Gleichhei¨berein. Schließlich folgt daraus A(z) = A(z), ai (i = 1, . . . , p), bj = bj (j = 1, . . . , q) und somit auch ten p = p, q = q, ai =  a0 nach sich zieht. Der Beweis von Satz 14.10 ist damit vollst¨andig. a0 =    Wir kommen nun zur Sch¨ atzung der Modellparameter(a; b)T = (a0 , a1 , . . . , ap ; T b1 , . . . , bq ) in einer GARCH(p, q)–Zeitreihe (Xt ). In (14.7) haben wir gesehen, dass der quadrierte Prozess (Xt2 ) einer ARMA(max(p, q), q)–Gleichung gen¨ ugt. Deshalb liegt es nahe, bereits bekannte Techniken f¨ ur die Parametersch¨atzung in ARMA–Modellen zu u ¨bertragen, um auf diesem Weg Sch¨atzer f¨ ur die GARCH–Parameter zu gewinnen. Das Problem bei diesem Zugang ist, dass ¨außerst restriktive Annahmen an die Endlichkeit h¨oherer Momente gestellt werden m¨ ussen, um die Konsistenz bzw. die asymptotische Normalit¨at etwa des naheliegenden Kleinste–Quadrate Sch¨ atzers (f¨ ur ARMA–Modelle) u ¨bertragen auf GARCH–Zeitreihen beweisen zu k¨onnen. So ben¨otigen Giraitis/Robinson (2001) f¨ ur den Nachweis der Konsistenz des zum LS–Sch¨atzer asymptotisch ¨ aquivalenten Whittle–Sch¨ atzers die Existenz vierter Momente f¨ ur den GARCH–Prozess. In Aufgabe 14.4 wird deutlich√wie stark diese Einschr¨ ankung f¨ ur den GARCH(1, 1)–Prozess ist. Um n–Konsistenz

14.2 Parametersch¨ atzung in GARCH–Modellen

313

und asymptotische Normalit¨ at zu erhalten, setzen Giraitis/Robinson (2001) dar¨ uberhinaus EXt8 < ∞ voraus. Dass diese strengen Annahmen an die Existenz h¨ oherer Momente tats¨ achlich notwendig sind zeigen Mikosch/Straumann (2002) f¨ ur station¨ are GARCH(1, 1)–Zeitreihen. Sie zeigen, dass der obengenannte Whittle Sch¨ atzer im Fall EXt4 = ∞ nicht mehr konsistent ist und, dass 4 die Tatsache EXt < ∞ aber EXt8 = ∞ zu einer langsameren Konvergenzrate √ als 1/ n f¨ ur den Whittle–Sch¨ atzer f¨ uhrt. Aus den genannten Gr¨ unden ist die ¨ auf den ersten Blick attraktiv erscheinende Ubertragung der Sch¨atztechniken von ARMA– auf GARCH–Zeitreihen nicht empfehlenswert und wird deshalb hier auch nicht weiter betrachtet. Weitaus g¨ unstigere Eigenschaften besitzt die sogenannte Quasi Maximum Likelihood (QML)–Methode. Da die tats¨ achliche Likelihoodfunktion – selbst bei normalverteilten Innovationen – f¨ ur GARCH–Modelle nicht zug¨anglich ist, betrachten wir wie bereits in Abschnitt 11.2 bedingte Verteilungen unter der Voraussetzung, dass die Innovationen et standard normalverteilt sind. Unter diesen Annahmen ergibt (14.4) zusammen mit der Rekursion (14.5), 2 Xt−1 , . . . , X1−p , σ02 , . . . , σ1−q eidass die bedingte von p Verteilung q Xt gegeben 2 2 ne N (0, a0 + i=1 ai Xt−i + j=1 bj σt−j )–Verteilung ist. Damit lautet die 2 bedingte Dichte von (X1 , . . . , Xn ) gegeben (X0 , . . . , X1−p , σ02 , . . . , σ1−q )   2 2 f X1 , . . . , Xn |X0 , . . . , X1−p , σ0 , . . . , σ1−p n   2 (14.32) = f Xt |Xt−1 , . . . , Xt−p , σ02 , . . . , σ1−q t=1 n -



 1 2 2 = exp − Xt /σt (a, b) , 2 2πσt2 (a, b) t=1 1

p 2 2 2 mit ur t = 1 − q, . . . , 0, sowie σt2 (a, b) = a0 + i=1 ai Xt−i + q σt (a, 2b) = σt f¨ b σ (a, b) f¨ u r t ≥ 1. Die sich hieraus ergebende (bedingte) Gaußj t−j j=1 sche Log–Likelihood Funktion kann ohne Kenntnis von X1−p , . . . , X0 und 2 , . . . , σ02 nicht berechnet werden. Naheliegend ist die Ersetzung X1−p = σ1−q ucks der L¨ange p aus den . . . = X0 = 0 bzw. die Verwendung eines Anfangsst¨ vorliegenden Beobachtungen. Beachtet man (14.29) sowie (14.31) aus dem Beweis zu Satz 14.10 so f¨ uhrt ein Nullsetzen aller Beobachtungen Xs mit s ≤ 0 auf die weitere Ersetzung σt2 = a0 /(1 − b1 − . . . − bq ), t = 1 − q, . . . , 0. Insgesamt erhalten wir die folgende approximative bedingte Log–Likelihood Funktion (bis auf die irrelevante additive Konstante −n ln(2π)/2)  n  Xt2 1
2 + ln v Ln (a, b) = − (a, b) (14.33) t 2 t=1 vt2 (a, b) mit vt2 (a, b)

⎧ ⎨ =

⎩

a0 +

min(t−1,p) 

2 ai Xt−i +

i=1

a0 /(1 − b1 − . . . − bq ),

q  j=1

2 bj vt−1 (a, b), t ≥ 1

(14.34) t = 1 − q, . . . , 0 .

314

14 Grundlagen finanzieller Zeitreihen

( a, b)T bezeichne die Maximalstelle von Ln (a, b) gem¨aß (14.33) u ¨ber einer kompakten Teilmenge K ⊂ (0, ∞) × [0, ∞)p × B mit B ⊂ Rq gem¨aß q T B = {(b1 , . . . , bq ) : 0 ≤ bj < 1, j = 1, . . . , q und j=1 bj < 1}. Dann heißt ( a, b)T Quasi Maximum Likelihood (QML)–Sch¨ atzer f¨ ur (a, b)T . Berkes et al. (2003) haben den ersten rigorosen Beweis f¨ ur die Konsistenz und die asymptotische Normalit¨ at des QML–Sch¨ atzers im GARCH–Modell gegeben. Ihr Resultat lautet wie folgt. Satz 14.12 (Konsistenz und asymptotische Normalit¨ at des QML–Sch¨ atzers im GARCH–Modell) are GARCH(p, q)–Zeitreihe mit Parameter Sei (Xt : t ∈ Z) eine streng station¨ (a, b)T = (a0 , a1 , . . . , ap , b1 , . . . , bq )T . Unter den Voraussetzungen (14.28) (a, b)T liegt im Inneren von K

(14.35)

die Verteilung von e2t ist keine Einpunktverteilung ,

(14.36)

ur ein beliebiges µ > 0 , es gilt lim x−µ P {e2t ≤ x} = 0 f¨

(14.37)

x→0

ur ein δ > 0 gilt sowie E|et |2+δ < ∞ f¨ ur n → ∞ ( a, b)T −→ (a, b)T f.s f¨

(14.38)

d.h. der QML–Sch¨ atzer ist konsistent. Unter (14.28), (14.35) - (14.38) und ur ein beliebiges δ > 0 gilt außerdem die folgende asymptotische E|et |4+δ < ∞ f¨ Normalit¨ at f¨ ur den QML–Sch¨ atzer   √ n ( a, b)T − (a, b)T −→ N (0, Σ(a, b)) , (14.39) f¨ ur eine geeignete (p + q + 1) × (p + q + 1)–Matrix Σ(a, b). Beweis: Siehe Berkes et al. (2003) Theorem4.1 und Theorem 4.2   Bemerkung 14.13 (i) (14.37) ist erf¨ ullt, falls die Verteilung von et eine beschr¨ankte Lebesgue– Dichte in einer Umgebung von Null besitzt. (ii) Straumann (2005) gibt mit seinem Theorem 4.2.1 ein zu Satz (14.10) vergleichbares Resultat unter etwas abgeschw¨ achten Voraussetzungen an. (iii)Eine explizite Angabe der Kovarianzmatrix Σ(a, b) in (14.39) ist uns nicht bekannt.

14.2 Parametersch¨ atzung in GARCH–Modellen

315

Mit Hilfe des QML–Sch¨ atzers ( a, b)T k¨ onnen wir unter Verwendung von (14.34) die Volatilit¨aten σt , t = 1, . . . , n , des zugrunde liegenden GARCH– Prozesses approximativ rekonstruieren. Wir bezeichnen deshalb (man beachte (14.34)) a, b) , t = 1, . . . , n , σ t := vt (

(14.40)  

als rekonstruierte GARCH–Volatilit¨ at.

n Wir wollen nun noch den nichtparametrischen Sch¨atzer n1 t=1 Xt2 des Erwartungswertes Eσ12 = EX12 = a0 /(1 − a − b) der quadrierten Volatilit¨at im GARCH(1, 1)–Modell betrachten und mit Hilfe des zentralen Grenzwertsatzes Satz 10.8 f¨ ur schwach abh¨ angige Zufallsvariable seine asymptotische Normalit¨at nachweisen. Bemerkenswert ist dabei, dass im Gegensatz zu den fr¨ uheren Grenzwerts¨ atzen hier kein linearer Prozess zugrunde liegt. Satz 14.14 (Asymptotische Normalit¨ at in GARCH(1, 1)-Modellen) are GARCH(1, 1)–Reihe, deren Innovationen et Sei (Xt ) eine streng station¨ die Momentenbedingung E(ae21 + b)2 = a2 η + 2ab + b2 < 1 mit η := Ee41

(14.41)

erf¨ ullen. Dann gilt die Grenzwertaussage 1
2 D √ (X − Eσ12 ) → N (0, a20 τ 2 ) , n t=1 t n

mit 1+a+b τ = (1 − a − b)2 2



η(1 + a − b) + 2b 1 − 1 − (a2 η + 2ab + b2 ) 1 − a − b

(14.42)

 .

(14.43)

achlich nichtnegativ ist, beachte man, dass die rechte Um zu sehen, dass τ 2 tats¨ Seite von (14.43) monoton fallend in η ist und η minimal den Wert 1 annehur η = 1 ist die rechte Seite jedoch men kann wegen η = Ee41 ≥ (Ee21 )2 = 1 . F¨ gleich Null. Den Beweis von Satz 14.14 haben wir in die Serie der Aufgaben 14.4, 14.6, 14.7 zerlegt. Von der Idee her folgt er dem Muster von Satz 10.15. Zum Ende dieses Abschnitts wollen wir noch eine Invertibilit¨at f¨ ur GARCH– Zeitreihen formulieren und beweisen. Es gilt Satz 14.15 (Invertibilit¨ at von GARCH–Zeitreihen) are GARCH(p, q)–Zeitreihe mit der Bedingung Sei (Xt ) eine q streng station¨  p i=1 ai + j=1 bj < 1. Dann gilt die Darstellung σt2 =

1−

a0 q  j=1

+ bj

∞
k=0

2 ck Xt−k ,

∀t ∈ Z,

(14.44)

316

14 Grundlagen finanzieller Zeitreihen

mit ∞


ck z k =

k=1

a1 z + . . . + ap z p , 1 − b1 z − . . . − b q z q

∀ |z| ≤ 1 + δ ,

(14.45)

t = 1, 2, . . . ,

(14.46)

f¨ ur ein geeignetes δ > 0. F¨ ur σ t2 :=

1−

a0 q 

+ bj

t−1


2 ck Xt−k ,

k=1

j=1

gilt, dass ein  > 1 existiert mit t | σt2 − σt | = OP (1) .

(14.47)

Schließlich gilt f¨ ur vt2 (a, b) gem¨ aß (14.34) die Identit¨ at vt2 (a, b) = σ t2 ,

∀t ≥ 1.

(14.48)

Bevor wir Satz 14.15 beweisen sei angemerkt, dass (14.48) zusammen mit (14.47) im Nachhinein die Approximation der bedingten Varianz durch vt2 (a, b) zur Konstruktion des QML–Sch¨ atzers rechtfertigt. Die Darstellung (14.44) ist eine Art AR(∞)–Darstellung f¨ ur GARCH–Zeitreihen.

1.0 0.8 0.6 0.4 0.2 0.0 −0.2 −0.4 −0.6 −0.8 −1.0 0

5

10

15

20

25

30

Abb. 14.5 Korrelogramm der gesch¨ atzten Innovationen aus einem an die log–returns des DAX angepassten GARCH(1, 1)–Modells

14.2 Parametersch¨ atzung in GARCH–Modellen

317

Beweis: Dadie Bedingung an die Parameter impliziert, dass das Polynom q B(z) = 1 − j=1 bj z j keine Nullstellen im abgeschlossenen Einheitskreis der komplexen Zahlenebene besitzt (also auch keine Nullstellen f¨ ur |z| ≤ 1+δ, mit δ > 0 geeignet hat), folgt ganz genauso wie im Falle von ARMA–Zeitreihen, dass die Koeffizienten (ck : k ≥ 1) der Potenzenreihe in (14.45) in geometrischer Rate abklingen. Damit und wegen EXt2 < ∞ (vgl. Satz 14.7) folgt, dass die rechte Seite in (14.44) wohldefiniert ist, da die Reihe absolut fast sicher konvergiert, siehe auch Abschnitt 7.3. Durch direktes Einsetzen erh¨ alt man, dass die rechte Seite von (14.44) die GARCH–Rekursion (14.21) erf¨ ullt. Dabei beachte man, dass f¨ ur die Koeffizienten ck die Gleichung
0 haben. Weiter gelte f¨ ur j = k Cov(ej1 , ek1 ) = Cov(ej2 , ek2 ) =: σjk

(15.33)

Cov(ej1 , ek2 ) = −Cov(ek1 , ej2 ) =: τjk .

(15.34)

und

Also ist σ12 die Kovarianz der Amplituden der in Phase“ befindlichen Anteile ” von X1 und X2 (d.h der Kosinus–Anteil von X1 verglichen mit dem Kosinus– Anteil von X2 und entsprechend mit den Sinus–Anteilen), w¨ahrend τ12 die Kovarianz der Amplituden der phasenverschobenen“ Anteile von X1 und ” X2 ist (d.h der Kosinus–Anteil von X1 verglichen mit dem Sinus–Anteil von X2 , bzw. mit negativem Vorzeichen bei Vertauschung von X1 und X2 ). Dann ist leicht zu sehen (s. Aufgabe 15.4), dass die zweidimensionale Zeitreihe X(t) = (X1 (t), X2 (t))T , t ∈ Z , schwach station¨ ar ist mit den Autokovarianzen γ11 (h) = σ12 cos(ω0 h)

(15.35)

γ22 (h) = σ22 cos(ω0 h) , γ12 (h) = σ12 cos(ω0 h) + τ12 sin(ω0 h) .

Die zugeh¨ orige Spektralmaße µ11 , µ22 und µ12 sind diskret mit den beiden ur die zugeh¨origen Z¨ahldichten f11 , f22 Tr¨agerpunkten ω0 und −ω0 . Es gilt f¨ und f12  1 1(ω = −ω0 ) + 1(ω = ω0 ) σ12 , (15.36) 2  1 f22 (ω) = 1(ω = −ω0 ) + 1(ω = ω0 ) σ22 , 2   1 1 f12 (ω) = 1(ω = −ω0 ) + 1(ω = ω0 ) σ12 + i 1(ω = −ω0 ) − 1(ω = ω0 ) τ12 . 2 2

f11 (ω) =

15.2 Multivariate Filter

335

Den Realteil von f12 (ω) (also im Wesentlichen σ12 /2) nennt man Kospektrum und den Imagin¨ arteil von f12 (also im Wesentlichen ±τ12 /2) nennt man Quadraturspektrum. Wir haben diese Begriffe schon jetzt eingef¨ uhrt, um sp¨ater in Abschnitt 15.3, in dem es um stetige Spektraldichten fjk geht, eine Interpretation des Ko–und Quadraturspektrums zur Verf¨ ugung zu haben.  

15.2 Multivariate Filter Sei Y = (Yt : t ∈ Z) eine r–variate, station¨ are, zentrierte komplexe Zeitreihe mit Spektralmatrix µY = (µYij )i,j=1,...,r . Sei nun ϕ = (ϕκj )κ=1,...,k,j=1,...,r eine Y Y Y Matrix von Funktionen ϕκj ∈ LC 2 (µj ) ∀ κ, j, wobei µj = µjj das Spektralmaß der j–ten Komponente von Y ist. Wir definieren nun eine k–variate Zeitreihe X = (X(t) : t ∈ Z) durch r %  
(15.37) X(t) = eit· ϕκj dZjY % =:

κ=1,...,k

j=1

eit· ϕ dZ Y ,

∀t ∈ Z.

k k Offenbar ist X(t) ∈ (LC 2 (P )) mit EX(t) = 0 ∈ C . Unter Verwendung von (15.29) erh¨ alt man leicht ⎞ ⎛ r % r

ϕκj ϕκ j  eih· dµYjj  ⎠ (15.38) EX(t + h)X(t)T = ⎝ j=1 j  =1

(−π,π]

κ,κ =1,...,k

Y woraus sich die schwache Stationarit¨ at von X ergibt. Sind fjj  m–Dichten von Y Y Y µjj  wie im Beweis von Satz 15.4 und f = (fjj  ), so schreibt sich (15.38) in Matrixform als % (15.39) ΓX (h) = EX(t + h)X(t)T = eih· ϕf ϕ∗ dm % =: eih· ϕ dµY ϕ∗ , ∀ h ∈ Z .

Da in (15.39) das Integral nicht vom dominierenden Maß m abh¨angt, ist die symbolische Schreibweise im letzten Ausdruck gerechtfertigt. Die zu X geh¨orige Spektralmatrix µX ist wegen (15.39) % % µX (B) = ϕf ϕ∗ dm =: ϕ dµY ϕ∗ , ∀ B ∈ B ∩ (−π, π] , (15.40) B

B

und das MOW zu X ist f¨ ur B ∈ B ∩ (−π, π] r % 
 Z X (B) = 1B ϕκj dZjY j=1

κ=1,...,k

% =:

1B ϕ dZ Y .

(15.41)

336

15 Grundlagen multivariater Zeitreihen

Es gilt n¨ amlich unter Verwendung von (15.29) offenbar f¨ ur κ = 1, . . . , k und A, B ∈ B ∩ (−π, π]

ZκX (A), ZκX (B) = µX κ (A ∩ B).

(15.42)

Weiter gilt f¨ ur jede komplexwertige Funktion g auf (−π, π] mit g · ϕκj ∈ Y LC 2 (µj ) ∀ κ, j die Gleichung % g dZκX =

r %


gϕκj dZjY ,

κ = 1, . . . , k ,

(15.43)

j=1

wie sich aus (15.41) u ¨ber den Aufbau messbarer Funktionen ergibt. Hieraus ergibt sich die multivariate Substitutions– oder Kettenregel f¨ ur das Hintereinanderschalten von Filtern. Satz 15.9 (Multivariate Substitutionsregel) Sei Y = (Y (t) : t ∈ Z) eine r–variate station¨ are, zentrierte komplexe Zeitreihe mit Spektralmatrix µY und ϕ = (ϕκj )κ=1,...,k, j=1,...,r eine Filtermatrix mit Y ϕκj ∈ LC 2 (µj ) ∀ κ, j. Sei weiter eine Filtermatrix ψ = (ψλκ )λ=1,...,l,κ=1,...,k Y gegeben mit ψλκ ϕκj ∈ LC 2 (µj ) ∀ λ, κ, j. Dann gilt mit der Zeitreihe X aus (15.37) die Gleichheit % % ψ dZ X = ψ · ϕ dZ Y . (15.44) Der Beweis folgt aus (15.43), indem g = ψλκ gesetzt und u ¨ber κ summiert wird. Schließlich erhalten wir auch ein Analogon zu Satz 6.3. Satz 15.10 (Multivariate Filter in Reihendarstellung) ur die k × r–Matrix Falls Matrizen cs ∈ Ck×r , s ∈ Z, existieren derart, dass f¨ ϕ = (ϕκj )κ=1,...,k,j=1,...,r die Reihenentwicklungen +∞


ϕκj (ω) =

cs (κ, j)e−isω

(15.45)

s=−∞ Y in LC 2 (µj ) gelten ∀ κ, j, so folgt die Darstellung

Xt =

+∞


cs Yt−s ,

∀t ∈ Z,

(15.46)

s=−∞

wobei die Konvergenz komponentenweise in LC 2 (P ) zu verstehen ist. # Der Beweis folgt aus der univariaten Version (Satz 6.3) gem¨aß ϕκj eit· dZjY = +∞ ¨ber j. s=−∞ cs (κ, j)Yj (t − s) durch Summation u

15.3 Der quadratische Koh¨ arenzkoeffizient

337

15.3 Der quadratische Koh¨ arenzkoeffizient und verwandte Gr¨ oßen Wird eine r–dimensionale Zeitreihe X = (Xt : t ∈ Z) betrachtet, so interessiert nat¨ urlich die Frage, wie sich die Abh¨ angigkeit zwischen zwei Komponenten Xj (t) und Xk (t) , j = k , der Zeitreihe messen l¨aßt. Hierzu stellen wir die ¨ folgenden Uberlegungen an. Unter der Voraussetzung, dass X eine r–variate, station¨are, zentrierte und komplexe Zeitreihe mit r ≥ 2 ist, stellen wir uns die Frage, wie man durch Anwendung eines univariaten Filters ϕ ∈ LC 2 (µj ) auf Xj die Reihe (Xk (t) : t ∈ Z) m¨oglichst gut approximieren kann. Wir suchen also ein ϕ derart, dass der Anpassungsfehler % (15.47) Xk (t) − eit· ϕ dZj 2 =: ∆(ϕ) minimal wird. Dabei bezeichnet (Z1 , . . . , Zr )T das zu X geh¨orige MOW mit Spektralmatrix µ = (µjk ), µj = µjj , µk = µkk . Ist m ein dominierendes Maß wie in den Ausf¨ uhrungen im Anschluss an Satz 15.4 und sei fjk = dµjk /dm, so erh¨ alt man unter Verwendung von (15.29) und (15.14) % % % % ∆(ϕ) = fkk dm + |ϕ|2 fjj dm − ϕfkj dm − ϕf kj dm % % % fkj 2 |fkj |2 | fjj dm − dm = fkk dm + |ϕ − fjj fjj  % % |fkj |2 fkj 2 = 1− | dµj . (15.48) dµk + |ϕ − fkk fjj fjj Dabei erstrecken sich alle Integrale u ¨ber (−π, π]. Man verwende außerdem die Konvention 0/0 = 0, sowie die Ungleichung (15.17). Offenbar wird ∆(ϕ) f minimal durch Wahl von ϕopt = fkj . Dabei geh¨ ort fkj /fjj wegen (15.17) zu jj C L2 (µj ). # Der sich ergebende optimal approximierende Prozess eit· (fkj /fjj )dZj hat altnis dieser Spektraldichte zur Spekdie Spektraldichte |fkj |2 /fjj . Das Verh¨ traldichte von (Xk ), also 2 Kjk (ω) :=

|fjk (ω)|2 |fkj (ω)|2 = , fkk (ω)fjj (ω) fjj (ω)fkk (ω)

ω ∈ (−π, π) ,

(15.49)

nennt man quadratischen Koh¨ arenzkoeffizienten (oder auch quadratische Ko2 h¨arenz), wobei in(15.49) Kjk (ω) zu Null gesetzt wird, wenn der Nenner verschwindet. # Da E|Xk (t)|2 = (−π,π] fkk (ω) m(dω) die Varianz des Prozesses Xk ist und # |f (ω)|2 /fjj (ω) m(dω) die Varianz des optimal approximierenden Pro(−π,π] kj 2 zesses (auf Basis von (Xj )), kann man Kjk (ω) als den Varianzanteil von Xk

338

15 Grundlagen multivariater Zeitreihen

zur Frequenz ω interpretieren, der durch Xj (linear) erkl¨art werden kann. 2 Offenbar ist Kjk von der Wahl des dominierenden Maßes m unabh¨angig. Im Grunde wird (15.49) nur verwendet, wenn m das Lebesgue–Maß ist, also wenn Spektraldichten existieren, z.B. wie im Fall der multivariaten Inversionsformel (Satz 15.5). Analog zum univariaten Fall w¨ ahlt man dann aus Symmetriegr¨ unden meist das abgeschlossene Intervall [−π, π] als Definitionsbereich der ur m–fast alle ω fjk . Nach (15.17) gilt f¨ 2 (ω) ≤ 1 0 ≤ Kjk

(15.50)

und aus (15.47) ergibt sich f¨ ur den Anpassungsfehler bei Verwendung des optimalen Filters ϕopt % 2 ∆(ϕopt ) = (1 − Kjk )dµk , (15.51) (−π,π]

wobei der Integrand wegen (15.50) nichtnegativ ist. Mit der obigen Bezeichnung liest man nun aus der Formel (15.48) leicht das folgende Resultat ab. Satz 15.11 Genau dann existiert ein Filter ϕ ∈ LC 2 (µj ) mit % Xk (t) = eit· ϕ dZj , ∀ t ∈ Z ,

(15.52)

wenn gilt 2 (ω) = 1 f¨ ur µk –fast alle ω ∈ (−π, π] . Kjk

(15.53)

Beweis: Die Gleichung (15.52) ist ¨ aquivalent mit ∆(ϕ) = 0. Nach (15.48) # 2 2 )dµk = 0; wegen Kjk ≤ 1 m–f.s., folgt(15.53). ergibt sich daraus (−π,π] (1−Kjk  Umgekehrt folgt aus (15.53) mit ϕ = ϕopt aus (15.51) sofort ∆(ϕopt ) = 0.  Der Maximalwert 1 der quadratischen Koh¨ arenz f¨ ur alle Frequenzen geht also einher mit der M¨ oglichkeit, Xk mit Hilfe eines Filters aus Xj zu rekonstruieren. 2 (ω) = 0 f¨ ur m–fast alle ω , bedeutet gem¨aß Das andere Extrem, n¨ amlich Kjk Satz 15.4 gerade die Unkorreliertheit von Xk (t) und Xj (s) ∀s, t ∈ Z. Die quadratische Koh¨ arenz zwischen Xj und Xk a ¨ndert sich nicht, wenn beide Komponenten nicht ausl¨ oschend gefiltert werden. Genauer gilt mit obigen Bezeichnungen Satz 15.12 C Seien ϕj ∈ LC Koh¨ arenz der k ). Dann ist die quadratische 2 (µj ) und ϕk ∈ L # 2 (µ # gefilterten Zeitreihen Yj (t) = eit· ϕj dZj und Yk (t) = eit· ϕk dZk dieselbe wie die der urspr¨ unglichen Zeitreihen Xj und Xk an allen Stellen ω mit ϕj (ω) · ϕk (ω) = 0.

15.3 Der quadratische Koh¨ arenzkoeffizient

339

 

Beweis: Aufgabe 15.2 .

Wir wollen nun noch einige weitere Gr¨ oßen, die im Zusammenhang mit Kreuzspektraldichten gebr¨ auchlich sind, vorstellen. Dazu setzen wir die Situation der multivariaten Inversionsformel (Satz 15.5) voraus. Dar¨ uberhinaus sei X reell, sodass alle γjk (h) ebenfalls reell sind. In Fragen von praktischem Interesse sind diese Voraussetzungen in der Regel erf¨ ullt. Ein dominierendes Maß m ist in diesem Fall das Lebesgue–Maß auf (−π, π] und Radon–Nikodym Abonnen nach Formel (15.20) berechnet werden und sind dann leitungen fjk k¨ stetig auf (−π, π]. Da fjk (im Folgenden sei stets j = k) im Allgemeinen komplexwertig ist, geht man meist ¨ aquivalent zur Angabe des Real– und Imagin¨arteils u ¨ber. Schreiben wir dazu in (15.20) e−ihω = cos hω − i sin hω und zerlegen γjk in die Differenz einer geraden und ungeraden Funktion gem¨ aß γjk (h) =

γjk (h) + γjk (−h) γjk (−h) − γjk (h) − , 2 2

(15.54)

so ergibt sich die gew¨ unschte Zerlegung von fjk in Realteil cjk und Imaaß gin¨arteil qjk gem¨ fjk (ω) = cjk (ω) + i qjk (ω)

(15.55)

mit < @ +∞ γjk (h) + γjk (−h) 1
cos(ωh) 2π 2

(15.56)

< @ +∞ γjk (−h) − γjk (h) 1
sin(ωh) qjk (ω) = . 2π 2

(15.57)

cjk (ω) =

h=−∞

und

h=−∞

Man nennt cjk das Kospektrum und qjk das Quadraturspektrum von fjk . In einigen Lehrb¨ uchern, z.B. Brockwell/Davis (1991), wird der Negativwert von qjk als Quadraturspektrum bezeichnet; wir folgen in der Bezeichnung aber Hamilton (1994). Man liest aus (15.56) und (15.57) unmittelbar ab, dass das Kospektrum eine gerade Funktion und das Quadraturspektrum eine ungerade Funktion ist, also dass cjk (ω) = cjk (−ω) und qjk (ω) = −qjk (−ω) , gilt. Hieraus folgt unmittelbar Cov(Xj (t), Xk (t)) =

%

∀ ω ∈ [−π.π] ,

(15.58)

π

−π

cjk (ω) dω ,

(15.59)

sodass das Kospektrum cjk (ω) als der Kovarianzanteil von Xj (t) und Xk (t) zur Frequenz ω interpretiert werden kann.

340

15 Grundlagen multivariater Zeitreihen

Beispiel 15.13 In Fortsetzung von Beispiel 15.2 erh¨alt man durch Berechnung von f12 = c12 + i q12 mit Hilfe der Inversionsformel (15.20) oder auch mit Hilfe von (15.56) und (15.57) 1 (1 + b cos ω) 2π b sin ω , ∀ ω ∈ [−π, π]. q12 (ω) = 2π c12 (ω) =

  Eine gewisse Interpretation von Ko– und Quadraturspektrum wird durch die ¨ folgenden Uberlegungen gegeben Bemerkung 15.14 (Ko– und Quadraturspektrum) Seien f¨ ur j = 1, 2 reelle, zentrierte, station¨ are Zeitreihen (Xj (t) : t ∈ Z) gegeben, f¨ ur die die Voraussetzungen der Inversionsformel vorliegen. Nach Aufgabe 6.6 gibt es f¨ ur j = 1, 2 reelle Spektraldarstellungen % % Xj (t) = 2 cos(tω)dUj (ω) + 2 sin(tω)dVj (ω) , ∀ t ∈ Z . (0,π)

(0,π)

Dabei sind Uj und Vj , reellwertige, orthogonale MOW’s auf (0, π). Die Kovarianz der Amplituden der in Phase schwingenden Komponenten“ cos(ωt)dU1 (ω) ” und cos(ωt)dU2 (ω) sowie sin(ωt)dV1 (ω) und sin(ωt)dU2 (ω) ist (zun¨achst in informeller Schreibweise; eine mathematisch exakte Formulierung findet sich in ¨ Aufgabe 15.3. Man vergleiche auch die Uberlegungen in Beispiel 15.8, in dem ahldichten sind.) die fjk Z¨ 1 c12 (ω)dω , 2 w¨ahrend die Kovarianz der Amplituden der phasenverschobenen Komponen” ten“ cos(ωt)dU1 (ω) und sin(ωt)dV2 (ω) sowie cos(ωt)dU2 (ω) und sin(ωt)dV1 (ω) gleich 1

dU1 (ω), dV2 (ω) = − dU2 (ω), dV1 (ω) = q12 (ω)dω , 2 ist. Damit ist

dU1 (ω), dU2 (ω) = dV1 (ω), dV2 (ω) =

c12 (ω)dω = dU1 (ω), dU2 (ω) + dV1 (ω), dV2 (ω) , die Summe der Gewichte der Kovarianzen der in Phase schwingenden Anteile der Reihen X1 und X2 zur Frequenz ω und q12 (ω) entsprechend die Differenz der Gewichte der Kovarianzen f¨ ur die phasenverschobenen Anteile, also q12 (ω)dω = dU1 (ω), dV2 (ω) − dU2 (ω), dV1 (ω) .  

15.3 Der quadratische Koh¨ arenzkoeffizient

341

Eine Zerlegung von fjk in Polarkoordinaten liefert fjk (ω) = αjk (ω)eiϑjk (ω)

(15.60)

mit dem sogenannten Amplitudenspektrum 2 (ω))1/2 = |fjk (ω)| αjk (ω) = (c2jk (ω) + qjk

und dem sogenannten Phasenspektrum ϑjk (ω) = arg(fjk (ω)) ∈ (−π, π] von Xj und Xk , wobei arg(z) die Argumentfunktion ist, die einer komplexen Zahl in Polarkoordinatenform z = reiϕ mit r > 0, ϕ ∈ (−π, π], den Wert ϕ zuordnet. Im folgenden Beispiel werden wir sehen, dass sich eine Zeitverz¨ogerung der uber Xj (t) in einer positiven Steigung von ϑjk (ω) Komponente Xk (t) gegen¨ widerspiegelt. Beispiel 15.15 (Zeitverz¨ ogerung und Phasenspektrum) Wir nehmen an, dass (Xk (t)) eine zeitverz¨ ogerte Version von (Xj (t)) ist, d.h. f¨ ur d > 0 gelte Xk (t) = Xj (t − d). Wir erhalten dann die Darstellung % Xk (t) = ei(t−d)ω dZj (ω) (15.61) und damit

% γjk (h) =

π

−π

ei (h+d)ω fjj (ω) dω .

(15.62)

ahrend das Amplituden–Spektrum |fjk (ω)| unAlso ist fjk (ω) = eidω fjj (ω). W¨ abh¨angig von d ist, erh¨ alt man als Phasen–Spektrum den Ausdruck ϑjk (ω) = angigkeit von ω so bestimmt ist, arg(eidω ) = dω − j2π, wobei j ∈ Z in Abh¨ dass dω − j 2π ∈ (−π, π] gilt. Das Phasenspektrum ist also st¨ uckweise linear mit einer Steigung, die gleich der Zeitverschiebung d ist.   Beispiel 15.16 (Ein ¨ okonomisches Modell von Preis und Angebot) Y1 (t) beschreibe den vom Mittelwert abweichenden Preis einer Ware und Y2 (t) das vom Mittelwert abweichende Angebot dieser Ware zur Zeit t. Dabei sollen folgende Beziehungen gelten. Y1 (t) = −a1 Y2 (t) + e1 (t)

(15.63)

Y2 (t) = a2 Y1 (t − 1) + e2 (t) mit Konstanten 0 < a1 , a2 < 1 und zwei untereinander unkorrelierten weißen Rauschen ej (t) ∼ (0, σj2 ), j = 1, 2. Die Gleichungen (15.63) k¨onnen als

342

15 Grundlagen multivariater Zeitreihen

zweidimensionale Filtergleichungen geschrieben werden. Man definiere dazu aß ϕ(ω) = A(e−iω ) und die Filtermatrix ϕ = (ϕκj )κ,j=1,2 gem¨   1 a1 . A(z) = −a2 z 1 Mit Y (t) = (Y1 (t), Y2 (t))T , e(t) = (e1 (t), e2 (t))T und den zugeh¨origen MOW’s Z Y = (Z1Y , Z2Y )T , Z e = (Z1e , Z2e )T ist (15.63) gleichbedeutend mit % eit· ϕ dZ Y = e(t), ∀ t ∈ Z . (15.64) Da die Determinante det A(z) = 1 + a1 a2 z f¨ ur |z| < (a1 a2 )−1 nicht verschwindet, insbesondere auch nicht f¨ ur alle |z| = 1, existiert ϕ−1 (ω) ∀ ω ∈ [−π, π] −1 ankte Funktionen, so dass Y (t) := und Komponenten von ϕ sind beschr¨ # it·alle e ϕ−1 dZ e existiert. Eine Anwendung der multivariaten Substitutionsregel (vgl. Satz 15.9) zeigt, dass % % % eit· ϕ dZ Y = eit· ϕ · ϕ−1 dZ e = eit· dZ e = e(t) gilt. Somit l¨ ost die oben definierte Reihe Y = (Y (t) : t ∈ Z) die Gleichungen (15.63) bzw. (15.64). Die L¨ osung ist auch eindeutig, wie eine Anwendung des Filters ϕ−1 auf (15.64) zeigt. 1 Mit der Diagonalmatrix f e (ω) = 2π diag(σ12 , σ22 ) der Spektraldichten des weißen Rauschens e ergibt (15.39) als Matrix der Spektraldichten f Y (ω) f Y (ω) = ϕ−1 (ω)f e (ω)(ϕ−1 (ω))∗ (15.65)  2  1 1 σ12 a2 eiω − σ22 a1 σ1 + σ22 a21 = . 2π |1 + a1 a2 e−iω |2 σ12 a2 e−iω − σ22 a1 σ12 a22 + σ22 Der quadratische Koh¨ arenzkoeffizient ergibt sich demnach zu 2 (ω) = K12

=

|σ12 a2 eiω − σ22 a1 |2 2 (σ1 + σ22 a21 )(σ12 a22 + σ22 ) σ14 a22 + σ24 a21 − 2σ12 σ22 a1 a2 cos ω (σ12 + σ22 a21 )(σ12 a22 + σ22 )

(15.66)

und das Phasenspektrum lautet ϑ12 (ω) = arg(σ12 a2 eiω − σ22 a1 ) .

(15.67)

Die quadratische Koh¨ arenz wird maximal bei ω = π, d.h. dass der lineare Zusammenhang zwischen Preis und Angebot bei hohen Frequenzen am st¨arksten ist. Man u ¨berlegt sich leicht, dass ϑ12 (ω) in der N¨ahe von π monoton steigend ist, die Ableitung ϑ12 in diesem Bereich also positiv ist. Dies kann in Analogie zu Beispiel 15.15 als eine zeitliche Verz¨ ogerung der Warenmenge gegen¨ uber dem Preis f¨ ur ω in der N¨ ahe von π gedeutet werden. Um festzustellen, ob dieses Modell in realen Situationen brauchbar ist, ben¨otigt man auf Beobachtungen basierende Sch¨ atzwerte der Spektraldichten. Hierzu ¨ dienen die Uberlegungen im folgenden Abschnitt 15.4  

15.4 Sch¨ atzer der Spektraldichtematrix

343

15.4 Sch¨ atzer der Spektraldichtematrix In diesem Abschnitt wollen wir kurz vorstellen, wie die Spektraldichten und Kreuzspektraldichten multivariater Zeitreihen gesch¨atzt werden k¨onnen. Dabei gehen wir im Rahmen dieser Einf¨ uhrung jedoch nicht auf Beweise und technische Einzelheiten ein. Tats¨ achlich kann man vollst¨andig analog zum univariaten Fall vorgehen und entsprechend Gleichung (12.46) Lag–Window– aß Sch¨atzer f¨ ur fjk definieren gem¨  
h 1  k γ (h)e−ihω , 0 ≤ ω ≤ π , (15.68) fn,jk (ω) = 2π M (n) jk |h|≤M (n)

n−|h| ur j = k im Allgemeinen mit γjk (h) = 1/n t=1 Xj (t)Xk (t + |h|). Da fjk f¨ komplex ist, sch¨ atzt man meist den Realteil cjk und Imagin¨arteil qjk , also reelle Gr¨ oßen gem¨ aß  cjk = Re fjk und qjk = Im fjk . Ausgeschrieben bedeutet dies f¨ ur 0 ≤ ω ≤ π  
γjk (h) + γjk (−h) h 1 (15.69) k  cn,jk (ω) = cos(ωh) 2π M (n) 2 |h|≤M (n)  
γjk (−h) − γjk (h) h 1 . (15.70) qn,jk (ω) = k sin(ωh) 2π M (n) 2 |h|≤M (n)

Unter entsprechenden Voraussetzungen wie im univariaten Fall kann gezeigt werden (siehe Hannan (1970), S. 289), dass f¨ ur j = k der vierdimensio n (ω) = (fjj (ω), fkk (ω),  nale reelle Vektor H cjk (ω), qjk (ω))T f¨ ur ω ∈ [0, π] eine vierdimensionale asymptotische Normalverteilung besitzt mit Mittelwertvektor H(ω) := (fjj (ω), fkk (ω), cjk (ω), qjk (ω))T und Kovarianzmatrix (M (n)/n) τ 2 (ω) · V (ω) mit τ 2 (ω) aus (12.60) und V (unter Auslassung des Arguments ω) gem¨ aß ⎛ 2 ⎞ fjj |fjk |2 fjj cjk fjj qjk 2 ⎜ ⎟ fkk fkk ckj fkk qjk ⎟. V =⎜ 1 2 2 ⎝ ⎠ (f f + c − q ) c q jk jk jk jk 2 jj kk 1 2 2 symmetrisch 2 (fjj fkk − cjk + qjk ) (15.71) Genauer gilt f¨ ur n → ∞ > n D  n (ω) − H(ω)) → (H N (0, τ 2 (ω)V (ω)) . M (n)

(15.72)

Wie in Abschnitt 12.6 k¨ onnen punktweise Konfidenzintervalle f¨ ur das Ko– Spektrum, das Quadratur–Spektrum, den quadratischen Koh¨arenzkoeffizienten, sowie Amplituden- und Phasenspektrum (mit Hilfe der Delta–Methode)

344

15 Grundlagen multivariater Zeitreihen

hergeleitet werden. Wir verzichten hier auf eine explizite Darstellung und verweisen z.B. auf Brockwell/Davis (1991). Vielmehr wollen wir uns in dem folgenden Abschnitt mit der multivariaten Verallgemeinerung der ARMA– Modelle befassen.

15.5 Multivariate ARMA–Reihen Eine unmittelbare Verallgemeinerung der univariaten ARMA–Reihen kann wie folgt definiert werden. Definition 15.17 (Multivariate ARMA–Reihen) Eine multivariate ARMA(p, q)–Reihe ist eine komplexe, zentrierte, station¨ are r–dimensionale Zeitreihe, die eine Gleichung p


aj Xt−j =

j=0

q


bj et−j ,

∀t ∈ Z,

(15.73)

j=0

erf¨ ullt mit gegebenen Koeffizientenmatrizen aj , bj ∈ Cr×r , p, q ∈ N, a0 = b0 = Ir die r × r–Einheitsmatrix, ap = 0, bq = 0 und einem geeigneten reellen oder komplexen r–dimensionalen weißen Rauschen e ∼ WR(0, Σ) . Genau wie im univariaten Fall k¨ onnen wir die ARMA–Gleichung (15.73) mit Hilfe von Filtern oder dem Lag–Operator darstellen. Bemerkung 15.18 (Die ARMA–Gleichung in Filterdarstellung) q p Seien A(z) = j=0 aj z j , B(z) = j=0 bj z j , z ∈ C , die (matrixwertigen) z–Transformationen und ϕ(ω) = A(eiω ), ψ(ω) = B(e−iω ) damit gebildete Filter, so schreibt sich (15.73) mit Hilfe dieser Filter und der zugeh¨origen MOW’s ZX und Ze wie folgt. % % eit· ϕ dZX = eit· ψ dZe , ∀ t ∈ Z . (15.74) Auch die kompakte Darstellung A(L)Xt = B(L)et ,

∀t ∈ Z,

(15.75)

mit dem Lag–Operator L ist wie im univariaten Fall zu verstehen (siehe Bemerkung 7.3).   In weitgehender Analogie zum univariaten Fall gilt das folgende Resultat zur Existenz und Eindeutigkeit von L¨ osungen. Satz 15.19 (Existenz und Eindeutigkeit von L¨ osungen der ARMA–Gleichg.) Sei det A(z) = 0 f¨ ur alle z mit |z| ≤ 1 (es existiere also die Inverse von A(z)

15.5 Multivariate ARMA–Reihen

345

f¨ ur derartige z). Dann hat die ARMA–Gleichung (15.73) genau eine L¨ osung. Diese ist gegeben durch % (15.76) X(t) = eit· ϕ−1 ψ dZe , ∀ t ∈ Z . Dabei kann X(t) in einer einseitigen MA–Darstellung X(t) =

∞


cs et−s ,

∀t ∈ Z

(15.77)

s=0

dargestellt werden, wobei cs die Entwicklungskoeffizienten(–Matrizen) der Potenzreihenentwicklung von A−1 (z)B(z) sind, also A−1 (z)B(z) =

∞


cs z s ,

(15.78)

s=0

die f¨ ur |z| ≤ 1 + ε, ε > 0 geeignet, (elementweise) konvergiert. Beweis: Wegen det A(z) = 0 sogar f¨ ur alle z mit |z| ≤ 1 + ε, ε > 0 geeignet, ur |z| ≤ 1 + ε existiert A−1 (z) in diesem Bereich und bildet elementweise eine f¨ ur |z| ≤ 1 + ε holomorph holomorphe Funktion. Dann ist auch A−1 (z)B(z) f¨ und l¨asst sich (elementweise) in eine konvergente Potenzreihe entwickeln, d.h. es gilt (15.78), wobei u ¨brigens wie im univariaten Fall (siehe Bemerkung 7.8) gilt |cs (x, j)| ≤ c −s ,

∀ s = 0, 1, 2, . . . ,

(15.79)

mit geeigneter Konstante c > 0 und  = 1+ε. Da die Komponenten von ϕ−1 ψ beschr¨ ankte Funktionen auf [−π, π] sind, ist ϕ−1 ψ ein Filter und damit X = (X(t) : t ∈ Z) gem¨ aß (15.76) ein zentrierte, station¨are Zeitreihe. Anwenden des Filter ϕ auf X liefert mit der Substitutionsregel (Satz 15.9) % % % it· X it· −1 e ϕ dZ = e ϕ(ϕ ψ) dZe = eit· ψ dZe , d.h X l¨ ost (15.73). Nach Satz 15.10 folgt die Darstellung (15.77). Anwendung des Filters ϕ−1 auf (15.74) zeigt außerdem, dass die L¨osung eindeutig ist.   Bemerkung 15.20 (Spektraldichtematrix einer ARMA–Reihe) In der Situation von Satz 15.19 ist nach (15.76), (15.26) und (15.39) die Spektraldichtematrix fX der ARMA–Reihe X gleich fX (ω) =

1  −1   −1 ∗ ϕ ψ Σ ϕ ψ (ω) , 2π

∀ ω ∈ [−π, π] .

(15.80)

346

15 Grundlagen multivariater Zeitreihen

Bemerkung 15.21 (Berechnung der Koeffizienten–Matrizen) Die Berechnung der Koeffizienten–Matrizen cj in ARMA–Modellen erfolgt (erneut analog zum univariaten Fall) am einfachsten rekursiv mit Hilfe der folgenden Formeln, ∞ die man durch Koeffizientenvergleich aus der Beziehung alt: B(z) = A(z) · s=0 cs z s erh¨ c0 = a0 = Ir ∈ Rr×r cj = bj −

j


ai cj−i ,

(15.81) j ≥ 1,

i=1

ur i > p und bj = 0 f¨ ur j > q. Wie im univariaten Fall nennt man mit ai = 0 f¨ wegen des Vorliegens der MA–Darstellung (15.77) mit (elementweise) absolut konvergenten Koeffizientenmatrizen cj die Reihe X = (X(t) : t ∈ Z) kausal. Auch der dazu duale Begriff der Invertibilit¨ at wird in v¨olliger Analogie zum univariaten Fall (vgl. Definition 7.11) benutzt. In Formel (7.16) ist dabei e = (et : t ∈ Z) ein r–variates weißes Rauschen und dj sind Matrizen aus Cr×r , ¨ deren Elemente absolut summierbar sind. Mit einer analogen Uberlegung wie in Satz 15.19 zeigt man, dass Invertibilit¨ at gegeben ist, wenn det B(z) = 0 , ∀ |z| ≤ 1 gilt. Die Autokovarianz Γ (h) = EX(t + h)X(t)∗ berechnet sich z.B. aus (15.10) oder aus den multivariaten Yule–Walker–Gleichungen. Γ (j) +

p
κ=1




aκ Γ (j − κ) =

bκ Σc∗κ−j

(15.82)

j≤κ≤q

f¨ ur j = 0, 1, 2, . . . , die man aus der ARMA–Gleichung (15.73) durch Multipli∗ und anschließender Erwartungswertbildung erh¨alt. Dabei l¨ost kation mit Xt−j man die ersten p + 1 Gleichungen, um zun¨ achst Γ (0), . . . , Γ (p) zu erhalten. Danach kann man Γ (j) f¨ ur j > p rekursiv aus (15.82) bestimmen.   Beispiel 15.22 (Multivariates AR(1)–Modell) Wir spezialisieren (15.82) nun f¨ ur das reelle, r–variate AR(1)–Modell. Die Yule–Walker–Gleichungen ergeben sich dann mit p = 1 und q = 0 zu < Γ (0) + a1 Γ (−1) = Σ (j = 0) (15.83) Γ (1) + a1 Γ (0) = 0 (j = 1) und Γ (j) + a1 Γ (j − 1) = 0

(j ≥ 2) .

(15.84)

Aus (15.83) folgt mit Γ (−1) = Γ (1)T sowie Γ (0) = Γ (0)T Γ (0) − a1 Γ (0)aT1 = Σ .

(15.85)

15.5 Multivariate ARMA–Reihen

347

Mit Hilfe des vec–Operators, der aus einer Matrix durch Untereinanderstellen der Spalten einen Spaltenvektor macht, und des Kronecker–Produkts von Matrizen (s. etwa L¨ utkepohl (1993)), kann man eine explizite L¨osung von (15.85) angeben. (15.85) ist n¨ amlich ¨ aquivalent zu vec Γ (0) − vec a1 Γ (0)aT1 = vec Σ . Wegen vec a1 Γ (0)aT1 = (a1 ⊗ a1 ) vec Γ (0) ergibt sich hieraus (Ir2 ×r2 − a1 ⊗ a1 ) · vec Γ (0) = vec Σ ,

(15.86)

also vec Γ (0) = (Ir2 ×r2 − a1 ⊗ a1 )−1 vec Σ .

10.0

10.0

8.0

8.0

6.0

6.0

4.0

4.0

2.0

2.0

0.0

0.0

−2.0

−2.0

−4.0

−4.0

−6.0

−6.0

−8.0

−8.0

−10.0

 

(15.87)

−10.0 0

100

200

300

400

500

0

100

200

300

400

500

Abb. 15.2 Simulation der L¨ ange n = 500 der zweidimensionalen AR(2)– Zeitreihe aus Beispiel 15.23

Beispiel 15.23 (Multivariates AR(2)–Modell) Wie man sich leicht klar macht, treten bei multivariaten ARMA–Modellen selbst f¨ ur kleinere Ordnungen schnell eine Vielzahl von Parametern auf. Um die Dimension der Parameter m¨ oglichst gering zu halten, versucht man des¨ halb in der praktischen Anwendung durch inhaltliche Uberlegungen m¨oglichst eine gewisse Strukturierung des Modells vorzunehmen. Besonders g¨ unstig ist

348

15 Grundlagen multivariater Zeitreihen

es nat¨ urlich, wenn gerechtfertigt werden kann, dass eine Reihe von Modellparametern gleich einem festen Wert (etwa Null) gesetzt werden k¨onnen und nicht gesch¨ atzt werden m¨ ussen. Als Beispiel betrachten wir das folgende zweidimensionale AR(2)-Modell     a1 0 a2 0 (15.88) Xt−1 + Xt−2 + et , t ∈ Z . Xt + 0 0 b1 b2 Wegen det A(z) = (1+a1 z+a2 z 2 )(1+b2 z 2 ) erf¨ ullen wir die hinreichende Bedingung f¨ ur die Existenz einer eindeutigen station¨ aren L¨osung von (15.88), wenn ats– und Kausalit¨atsbedigung die Parameter a1 und a2 die u ¨bliche Stationarit¨ f¨ ur univariate AR(2)–Prozesse erf¨ ullen und wenn |b2 | < 1 (vgl. Satz 15.19). ahlt werden. Man erkannt aus (15.88), dass die b1 kann offenbar beliebig gew¨ erste Komponente (X1 (t)) eine univariate AR(2)–Zeitreihe darstellt. Nur die zweite Komponente h¨ angt von zur¨ uckliegenden Beobachtungen beider Komur den Einfluss von X1 (t − 2) auf X2 (t). ponenten ab. b1 ist dabei der Faktor f¨ In Abbildung 15.2 ist eine simulierte Zeitreihe der L¨ange n = 500 mit den Parametern a1 = −1.27, a2 = 0.81, b1 = 1.00 und b2 = 0.80 zu sehen. Das weiße Rauschen ist zweidimensional normalverteilt jeweils mit Varianz 1 und Korrelationskoeffizient 0.5. Basierend auf dieser simulierten Zeitreihe haben wir mit Hilfe der multivariaten Yule–Walker–Methode die Parametermatrizen gesch¨ atzt und gem¨ aß (15.80) einen Sch¨ atzer f¨ ur die Spektraldichtematrix gewonnen. In Abbildung 15.3 sind die Diagonalelemente dieses Sch¨atzers zu sehen, die den Spektraldichten der beiden Komponenten entsprechen und in Abbbildung 15.4 ist der Koh¨ arenzkoeffizient und das Phasenspektrum abgebildet. Man erkennt, dass die erste Komponente, deren Spektraldichte einen peak bei der Frequenz ω0 = π/4 besitzt, einen deutlichen Einfluss auf das Spektrum der zweiten Komponente nimmt, der auch durch den Koh¨arenzkoeffizienten are n¨ amlich auch die zweite Komwiedergegeben wird. F¨ ur den Fall b1 = 0 w¨ ponente eine univariate AR(2)–Zeitreihe mit einzigem peak der Spektraldichte   bei ω1 = π/2 . Bemerkung 15.24 (Identifizierbarkeitsprobleme) Sei X(t) = (X1 (t), X2 (t))T , t ∈ Z , eine 2–dimensionale AR(1)–Reihe mit   0 X(t) − X(t − 1) = e(t) , ∀ t ∈ Z . (15.89) 00  Die z–Transformation ist A(z) =  1 −1 keine Nullstellen. Mit A = 0 15.5 die MA–Darstellung

 1 − z und det A(z) = 1 hat u ¨berhaupt 01   z 0z = I + ergibt sich nach Satz 1 00

15.5 Multivariate ARMA–Reihen

4

4

3

3

2

2

1

1

0

0

−1

−1

−2

−2

349

−3

−3 0.0

0.5

1.0

1.5

2.0

2.5

3.0

0.0

0.5

1.0

1.5

2.0

2.5

3.0

Abb. 15.3 Logarithmierte Diagonalelemente der u ¨ber ein AR(2)–Modell aus den Daten aus Abbildung 15.2 gesch¨ atzten Spektraldichtematrix

1.0

7 6

0.8

5 0.6

4

0.4

3 2

0.2

1 0

0.0 0.0

0.5

1.0

1.5

2.0

2.5

3.0

0.0

0.5

1.0

1.5

2.0

2.5

3.0

Abb. 15.4 Koh¨ arenzkoeffizient (links) und Phasenspektrum (rechts) der u atzten Spek¨ber ein AR(2)–Modell aus den Daten aus Abbildung 15.2 gesch¨ traldichtematrix

350

15 Grundlagen multivariater Zeitreihen

 X(t) = e(t) +

0 00

 e(t − 1) ,

∀t ∈ Z.

(15.90)

Damit gehorcht X = (X(t) : t ∈ Z) sowohl einer AR(1)–Darstellung als auch einer MA(1)–Darstellung. In der Klasse der ARMA–Modelle sind die Koeffizientenmatrizen also nicht eindeutig bestimmt. Eine ausf¨ uhrliche Diskussion der Identifizierbarkeitsproblematik f¨ ur multivariate ARMA–Zeitreihen findet man z.B. bei L¨ utkepohl (1993), Chap.7. In Anwendungen spielen gl¨ ucklicherweise AR–Modelle die Hauptrolle und bei diesen treten keine Identifizierbarkeitsprobleme auf.  

15.6 Sch¨ atzung des Mittelwertvektors und der Autokovarianzmatrix einer multivariaten Zeitreihe F¨ ur eine reelle, r–variate Zeitreihe X = (Xt : t ∈ Z) mit Mittelwertvektor µ = EXt und Autokovarianz Γ (h) = Cov(Xt+h , Xt ) gibt es in v¨olliger Analogie zum univariaten Fall auf der Basis von Beobachtungsvektoren X1 , . . . , Xn den Mittelwertsch¨ atzer (empirischer Mittelwert) 1
Xt , n t=1 n

X = Xn =

(15.91)

den Autokovarianzsch¨ atzer (empirische Autokovarianz) n−h 1
Γ(h) = (Xt+h − X n )(Xt − X n )T = (γij (h))i,j=1,...,r , n t=1

(15.92)

f¨ ur h ≥ 0 und Γ(−h) := Γ(h)T , und den Autokorrelationssch¨ atzer (empirische Autokorrelation)  R(h) = ( ij (h))i,j=1,...,r

(15.93)

mit den empirischen Kreuzkorrelationen γij (h) ij (h) =  , γii (0)γjj (0)

h ∈ Z.

(15.94)

Im Fall i = j ist ii (h) die u ¨bliche univariate Autokorrelationsfunktion der i–ten Komponente (Xi (t) : t ∈ Z). In Verallgemeinerung des univariaten Falles gilt f¨ ur den empirischen Mittelwert X n

15.6 Sch¨ atzung des Mittelwertes

351

Satz 15.25 (Konsistenz des Mittelwertsch¨ atzers) F¨ ur  eine reelle, station¨ are r–variate Zeitreihe X = (Xt : t ∈ Z) ist X n = n atzer f¨ ur µ = EXt . n−1 t=1 Xt ein komponentenweise erwartungstreuer Sch¨ ur h → ∞ gilt, so folgt Falls f¨ ur alle i = 1, . . . , r die Konvergenz γii (h) → 0 f¨ f¨ ur n → ∞ Xn → µ

n.W.

und

(15.95)

  E (X n − µ)T (X n − µ) → 0 . r +∞ Gilt dar¨ uberhinaus i=1 h=−∞ |γii (h)| < ∞, so folgt sogar nE(X n − µ)T (X n − µ) →

∞ r



γii (h) = 2π

i=1 h=−∞

r


fii (0) ,

(15.96)

(15.97)

i=1

wobei jeweils fii die Spektraldichte der i–ten Komponente (Xi (t) : t ∈ Z) von (Xt ) bezeichnet. Der Beweis ergibt sich unmittelbar durch Anwendung der entsprechenden univariaten Bemerkung 10.2 auf die Komponenten (Xi (t) : t ∈ Z).   Ohne Beweis f¨ uhren wir noch ein zu Satz 10.12 multivariates Analogon zur asymptotischen Normalverteilung von X n an. Satz 15.26 (Asymptotische Normalverteilung des Mittelwertsch¨ atzers) Sei e = (et : t ∈ Z) ein r–variates weißes Rauschen mit unabh¨ angigen und identisch verteilten r–Vektoren et ∼ (0, Σ). Weiter seien αt , t ≥ 0 , reelle r ×r Matrizen mit ∞


t |αt (j, k)| < ∞ ,

∀ j, k = 1, . . . , r ,

(15.98)

t=0

und µ ∈ Rr . Dann gilt f¨ ur die streng station¨ are MA(∞)–Zeitreihe Xt = µ +

∞


αs et−s ,

∀t ∈ Z,

(15.99)

s=0

der multivariate zentrale Grenzwertsatz (n → ∞) √

∞ 
 D n(X n − µ) → N 0, Γ (h) ,

(15.100)

h=−∞

wobei Γ (h) die Autokovarianzmatrix von (Xt ) zum Lag ∞ h bezeichnet (vgl. (15.10)). Die asymptotische Kovarianzmatrix ΣX := h=−∞ Γ (h) ist nach Satz 15.5 gleich ΣX = f (0) · 2π , wobei f die Spektraldichtematrix von X ist.

(15.101)

352

15 Grundlagen multivariater Zeitreihen

Man kann (15.100) dazu verwenden, ein asymptotisches Konfidenzellipsoid f¨ ur µ zu bestimmen. Es folgt n¨ amlich aus (15.100) unmittelbar D

−1 (X n − µ) → χ2r , n(X n − µ)T ΣX

(15.102)

wobei χ2r eine Chiquadrat–Verteilung mit r Freiheitsgraden bezeichnet. Ist χ2r,1−α das (1 − α)–Quantil (0 < α < 1) dieser Verteilung, so impliziert (15.102), dass −1 (X n − µ) ≤ χ2r,1−α } {µ ∈ Rr : n(X n − µ)T ΣX

(15.103)

¨ ein Konfidenzellipsoid mit asymptotischer Uberdeckungswahrscheinlichkeit 1 − α f¨ ur EXt = µ ist. Zur Konsistenz der empirischen Kovarianz und Korrelation zitieren wir die folgenden Ergebnisse. Da wir explizite und leicht zug¨angliche Literaturangaben machen wollen, beschr¨ anken wir uns bei den folgenden Aussagen auf den Fall r = 2. Grunds¨ atzlich sind vergleichbare Resultate auch f¨ ur h¨oherdimensionale Zeitreihen zu erwarten. Satz 15.27 (Konsistenz der empirischen Autokovarianz) ∞ Sei Xt = s=0 αs et−s , t ∈ Z, eine bivariate Zeitreihe (r = 2) mit unabh¨ angigen und identisch verteilten et ∼ (0, Σ) und 2 × 2–Koeffizientenmatriur n → ∞ zen αs , die komponentenweise absolut summierbar sind. Dann gilt f¨ und i, j = 1, 2 , h ∈ Z , γij (h) → γij (h)

n.W.

(15.104)

ij (h) → ij (h)

n.W.

(15.105)

sowie

Beweis: Siehe Brockwell/Davis (1991), Chap. 11, Theorem 11.2.1.

 

Satz 15.28 (Asymptotische Normalit¨ at der empirischen Autokorrelation) Sind im vorangehenden Satz die beiden Komponenten–Prozesse (e1t : t ∈ Z) atzlich stochastisch unabh¨ angig, so gilt f¨ ur h = k und (e2t : t ∈ Z) zus¨   √ 12 (h) D  f¨ n → N (0, Σ) ur n → ∞ , (15.106) 12 (k)  = ( mit Σ σij ) und σ 11 = σ 22 =

+∞
t=−∞

11 (t)22 (t)

(15.107)

15.6 Sch¨ atzung des Mittelwertes

353

sowie σ 12 = σ 21 =

+∞


11 (t)22 (t + k − h) .

(15.108)

t=−∞

Beweis: Siehe Brockwell/Davis (1991), Chap. 11, Theorem 11.2.2

 

Will man bei einer zentrierten, bivariaten Zeitreihe X(t) = (X1 (t), X2 (t))T , t ∈ Z , testen, ob die Komponenten X1 und X2 unkorreliert sind, d.h. ob X 12 (h) = EX1 (t + h)X2 (t) = 0 ist ∀ h ∈ Z , so ist nach obigem Satz und unter den dort gemachten Voraussetzungen 1 11 X 12 (h) ± √ z1−α/2 · σ n

(15.109)

ein Konfidenzintervall, das f¨ ur festes h unter der Hypothese der Unkorreliertheit von X1 und X2 den Nullpunkt mit asymptotischer Wahrscheinlichkeit 1 − α enth¨ alt. Lehnt man also die Hypothese ab, wenn der Nullpunkt nicht im Konfidenzintervall liegt, so erh¨ alt man einen Test zum Niveau α. In der Praxis ist σ 11 allerdings fast immer unbekannt, da zur Berechnung nach (15.107) die Korrelationen ii (t) f¨ ur alle Zeitpunkte t ∈ Z bekannt sein m¨ ussten. Als Ausweg verwendet man die sogennante prewhitening–Methode, die wir schon im Abschnitt 12.4 kennengelernt haben und die auf den folgen¨ den Uberlegungen basiert. Wendet man auf jede der Komponenten X1 und X2 jeweils Filter ϕ1 und ϕ2 an, d.h. nichts anderes als dass man auf (X(t) : t ∈ Z) den bivariaten Filter   ϕ1 0 ϕ= 0 ϕ2 # anwendet, so ergibt sich f¨ ur eit· ϕ dZ X = Y (t)# offenbar nach# (15.29) f¨ ur die Kovarianz der gefilterten Reihe ΓY (h) = diag ( eih· |ϕ1 |2 dµ1 , eih· |ϕ2 |2 dµ2 ). Die Reihe (Y (t) : t ∈ Z) hat also wieder unkorrelierte Komponenten, wenn dies f¨ ur die Ausgangsreihe (X(t) : t ∈ Z) gilt. Man testet deshalb die Hypothese der Unkorreliertheit an (Y (t) : t ∈ Z) anstelle von (X(t) : t ∈ Z). Gelingt es nun, Filter ϕj , j = 1, 2 , zu finden derart, dass (Yj (t) : t ∈ Z) ein Y Y weißes Rauschen ist (prewhitening), so gilt in (15.107) σ 11 =σ 22 = 1, so dass 1 Y √ entsprechend zu (15.109) das Konfidenzintervall 12 (h) ± n z1−α/2 unter der Hypothese der Unkorreliertheit das approximative Konfidenzniveau 1−α hat. In der Praxis passt man meist an die beiden Komponentenreihen univariate AR–Reihen an, berechnet sodann die jeweiligen Residuen Y1 (t) und Y2 (t) (dies ist die Filterung oder auch das prewhitening) und f¨ uhrt dann mit diesen Residuen den beschriebenen Test durch.

354

15 Grundlagen multivariater Zeitreihen

15.7 Lineare Vorhersage bei multivariaten Zeitreihen In Verallgemeinerung zum univariaten Fall wollen wir in diesem Abschnitt die Frage behandeln, wie man f¨ ur r–variate (Spalten–)Vektoren X1 , X2 , . . . , Xn , deren Komponenten zu einem reellen Hilbertraum (H, ·, ·) geh¨oren, den Wert Xn+1 komponentenweise durch eine Linearkombination der Komponenten von oglichst gut approximiert. X1 , . . . , Xn m¨ Im Rahmen der Zeitreihenanalyse sind X1 , X2 , . . . zentrierte Elemente einer r– variaten Zeitreihe mit H = LR ¨blichen Skalarprodukt. Im Folgenden 2 und dem u darf der Hilbertraum aber allgemein sein. ¨ Nach den Uberlegungen im univariaten Fall ist f¨ ur den von allen Komponenten der Vektoren X1 , . . . , Xn aufgespannten Teilraum Hn von H, also Hn = span{Xtj : 1 ≤ t ≤ n ,

1 ≤ j ≤ r} ,

(15.110)

n+1 = (X n+1,1 , . . . , X n+1,r )T gegeben der optimale lineare Vorhersagevektor X durch die komponentenweise Projektion von Xn+1 auf Hn . Mit dem Projektionsoperator Pn : H → H auf Hn gilt also n+1 := Pn Xn+1 := (Pn Xn+1,1 , . . . , Pn Xn+1,r )T . X

(15.111)

n+1 die Einschrittvorhersage. Wir nennen X n+1 kann in weitgehender Analogie zum univariaten Die Berechnung von X Fall erfolgen. Dazu dehnen wir die rekursive Gram–Schmidt Orthogonalisierung auf den r–variaten Fall aus. F¨ ur Vektoren X = (X1 , . . . , Xr )T und T r Y = (Y1 , . . . , Yr ) ∈ H bezeichne X, Y  die r × r Matrix

X, Y  = ( Xi , Yj )i,j=1,...,r .

(15.112)

F¨ ur reelle r × r–Matrizen A und B gilt dann offenbar

AX, BY  = A X, Y B T

(15.113)

X, Y  = Y, XT .

(15.114)

sowie

Ist X, Y  = 0 (die Nullmatrix), so nennen wir X und Y orthogonal, was nat¨ urlich gleichbedeutend mit Xi ⊥ Yj ∀ i, j = 1, . . . , r ist. n+1 das eindeutig bestimmte Element aus Mit diesen Bezeichnungnen ist X r  ur 1 ≤ j ≤ r. H mit (Xn+1 − Xn+1 ) ⊥ Xj f¨ n

j , j > 1, sind nach Konstruktion paarDie Vektoren Y1 := X1 , Yj := Xj − X  j ∈ Hj , ∀ j > 1 , weise orthogonal, und es gilt wegen X Hj = span{X1 , . . . , Xj } = span{Y1 , . . . , Yj } .

(15.115)

15.8 Zustandsraummodelle

355

Damit gibt es Matrizen cni ∈ Rr×r mit n+1 = X

n


cni Yn+1−i .

(15.116)

i=1

Rechtsmultiplikation von (15.116) mit Yn+1−j liefert n+1 , Yn+1−j  , cnj · Yn+1−j , Yn+1−j  = X n−1 , Yj  = 0, also wegen Xn+1 − X

j = 1, . . . , n ,

cnj · Yn+1−j , Yn+1−j  = Xn+1 , Yn+1−j 

(15.117)

f¨ ur alle j = 1, . . . , n. n+1 stets Es gibt immer eine L¨ osung cnj von (15.117), da die Projektion X existiert. Bezeichnet A+ die Moore–Penrose–Inverse einer Matrix A, so ist cnj = Xn+1 , Yn+1−j  Yn+1−j , Yn+1−j +

(15.118)

eine L¨ osung von (15.117). Die obige schrittweise Konstruktion der Vektoren Y1 , Y2 , . . . ist das multivariate Gram–Schmidt–Orthogonalisierungsverfahren. Die r × r–Matrix vn der quadratischen Vorhersagefehler sei in Verallgemeinerung von (4.9) n+1 , Xn+1 − X n+1  = Yn+1 , Yn+1  , n ≥ 1 . (15.119) vn = Xn+1 − X Wir wollen voraussetzen, dass alle Xtj , t ≥ 1, j = 1, . . . , r, linear unabh¨angig sind in H. Hieraus folgt, dass alle Matrizen vn nicht ausgeartet sind und somit die Moore–Penrose–Inverse in (15.118) die u ¨bliche Inverse ist. Nach den in (4.10) und (4.11) angegebenen Rekursionsformeln (nun als Matrizengleichungen zu lesen) kann man rekursiv nacheinander die Matrizen v0 ; c11 , v1 ; c22 , c21 , v2 ; c33 , c32 , c31 , v3 ; usw. berechnen. Es sei daran erinnert, dass der Beweis im univariaten Fall so gef¨ uhrt wurde, dass er auch im multivariaten Fall seine G¨ ultigkeit beh¨alt. Bemerkung 15.29 Whittle (1963) hat eine multivariate Verallgemeinerung der Levinson–Rekursion (vgl. Kapitel 4) angegeben. Wir wollen hier auf eine Darstellung verzichten.  

15.8 Zustandsraummodelle Viele der bisher betrachteten Modelle f¨ ur Zeitreihen, z.B. die ARMA–Reihen, lassen sich als sogenannte Zustandsraummodelle darstellen (state–space–models). Diese stammen urspr¨ unglich aus der Kontrolltheorie linearer Systeme

356

15 Grundlagen multivariater Zeitreihen

(siehe z.B. Hannan/Deistler (1988)). Eine ihrer besonderen Eigenschaften ist die M¨ oglichkeit, lineare Vorhersagen rekursiv berechnen zu k¨onnen. Dies geschieht mit dem Kalman–Filter, den wir im n¨ achsten Abschnitt kennen lernen werden. Bei der Darstellung auch univariater Zeitreihen als Zustandsraummodell wird man in nat¨ urlicher Weise auf Zufallsvektoren und sogar Zufallsmatrizen gef¨ uhrt. Deren Erwartungswerte sind im Folgenden, wie auch bisher schon, komponentenweise zu verstehen. Zu einem Zustandsraummodell geh¨ oren zwei Folgen von Zufallsvektoren X1 , X2 , . . .

aus Rr ,

die Zust¨ ande zur Zeit t = 1, 2, . . .

(15.120)

und Y1 , Y2 , . . .

aus Rv ,

die Beobachtungen zur Zeit t = 1, 2, . . . (15.121)

Dabei sollen f¨ ur die Zustandsvektoren die folgenden Zustandsgleichungen Xn+1 = Fn Xn + en ,

n = 1, 2, . . . ,

(15.122)

gelten mit bekannten Matrizen Fn ∈ Rr×r und Zufallsvektoren (St¨orungen) en ∈ Rr , n ≥ 1, mit Een = 0 ∈ Rr und bekannten Kovarianzmatrizen Qn ∈ Rr×r gem¨aß  , falls m = n Qn T Eem en = 0 ∈ Rr×r , sonst .

(15.123)

(15.124)

Die Beobachtungsvektoren Yn sollen die folgenden Beobachtungsgleichungen Yn = Gn Xn + ηn ,

n = 1, 2, . . . ,

(15.125)

erf¨ ullen mit ebenfalls gegebenen Matrizen Gn ∈ Rv×r und St¨orungsvektoren ηn , n ≥ 1 , mit Eηn = 0 ∈ Rv ,

∀n ≥ 1,

sowie bekannten Kovarianzmatrizen Rn ∈ Rv×v gem¨aß < Rn , falls m = n T Eηm ηn = 0 , sonst .

(15.126)

(15.127)

Weiter seien alle Komponenten von e1 , e2 , . . . mit denen von η1 , η2 , . . . unkorreliert, d.h. Eem ηnT = 0 ∀ m, n ≥ 1. Außerdem sei der Anfangszustand X1 mit den St¨ orungen {en } und {ηn } im selben Sinne unkorreliert.

15.8 Zustandsraummodelle

357

Bemerkung 15.30 Aus (15.122) folgt durch sukzessives Einsetzen Xn = Fn−1 Xn−1 + en−1

(15.128)

= Fn−1 (Fn−2 Xn−2 + en−2 ) + en−1 ) = Fn−1 Fn−2 Xn−2 + Fn−1 en−2 + en−1 .. . = (Fn−1 · · · F1 )X1 + (Fn−2 · · · F2 )e1 + . . . + Fn−1 en−2 + en−1 und entsprechend Yn = (Gn Fn−1 · · · F1 )X1 + (Gn Fn−1 · · · F2 )e1 + . . . + Gn Fn−1 en−2 + Gn en−1 + ηn .

(15.129)

Als Folgerung ergibt sich unmittelbar f¨ ur 1 ≤ n ≤ m Eem XnT = 0 ,

Eem YnT = 0 ,

(15.130)

Eηm XnT = 0 ,

(15.131)

Eηm YnT = 0 .

(15.132)

und f¨ ur 1 ≤ n < m

  Wir wollen die bisher gemachten Annahmen in der folgenden Definition festhalten. Definition 15.31 Eine Zeitreihe Y1 , Y2 , . . . hat eine Zustandsraum–Darstellung, wenn es ein Zustandsraum–Modell (15.122) –(15.127) (einschließlich aller Unkorreliertheitsforderungen) f¨ ur Yn , n ≥ 1 , gibt. Beispiel 15.32 (Zustandsraum–Darstellung einer 1–dim. ARMA–Zeitreihe) Sei ein univariater ARMA(p, q)–Prozess Y = (Yt : t ∈ Z) durch A(L)Yt = B(L)εt ,

∀t ∈ Z,

(15.133)

gegeben mit weißem Rauschen (εt : t ∈ Z) , εt ∼ (0, σ 2 ) , und A(z) = 0 f¨ ur ur j > p entsprechend bj = 0. Bezeichne |z| ≤ 1 . F¨ ur j > p sei aj = 0 und f¨ nun (Zt ) den kausalen AR(p)–Prozess, der die Gleichung A(L)Zt = εt ,

∀t ∈ Z,

(15.134)

358

15 Grundlagen multivariater Zeitreihen

l¨ost. Dann l¨ ost Yt = B(L)Zt die Gleichung (15.133), denn es gilt A(L)(B(L)Zt ) = B(L)A(L)Zt = B(L)εt . F¨ ur r = max(p, q + 1) ergibt sich also mit Xt = (Zt−r+1 , . . . , Zt )T Yt = (br−1 , . . . , b0 )Xt .

(15.135)

Dies ist eine st¨ orungsfreie Beobachtungsgleichung im Sinne von (15.125) mit v = 1, G = Gt = (br−1 , . . . , b0 ) und ηt = 0 ∀ t. Eine (15.122) entsprechende Zustandsgleichung kann durch ⎛ ⎞ ⎞ ⎛ 0 0 1 0 ... 0 ⎜ .. ⎟ ⎟ ⎜0 0 1 ... 0 ⎟ ⎜.⎟ ⎜ ⎟ ⎜ .. ⎟ X + ⎜ .. ⎟ εt+1 , (15.136) Xt+1 = − ⎜ ... ... ⎟ t ⎜ . ⎜ ⎟ ⎜ .⎟ ⎟ ⎜ ⎝0 0 ... 1 ⎠ ⎝0⎠ ar ar−1 ar−2 . . . a1 1 gegeben werden mit nicht von n abh¨ angiger Matrix F = Ft ∈ Rr×r und T   et = (0, . . . , 0, 1) εt+1 . Im n¨achsten Abschnitt geht es nun um das grunds¨atzliche Problem der Approximation der Zust¨ ande Xt aus den Beobachtungen Ys . Wir werden gewissermaßen exemplarisch das sogenannte Vorhersageproblem behandeln.

15.9 Der Kalman–Filter zur linearen Vorhersage Das Vorhersageproblem in einem Zustandsraum–Modell besteht darin, den Wert Xn+1 komponentenweise durch eine Linearkombination der Komponenten von Y1 , . . . , Yn und eines Vektors Y0 , der mit allen anderen vorkommenden Zufallsvariablen unkorreliert sei, zu approximieren. H¨aufig w¨ahlt man z.B. Y0 = (1, . . . , 1)T , um einen nichtverschwindenden Erwartungswert ber¨ ucksichtigen zu k¨ onnen. Dann ist der optimale lineare Vorhersagevektor n+1 = (X n+1,1 , . . . , X n+1,r )T gegeben durch die komponentenweise ProjekX tion von Xn+1 auf den Teilraum Hn des Hilbertraumes H := LR 2 (Ω, A, P ), der von allen Komponenten von Y1 , . . . , Yn und Y0 aufgespannt wird, also Hn = span{Ytj , t = 0, . . . , n , j = 1, . . . , v} , n ≥ 0 .

(15.137)

Mit dem Projektionsoperator Pn : H → H auf Hn , komponentenweise auf Xn+1 angewandt, gilt also n+1 = Pn Xn+1 = (Pn Xn+1,1 , . . . , Pn Xn+1,r )T . X

(15.138)

n+1 ist charakterisiert als ein Element aus Hn mit Die Einschrittvorhersage X  uher bedeutet, dass alle Xn+1 − Xn+1 ⊥ Hn , wobei X ⊥ Hn wie schon fr¨

15.9 Der Kalman–Filter zur linearen Vorhersage

359

Komponenten von X auf Hn senkrecht stehen. Generell verstehen wir im Folgenden f¨ ur einen Vektor X = (X1 , . . . , Xr )T aus r H und einen abgeschlossenen linearen Teilraum V ⊂ H unter der Projektion PV X = (PV X1 , . . . , PV Xr )T den Vektor der Projektionen PV Xj auf V . PV X ist der eindeutig bestimmte Vektor aus V r mit X − PV X ⊥ V . Leicht zeigt man die folgenden Rechenregeln: F¨ ur X, Y ∈ H r und k × r–Matrizen A, B gilt PV (AX + BY ) = APV X + BPV X

(Linearit¨at) .

(15.139)

Ist Y ∈ H v und V = span{Y1 , . . . , Yv } und X ∈ H r so schreiben wir f¨ u r PV X auch P (X|Y ). Es gilt P (X|Y ) = EXY T · (EY Y T )+ ,

(15.140)

wobei (EY Y T )+ die Moore–Penrose–Inverse von EY Y T bezeichne. aume von H, so gilt f¨ ur X ∈ H r und Sind V1 und V2 zwei orthogonale Unterr¨ den Summenraum V1 ⊕ V2 PV1 ⊕V2 X = PV1 X + PV2 X .

(15.141)

Satz 15.33 (Die Kalman Vorhersage) n = Pn−1 Xn Sei ein Zustandsraum–Modell (15.122)–(15.127) gegeben und X n )(Xn − X n )T die Kovaridie Einschritt–Vorhersage sowie σn = E(Xn − X n . anzmatrix der Vorhersagefehler Xn − X Mit den Anfangsbedingungen  1 = P0 X 1 , X

1 )(X1 − X 1 )T σ1 = E(X1 − X

n+1 , n ≥ 1, rekursiv aus ergeben sich dann die Werte von X n+1 = Fn X n + An B + (Yn − Gn X n ) X n

(15.142)

σn+1 = Fn σn FnT + Qn − An Bn+ ATn ,

(15.143)

wobei zur Abk¨ urzung An = Fn σn GTn Bn = Gn σn GTn + Rn gesetzt wird und Bn+ die Moore–Penrose–Inverse von Bn sei. Beweis: Wir definieren nach Gram–Schmidt orthogonale Vektoren ξn durch ξ0 = Y0 und

360

15 Grundlagen multivariater Zeitreihen

ξn = Yn − Pn−1 Yn = Gn Xn + ηn + Pn−1 (Gn Xn + ηn ) n ) + ηn , n ≥ 1. = Gn (Xn − X

(15.144)

Es folgt aus den Rechenregeln (15.139) – (15.141) n+1 = Pn Xn+1 = Pn−1 Xn+1 + P (Xn+1 | ξn ) X = Pn−1 (Fn Xn + en ) + E(Xn+1 ξnT )(Eξn ξnT )+ ξn n + An B + ξn = Fn X

(15.145)

n

wobei benutzt wurde, dass n )T GT + η T ) E(Xn+1 ξnT ) = E(Fn Xn + en )((Xn − X n n = Fn σn GTn = An sowie n ) + ηn )((Xn − X n )T GTn + ηnT ) Eξn ξnT = E(Gn (Xn − X = Gn σn GTn + Rn = Bn gilt. n folgt also (15.142). Es bleibt Mit ξn = Yn − Pn−1 (Gn Xn + ηn ) = Yn − Gn X der Nachweis von (15.143). Hiezu beachte man T n+1 X T − EX σn+1 = EXn+1 Xn+1 n+1

= E(Fn Xn + en )(XnT FnT + eTn ) n + An B + ξn )(X  T F T + ξ T (An B + )T ) −E(Fn X n n n n n  T F T − An B + Eξn ξ T (An B + )T n X = Fn EXn X T F T + Qn − Fn E X n

n

n

n

n

n

n

= Fn σn FnT + Qn − An Bn+ ATn .

 

In der Zeitreihenanalyse ist man meist an der Vorhersage k¨ unftiger Beobachtungswerte, also z.B. der Einschritt–Vorhersage Pn Yn+1 interessiert, vgl. Beispiel 15.32. Deren Berechnung kann ebenfalls mit Hilfe der Kalman– ¨ Rekursion erfolgen, wie die folgenden Uberlegungen f¨ ur die allgemeinere Frage der Berechnung der h–Schritt–Vorhersage Pn Yn+h , h = 1, 2, . . . , zeigen. Nach (15.125) gilt Pn Yn+h = Gn+h Pn Xn+h ,

h = 1, 2, . . . ,

(15.146)

wodurch die h–Schrittvorhersage der Yn auf diejenige der Xn zur¨ uckgef¨ uhrt wird, welche wiederum durch Anwendung von (15.122) auf die Einschritt– uckgef¨ uhrt werden kann gem¨aß Vorhersage Pn Xn+1 zur¨ Pn Xn+h = Pn (Fn+h−1 Xn+h−1 + en+h−1 ) = Fn+h−1 Pn Xn+h−1 .. . = (Fn+h−1 Fn+h−2 · · · Fn+1 )Pn Xn+1 .

(15.147)

15.9 Der Kalman–Filter zur linearen Vorhersage

361

n+1 mit Hilfe der Rekursion in Satz 15.33 berechnet Dabei kann Pn Xn+1 = X werden. F¨ ur den h–Schritt–Vorhersagefehler (eine r × r–Matrix) σn(h) = E(Xn+h − Pn Xn+h )(Xn+h − Pn Xn+h )T

(15.148)

ergibt sich aus (15.122) und (15.147) die Gleichung Xn+h − Pn Xn+h = Fn+h−1 (Xn+h−1 − Pn Xn+h−1 ) + en+h−1 , und damit die Rekursionsformel T σn(h) = Fn+h−1 σn(h−1) Fn+h−1 + Qn+h−1 .

(15.149) (h)

Aus (15.125) und (15.146) folgt nun f¨ ur den h–Schritt–Vorhersagefehler vn der Y (eine v × v–Matrix), d.h. f¨ ur vn(h) = E(Yn+h − Pn Yn+h )(Yn+h − Pn Yn+h )T die Beziehung vn(h) = Gn+h σn(h) GTn+h + Rn+h .

(15.150)

Aufgaben Aufgabe 15.1 Man zeige, dass X = (Xt : t ∈ Z) aus Definition 15.3 zentriert und station¨ ar ist mit Kovarianz (15.10). Aufgabe 15.2 Man beweise Satz 15.12. Aufgabe 15.3 Seien f¨ ur j = 1, 2 reelle station¨are, zentrierte Zeitreihen Xj = (Xj (t) : t ∈ Z) gegeben, die die Voraussetzungen (15.19) f¨ ur die Inversionsformel (15.20) erf¨ ullen. Uj und Vj seien die MOW’s in der reellen Spektralzerlegung (vgl. Aufgabe 6.6) % % cos(tω) dUj (ω) + 2 sin(tω) dVj (ω) , ∀ t ∈ Z . Xj (t) = 2 (0,π)

(0,π)

Man zeige f¨ ur B ∈ (0, π) ∩ B # a) 2 U1 , U2 (B) = 2 V1 , V2 (B) = B c12 (ω) dω. # b) 2 U1 , V2 (B) = −2 U2 , V1 (B) = B q12 (ω) dω, wobei dω Integration bzgl. des Lebesgue–Maßes bedeute. Hinweis: Man verwende die Darstellung der Uj und Vj aus Aufgabe 6.6. Aufgabe 15.4 a) Man beweise die Aussagen (15.35) und (15.36). b) Man bestimme in Beispiel 15.8 die MOW’s Uj und Vj aus Aufgabe 15.3 .

362

15 Grundlagen multivariater Zeitreihen

Aufgabe 15.5 Seien e1 = (e1 (t) : t ∈ Z) und e2 = (e2 (t) : t ∈ Z) zwei voneinander unabh¨ angige, reelle weiße Rauschen mit Varianzen 0.30 bzw. 0.5. Man definiere eine zweidimensionale Zeitreihe X(t) = (X1 (t), X2 (t))T , t ∈ Z , durch X1 (t) = 0.7 X1 (t − 1) + e1 (t) und X2 (t) = X1 (t) + e2 (t) . Man berechne f¨ ur j, k = 1, 2 die zugeh¨ origen Autokovarianzen γjk und die Kreuzspektraldichten fjk . Aufgabe 15.6 Sei (X2 (t)) eine reelle, zentrierte, station¨are Zeitreihe mit absolut summierbarer Autokovarianzfunktion und (et ) eine weißes Rauschen et ∼ (0, σe2 ), das unkorreliert mit (X2 (t)) ist. Ein Prozess (X1 (t)) werde nun durch die Regressionsgleichung“ ” X1 (t) = aX2 (t) + et , t ∈ Z , mit a ∈ R, definiert. Man zeige f¨ ur die Spektraldichten fjk von (X1 (t), X2 (t)) f12 (ω) = a f22 (ω) (reell !) , f11 (ω) = a2 f22 (ω) + σe2 /(2π) , −1  σe2 2 (ω) = 1 + . K12 2πa2 f22 (ω) Aufgabe 15.7 Man zeige mit den Bezeichnungen aus Bemerkung 15.18, dass mit der rp × rp–Matrix ⎞ ⎛ a1 a2 . . . ap−1 ap ⎜ −Ir 0 . . . 0 0 ⎟ ⎟ ⎜ ⎜ 0 −Ir . . . 0 0 ⎟ (15.151) A=⎜ ⎟ ⎜ .. .. .. ⎟ ⎝. . . ⎠ 0 0 . . . −Ir 0 die Gleichung det(Ir·p + Az) = det(A(z)) gilt, wobei A(z) die z–Transformation aus Bemerkung 15.18 ist. Aufgabe 15.8 Man betrachte ein bivariates (also r = 2) MA(1)–Modell Xt = 1 + b et−1 mit der 2 × 2–Matrix b und einem zweidimensionalen weißen Rauschen e ∼ WR(0, Σ) gem¨ aß     0.5 0.4 82 b=− und Σ = . −0.2 0.3 24 Man bestimme die Autokovarianz– und Autokorrelationsmatrizen Γ (h) bzw. R(h) f¨ ur h = 0, 1, sowie det B(z) mit der z–Transformation B(z) = I2 + b · z .

A Anhang

A.1 Einige nu ¨ tzliche Formeln In diesem ersten Teil des Anhangs stellen wir eine Reihe von Formeln zusammen, die wir im Laufe des Textes an mehreren Stellen gebraucht haben. Da sie den laufenden Text nach unserer Einsch¨ atzung gest¨ort h¨atten, haben wir sie herausgezogen und in diesen Anhang verwiesen. eiλ = cos λ + i sin λ

(A.1)

cos λ = (eiλ + e−iλ )/2

(A.2)

sin λ = (eiλ − e−iλ )/(2i)

(A.3)

sin(λ + µ) = sin λ · cos µ + cos λ · sin µ

(A.4)

cos(λ + µ) = cos λ · cos µ − sin λ · sin µ .

(A.5)

F¨ ur r, s ∈ Z mit r ≤ s und alle ω ∈ R gilt ⎧ ⎪ s ⎨s − r + 1
iωk e = (s−r+1)ω r+s )/ sin( ω2 ) ⎪ ⎩exp(iω 2 ) sin( 2 k=r Speziell f¨ ur ω = ωj = 2πj/n ergibt sich  n
n , j ∈ nZ iωj k e = 0 , j∈ / nZ . k=1

, ω ∈ 2πZ ,ω∈ / 2πZ .

(A.6)

(A.7)

Beweis: Da (A.7) direkt aus (A.6) folgt, zeigen wir nur (A.6). Dies gelingt mit Hilfe der Formel f¨ ur geometrische Summen, denn

364 s


A Anhang

eiωk = (exp(iω(s + 1)) − exp(iωr))/(exp(iω) − 1)

(A.8)

k=r

= exp(iω

r + s exp(iω(s − r + 1)/2) − exp(−iω(s − r + 1)/2) )· 2 exp(iω/2) − exp(−iω/2)  

und (A.3). Es sei f : N × N → C und g : Z → C . Dann gelten n
r,s=1

f (r, s) =

n−1
n−|h|


−1


f (t + |h|, t) +

h=0 t=1




n−|h|

f (t, t + |h|)

(A.9)

h=−(n−1) t=1

Im Falle f (r, s) = f (s, r) bedeutet dies n


n−1


f (r, s) =

r,s=1




n−|h|

f (t + |h|, t)

(A.10)

h=−(n−1) t=1

F¨ ur den weiteren Spezialfall f (r, s) = g(r − s) erhalten wir schließlich n
r,s=1

g(r − s) =

n−1


(n − |h|)g(h)

(A.11)

h=−(n−1)

Beweis: (A.10) und (A.11) folgen direkt aus (A.9). (A.9) selbst ergibt sich aus einer Ver¨ anderung der Summationsreihenfolge. Die rechte Seite stellt die Summation des quadratischen Schemas entlang der Diagonalen h = r − s = −(n − 1), . . . , n − 1 dar.  

A.2 Integration komplexer Funktionen Ist (Ω, A, µ) ein Maßraum und f : Ω → C eine Abbildung derart, dass der Realteil u = Re f und der Imagin¨ arteil v = Im f beide A − B messbar sind, so heißt f messbar. f heißt µ–integrierbar, wenn dar¨ uber hinaus u und v µ–integrierbar sind. Die komplexe Zahl % % f dµ = u dµ + i v d µ (A.12) heißt das Integral von f bzgl. µ . Ist µ = P ein Wahrscheinlichkeitsmaß so heißt eine messbare Funktion X : Ω → C eine komplexe Zufallsvariable. #Ist X bzgl. des Wahrscheinlichkeitsmaßes P integrierbar, so heißt EX := XdP der Erwartungswert von X.

A.2 Integration komplexer Funktionen

365

In Erweiterung des reellen Falles gilt f¨ ur µ–integrierbare Funktionen f  % %   (A.13)  f dµ ≤ |f | dµ . Den Beweis findet man bei Bauer (1990). Es gilt auch eine komplexe Variante des Satzes von Lebesgue. Satz A.1 (Satz von Lebesgue, majorisierte Konvergenz) Sind f, fn , n ≥ 1, g komplexe, messbare Funktionen mit den Eigenschaften lim fn = f µ–f.s.

(µ fast sichere Konvergenz) % |g| dµ < ∞, |fn | ≤ |g| µ–f.s. ∀ n ∈ N sowie

n→∞

so folgt f¨ ur n → ∞

(A.14) (A.15)

% |fn − f | dµ → 0

und damit wegen (A.13) auch %

(A.16)

% fn dµ →

f dµ .

(A.17)

Zum Beweis wende man auf |fn − f | , n ≥ 1, den reellen Satz von Lebesgue mit der Majorante 2 |g| an. Beispiel A.2 (Spezielles Kroneckerlemma) Ist ck , k ∈ Z , eine absolut summierbare Folge komplexer Zahlen, so gilt f¨ ur n→∞ 1
|k ck | → 0 . (A.18) n |k| 0 x − (y + uf ) 2 = z − uf 2 = c2 − 2v | z, f  |2 +v 2 | z, f  |2 · f 2 < c2 . Wegen y + uf ∈ F ergibt sich ein Widerspruch. Zum Beweis der Eindeutigkeit von y sei g ∈ F derart, dass x = g + h gilt mit h ∈ F ⊥ . Dann folgt (y − g) + (z − h) = 0, wobei die beiden Summanden senkrecht aufeinander stehen, und deshalb y − g 2 + z − h 2 = 0, d.h. y = g, z = h.  

A.3 Elementare Hilbertraum Theorie

369

Die Abbildung P : H → F, x → y , wobei x = y + z mit y ∈ F und z ∈ F ⊥ heißt Orthogonalprojektion oder auch einfach Projektion auf F . Wir schreiben daf¨ ur auch PF . Eigenschaften einer Orthogonalprojektion P sind P

ist linear

(A.29) ⊥

(x ∈ F ⇔ P x = x) und (x ∈ F ⇔ P x = 0) PV (PW x) = PV x f¨ ur abgeschl. Unterr¨ aume V ⊂ W ⊂ H

(A.30) (A.31)

P 2 = P (P ist idempotent)

P x, y = x, P y (P ist selbstadjungiert)

(A.32) (A.33)

P x ≤ x

(A.34)

Die Aussage (A.31) heißt Iterationseigenschaft von P . Die Eigenschaften (A.32) und (A.33) eines linearen Operators P implizieren, dass P die Orthogonalprojektion auf im P = {P x : x ∈ H} ist. Die Eigenschaft (A.34) folgt schon aus (A.32) zusammen mit (A.33). Außerdem impliziert (A.34) die Stetigkeit von P (ist sogar ¨aquivalent). Weiter impliziert (A.32) zusammen mit (A.34) die Abgeschlossenheit von im P . Nach Konstruktion erf¨ ullt P x = y die Beziehung x − P x 2 = inf{ x − f 2 : f ∈ F } .

(A.35)

Auch hierdurch ist P x ∈ F charakterisiert, denn sei f0 ∈ F derart, dass x − P x 2 = x − f0 2 =: c2 gilt, so folgt mit x = P x + z = y + z und z 2 = c2 wegen y − f0 ∈ F c2 = x − f0 2 = (y − f0 ) + z 2 = y − f0 2 + c2 , d.h. y = f0 . Orthogonalit¨ at Definition A.11 (Abgeschlossene H¨ ulle) Sei {xt : t ∈ T } ⊂ H Teilmenge eines Hilbertraumes H. Dann bezeichnet span{xt : t ∈ T } die abgeschlossene H¨ ulle der Menge span{xt : t ∈ T } aller endlichen Linearkombinationen α1 xt1 + . . . + αn xtn mit αi ∈ K, ti ∈ T ∀ i. Falls T endlich ist, ist die Menge der endlichen Linearkombinationen schon selbst abgeschlossen, wie sukzessive Anwendung des folgenden Lemmas zeigt. Dann bedeutet also span und span dasselbe. Lemma A.12 Ist V ein abgeschlossener, linearer Teilraum von (H, ·, ·) und ist y ∈ H, y∈ / V , sowie V  der von V und y aufgespannte Raum, so ist V  abgeschlossen.

370

A Anhang

Beweis: Wir folgen hier Rudin (1970), Abschnitt 4.15. Es gelte f¨ ur xn ∈ V und λn ∈ K xn + λn y → z,

n → ∞.

(A.36)

Wir zeigen, dass z die Darstellung z = x + λy mit x ∈ V und λ ∈ K besitzt. Zun¨achst gibt es ein η < ∞ mit xn + λn y < η ∀ n . Falls eine Teilfolge von (|λn |)n gegen ∞ konvergiert (der Einfachheit halber die Folge selbst), so folgt )x ) η ) n ) → 0, + y) < ) λn | λn | also −y ∈ V (da V abgeschlossen ist) im Widerspruch zur Annahme y ∈ / V. Also ist λn , n ≥ 1, beschr¨ ankt und enth¨ alt somit eine konvergente Teilfolge λn → λ . Wegen λn y → λy folgt aus (A.36) auch xn → x := z − λy mit x ∈ V , da V abgeschlossen ist. Insgesamt: xn + λn y → x + λy .   Bemerkung A.13 Ist M = span{x1 , . . . , xn }, so ist die Orthogonalprojektion PM von H auf M dadurch charakterisiert, dass PM x die Darstellung PM x = α1 x1 + . . . + αn xn besitzt mit geeigneten Konstanten αi und dass gilt x − PM x ⊥ M

(⇔ x − PM x ⊥ x1 , . . . , xn ).

(A.37)

Die letzte Beziehung ist offenbar gleichbedeutend mit der G¨ ultigkeit der sog. Normalgleichungen n


αi xi , xj  = x, xj  ,

∀ j = 1, . . . , n .

(A.38)

i=1

Da die Projektion stets existiert, gibt es immer eine L¨osung α = (α1 , . . . , αn )T der Normalgleichungen, die jedoch nicht eindeutig sein muss. Eine L¨ osung ist genau dann eindeutig bestimmt, wenn x1 , . . . , xn linear unbh¨angig sind, was wiederum ¨ aquivalent damit ist, dass die Matrix A = ( xi , xj )i,j=1,...,n nicht ausgeartet ist. Letzteres sieht man folgendermaßen ein: Die Gleichungen (A.38) bedeuten in Matrixform αT A = xT mit x = ( x, x1 , . . . , x, xn )T . Ist A nicht ausgeartet, so ist also α = A−1 x eindeutig bestimmt. Ist A jedoch ausgeartet, so gibt es einen Vektor c = 0 mit cT A = 0. Dann besitzt (A.38) neben einer beliebigen L¨ osung α auch die davon verschiedene L¨ osung α + c.

A.3 Elementare Hilbertraum Theorie

371

Definition A.14 (Orthonormale Menge) Eine Menge {et : t ∈ T } heißt orthonormal, wenn es ⊥ et ∀ s = t und et = 1 ∀ t ∈ T gilt. Satz A.15 (Projektion auf orthonormale Mengen) ur M = span{e1 , . . . , ek } gilt dann Sei {e1 , . . . , ek } orthonormal. F¨ PM x =

k


x, ei ei ,

∀x ∈ H ,

(A.39)

i=1

PM x 2 =

k


| x, ei  |2 ,

∀x ∈ H ,

(A.40)

i=1 k k ) ) ) )

) ) ) )

x, ei ei ) ≤ )x − ci ei ) , )x − i=1

∀ c1 , . . . , ck ∈ K.

(A.41)

i=1

Gleichheit gilt in (A.41) genau dann, wenn ci = x, ei  ∀ i. Beweis: Aus (A.38) folgt mit xi = ei ∀ i die Gleichheit αj = x, ej  ∀ j, also (A.39). (A.40) folgt unmittelbat aus (A.39). (A.41) folgt wegen (A.35).   Aus (A.40) und (A.34) folgt, falls {e1 , . . . , ek } orthonormal ist k


| x, ei  |2 ≤ x 2

(Bessel–Ungleichung).

(A.42)

i=1

Definition A.16 (Separabler Hilbertraum) Ein Hilbertraum (H, ·, ·) heißt separabel, wenn ein endliches oder abz¨ ahlbar unendliches Orthonormalsystem {et : t ∈ T } in H existiert mit H = span{et : t ∈ T}. Schließlich gilt Satz A.17 Sei H = span{e1 , e2 , . . .} mit einem Orthonormalsystem {ei : i ∈ N} . Dann gilt: a) Die Menge aller endlichen Linearkombinationen der ei ist dicht in H. n ∞ b) x = i=1 x, ei ei (d.h. limn→∞ i=1 x, ei ei = x.) ∞ c) x 2 = i=1 | x, ei  |2 ∞ d) x, y = i=1 x, ei  ei , y (Parseval–Gleichung) e) x = 0 ⇔ x ⊥ ei ∀ i ∈ N .

372

A Anhang

F∞ Beweis: a) F¨ ur Hn := span{e1 , . . . , en } ist offensichtlich n=1 Hn ein abgeschlossener, linearer Teilraum von H, der {e1 , e2 , . . . , } enth¨alt und muss deshalb gleich H sein. b) Nach der Bessel–Ungleichung gilt ∞ k 2 2 2 2 . Nach (A.41) folgt wegen i=1 x, ei  ≤ x ∀k, also i=1 x, ei  ≤ x k a), dass durch Wahl von k die Differenz x − i=1 x, ei ei < ε (beliebig) ur n ≥ k gilt gemacht werden kann. Wegen x − PHn x ≤ x − PHk x f¨ x − PHn x ≤ ε ∀ n ≥ k. Es folgt: PHn x → x . c) Es gilt wegen PHn x → x auch PHn x 2 → x 2 ; mit (A.40) folgt die Behauptung. n d) i=1 x, ei  ei , y = PHn x, PHn y → x, y . e) Folgt aus c).  

A.4 L¨ osungen einer homogenen Differenzengleichung Bei gegebenen rellen Zahlen a0 = 1, a1 , a2 , . . . , ap , mit ap = 0 suchen wir die Gesamtheit V aller komplexen L¨ osungsfolgen {dj } = {dj : j = 0, 1, 2, . . .} der folgenden homogenen Differenzengleichungen p


dj−k ak = 0 f¨ ur

j = p, p + 1, . . .

(A.43)

k=0

p Mit A(z) := k=0 ak z k , z ∈ C, gilt: Ist z0 eine (n + 1)–fache Nullstelle von A, so sind die (n + 1) Folgen {j r z0−j : j = 0, 1, 2, . . .},

r = 0, . . . , n ,

(A.44)

s¨amtlich L¨ osungen von (A.43), die sogenannten Basisl¨ osungen, von denen es genau p gibt, wenn man alle Nullstellen von A mit ihren jeweiligen Vielfachheiten durchl¨ auft. Zum Beweis von (A.44) sei z0 eine (n + 1)–fache Nullstelle von A. Dann verschwinden in z0 alle r–ten Ableitungen A(r) der Ordnung r ≤ n, d.h. es gilt A(r) (z0 ) =

p


ak k(k − 1) · · · (k − r + 1)z0k−r = 0

k=r

f¨ ur r = 1, . . . , n. F¨ ur diese Nullstelle z0 gilt also p


ak k(k − 1) · · · (k − r + 1)z0k = 0

f¨ ur

r = 1, . . . , n .

k=0

Mit vollst¨ andiger Induktion u ¨ber r folgt daraus weiterhin

A.4 L¨ osungen einer homogenen Differenzengleichung p


ak k r z0k = 0

f¨ ur

r = 0, . . . , n .

373

(A.45)

k=0

F¨ ur {dj } = {j r z0−j } ergibt sich nun aus (A.45) p


ak (j −

−(j−k) k)r z0

=

z0−j

k=0

p


ak (j − k)r z0k = 0,

r = 0, . . . , n ,

k=0

also die Eigenschaft, dass {dj } die Differenzengleichung (A.43) l¨ost. Sind f1 = {f1j }, . . . , fp = {fpj } alle Basisl¨ osungen von (A.43), so ist die mit beliebigen Konstanten κ1 , . . . , κp aus C gebildete Folge dj =

p


κl flj ,

j = 0, 1, 2, . . .

(A.46)

l=1

ebenfalls eine L¨ osung der Differenzengleichung. Mit d = (d0 , . . . , dp−1 )T , κ = (κ1 , . . . , κp )T und der p × p–Matrix F = (fi,j−1 )i,j=1,...,p gilt (A.47) d = F T κ. Man kann zeigen, dass F nicht ausgeartet ist (siehe Meschkowski (1959), S. 94-98 oder Brockwell/Davis (1991), § 3.6). Damit bilden die p Basisl¨osungen eine Basis von V . Wird also d , d.h. die p Startwerte einer L¨ osungsfolge, vorgegeben, so ist osungsfolge eindeutig bestimmt. κ = (F T )−1 d und damit die komplette L¨ Im Hinblick auf unsere Anwendungen interessieren uns h¨aufig nur reelle L¨osungsfolgen {dj } . Wegen dj = d¯j ∀j folgt dann aus (A.46) mit Slj := ¯ l f¯lj )/2 die Darstellung (κl flj + κ dj =

p


Slj .

(A.48)

l=1

Jeder Summand Slj geh¨ ort zu einer Nullstelle z0 von A, f¨ ur die entweder z0 ∈ R oder z0 = z¯0 gilt. Wir machen deshalb die folgende Fallunterscheidung: 1. Fall (A(z0 ) = 0, z0 ∈ R): Dann hat Slj die Gestalt κj r z0−j ,

j = 0, 1, 2, . . . ,

(A.49)

mit κ ∈ R , r = 0, . . . , n , wobei n + 1 die Vielfachheit der Nullstelle z0 ist. 2. Fall (A(z0 ) = 0, z0 = z¯0 ): Mit z0 ist auch z¯0 Nullstelle von A mit gleicher Vielfachheit. Deshalb gibt es einen Index l mit fl j = f¯lj . Dann gilt mit κl =: ρe−iθ , ρ > 0, sowie z0 = λeiϕ , λ > 0, θ, ϕ ∈ (−π, π], ϕ ∈ / {0, π}, κ := κl +¯ die Darstellung

374

A Anhang

Slj + Sl j = j r (κz0−j + κ ¯ z¯0−j )/2 = ρj r λ−j (ei(jϕ+θ) + e−i(jϕ+θ )/2 = ρj r λ−j cos(jϕ + θ),

j = 0, 1, 2, . . . .

Die Zusammenfassung der entsprechenden Summanden mit z0 und z¯0 ergibt also einen Beitrag ρj r λ−j cos(jϕ + θ) , j = 0, 1, 2, . . . ,

(A.50)

mit ρ > 0 , ϕ , θ ∈ (−π, π] , ϕ ∈ / {0, π} , r = 0 , . . . , n , wobei n + 1 die Vielfachheit der Nullstelle z0 ist. Die Parameter ρ und θ sind unter den angegebenen Einschr¨ ankungen frei w¨ ahlbar, w¨ ahrend λ und ϕ durch z0 bestimmt sind.

A.5 Konvergenzbegriffe in der Stochastik In diesem Teil des Anhangs stellen wir Definitionen und Rechenregeln f¨ ur die Konvergenz nach Wahrscheinlichkeit (auch stochastische Konvergenz genannt), die Konvergenz im r-ten Mittel und die Verteilungskonvergenz bereit. Dabei werden wir nur Zufallsvariable mit Werten in Rk , k ≥ 1, betrachten, da in diesem Zusammenhang nur solche im Text vorkommen. Konvergenz nach Wahrscheinlichkeit und Lr –Konvergenz Im Folgenden seien X, X1 , X2 , . . . und Y, Y1 , Y2 , . . . Rk –wertige Zufallsvariable auf einem Wahrscheinlichkeitsraum (Ω, A, P ). Definition A.18 (Stochastische Konvergenz) Man sagt, dass die Folge {Xn } nach Wahrscheinlichkeit oder stochastisch geur gen X ∈ Rk konvergiert, kurz: Xn → X n.W. oder Xn − X = oP (1), falls f¨ n→∞ P {|Xn − X| ≥ ε} → 0 ,

∀ε > 0,

(A.51)

gilt, wobei | · | eine beliebige Norm auf Rk ist. Die Aussage (A.51) h¨ angt nicht von der Norm | · | ab, da in Rk alle Normen ullt f¨ ur ein festes  > 1 die ¨aquivalent sind, d.h. eine andere Norm · erf¨ Einschachtelungsungleichungen −1 x ≤ |x| ≤  x ∀ x ∈ Rk . Wenn also (A.51) f¨ ur eine Norm gilt, so folgt die gleiche Aussage sofort f¨ ur alle Normen ahlt man z.B. die Maximumsnorm, so impliziert die Gleichung auf Rk . W¨ {|Xn − X| ≥ ε} =

k G

{|Xni − Xi | ≥ ε} ,

i=1

aquivalent zur komponentenweise Aussage dass die Aussage Xn − X = oP (1) ¨ Xni − Xi = oP (1) ∀ i = 1, . . . , k ist.

A.5 Konvergenzbegriffe in der Stochastik

375

F¨ ur den Spezialfall, dass X = a eine Konstante ist, bleibt die Definition Xn → a n.W. auch dann noch sinnvoll, wenn die Zufallsvektoren Xn sogar auf mit n variierenden Wahrscheinlichkeitsr¨ aumen (Ωn , An , Pn ) erkl¨art sind, was in der Schreibweise aber regelm¨ aßig unterdr¨ uckt wird. F¨ ur manche Beweise ist das folgende Teilfolgenprinzip hilfreich, das die stochastische Konvergenz auf die fast sichere Konvergenz zur¨ uckf¨ uhrt. Wegen obiger Bemerkung bzgl. komponentenweiser Konvergenz reicht es, den Fall k = 1 zu betrachten. Bekanntlich konvergiert eine reelle Folge {Xn } fast sicher gegen X, kurz Xn → X f.s, wenn P {lim sup Xn = lim inf Xn = X} = 1 n→∞

n→∞

gilt. Satz A.19 (Teilfolgenprinzip f¨ ur stochastische Konvergenz) Genau dann konvergiert eine reelle Folge {Xn } stochastisch gegen X, wenn zu jeder Teilfolge {n } ⊂ {n} eine weitere Teilfolge {n } ⊂ {n } existiert mit Xn → X f.s. . Zum Beweis siehe Bauer (1990), Korollar 20.8. Definition A.20 (Straffheit)   Man nennt eine Folge von Wahrscheinlichkeitsmaßen {µn } u ¨ber Rk , Bk straff (Englisch: tight), wenn es f¨ ur alle ε > 0 ein M (ε) < ∞ gibt mit   k ∀n ≥ 1. (A.52) µn x ∈ R : |x| ≥ M (ε) < ε , ankt, kurz: Die Folge {Xn } heißt straff oder nach Wahrscheinlichkeit beschr¨ Xn = OP (1) , wenn die Folge ihrer Verteilungen {µn := L (Xn )} straff ist. art man die stochastischen Landau– Falls {cn } eine Folge in (0, ∞) ist, erkl¨ Symbole OP (cn ) und oP (cn ) durch Xn = OP (cn ) :⇔ Xn = Yn · cn Xn = oP (cn ) :⇔ Xn = Yn · cn

und und

Yn = OP (1) Yn = oP (1)

(A.53) (A.54)

Sind Xn keine Zufallsvektoren, sondern feste Vektoren, so reduzieren sich die stochastischen Landau–Symbole auf die u ¨blichen Landau–Symbole O (cn ) und o (cn ) . Bemerkung A.21 (Rechenregeln f¨ ur stochastische Konvergenz) Sind X, X1 , X2 , . . . und Y, Y1 , Y2 , . . . Rk –wertige Zufallsvariable u ¨ber (Ω, A, P ) ur die stochaund ist g : Rk → R eine weitere messbare Abbildung, so gelten f¨ stische Konvergenz die folgen Rechenregeln (i) Ist g stetig im Punkt a ∈ Rk und gilt Xn → a n.W., so folgt g(Xn ) → g (a) n.W. ; in Landau–Symbolik: Xn = a + oP (1) impliziert g (Xn ) = g (a) + oP (1) .

376

A Anhang

(ii) Gilt Xn = X + oP (1) und Yn = Y + oP (1) , so folgt Xn + Yn = X + Y + oP (1) (iii) Gilt Xn = X + oP (1) und Yn = Y + oP (1) , so folgt XnT Yn = X T Y + oP (1) . Zum Beweis siehe Behnen/Neuhaus (2003), Abschnitt 8. In Anhang A.2 hatten wir schon den Begriff der Lr –Konvergenz f¨ ur C–oder R–wertige Zufallsvariable eingef¨ uhrt (k = 1). Wegen der Markov–Ungleichung P { |X| ≥ ε} ≤

1 r E |X| , εr

∀ ε > 0, r > 0 ,

(A.55)

folgt f¨ ur X, X1 , X2 , . . . aus LR r und n → ∞ Xn → X in LR r (P ) impliziertXn → X n.W. .

(A.56)

H¨aufig verwendet wird auch das folgende Kriterium zum Nachweis der L2 – Konvergenz und auch der stochastischen Konvergenz. Satz A.22 (Kriterium zur L2 –Konvergenz) F¨ ur X, X1 , X2 , . . . aus LR 2 (P ) folgt aus EXn → µ und V arXn → 0 die Aussage ur n → ∞ Xn → µ in LR 2 (P ) f¨

(A.57)

und damit auch Xn → µ n.W. . 2

2

2

ur n → ∞. Beweis: E |Xn − µ| = E |Xn − EXn | + |EXn − µ| → 0 f¨

 

Verteilungskonvergenz Wir wollen nun den Begriff der Verteilungskonvergenz aufgreifen und einige f¨ ur diesen Text wichtige Aussagen zusammen tragen. Die Beweise, auf die an dieser Stelle vollst¨ andig verzichtet wird, findet man in dem Buch von Billingsley (1968). Seien im Folgenden X, X1 , X2 , . . . Rk –wertige Zufallsvariable. Definition A.23 (Verteilungskonvergenz in Rk ) Man sagt, dass die Folge {Xn } nach Verteilung gegen X konvergiert, kurz D ur n → ∞ Xn → X, falls f¨ P {Xn ≤ x} → P {X ≤ x} ,

∀ x ∈ C(F ) ,

(A.58)

gilt, wobei C(F ) die Menge der Stetigkeitspunkte der Verteilungsfunktion F (x) = P {X ≤ x} ist.

A.5 Konvergenzbegriffe in der Stochastik

377

Offensichtlich kommt es in (A.58) nur auf die induzierten Verteilungen P Xn und P X an, weshalb die Zufallsvariablen Xn und X auf verschiedenen Wahrscheinlichkeitsr¨ aumen definiert sein d¨ urfen, was wir in der Schreibweise jedoch vernachl¨ assigen. Ist Fn (x) = P {Xn ≤ x} die Verteilungsfunktion (auf Rk ) von Xn , so schreibt D D D man auch Fn → F oder P Xn → P X statt Xn → X . Auch gemischte SchreibD weisen wie z.B. Xn → N (0, 1) im 1–dimensionalen Fall mit der Standardnormalverteilung N (0, 1) sind u ¨blich. ¨ Aquivalente Formulierungen zur Verteilungskonvergenz sind im folgenden Satz angegeben. Satz A.24 (Charakterisierung der Verteilungskonvergenz in Rk ) Die folgenden Aussagen sind ¨ aquivalent D

Xn → X itT Xn

(A.59) itT X

→ Ee , ∀t ∈ R , (A.60) Ee k Eg (Xn ) → Eg (X) f¨ ur jede stet., beschr. Funktion g : R → R. (A.61) k

T

Die Abbildung t → Eeit X wird die charakteristische Funktion von X genannt. ¨ Die Aquivalenz (A.59) ⇔ (A.60) heißt Stetigkeitssatz f¨ ur charakteristische urlich als Spaltenvektoren Funktionen. (Xn , X und t werden in (A.60) nat¨ betrachtet.) Im folgenden Resultat wird die Verteilungskonvergenz von Vektoren auf eindimensionale Zufallsvariable zur¨ uckgef¨ uhrt. Satz A.25 (Die Cram´er–Wold–Technik) D aquivalent zu Xn → X (Verteilungskonvergenz in Rk ) ist ¨ D

cT Xn → cT X,

∀ c ∈ Rk .

(A.62)

D

Beweis: Aus Xn → X folgt nach (A.60) ∀ c ∈ Rk Eeis(c

T

Xn )

→ Eeis(c

T

X)

,

∀s ∈ R,

(A.63)

also wegen (A.60) ⇒ (A.59) die Aussage (A.62). Umgekehrt folgt aus (A.62)   und (A.59) die Aussage (A.60) auf cT Xn angewandt Eeic D

T

Xn

also Xn → X.

= E i·1·(c

T

Xn )

→ Eei·1·(c

T

X)

= Eeic

T

X

,

∀ c ∈ Rk ,  

Im Umgang mit verteilungskonvergenten Zufallsvariablen sind die nachfolgenden Rechenregeln hilfreich.

378

A Anhang

Bemerkung A.26 (Rechenregeln f¨ ur Verteilungskonvergenz) Es gelten D

(i) Xn → X n.W. ⇒ Xn → X. (ii) Ist {Yn } eine weitere Folge von Zufallsvariablen in Rk , so gilt: D D a) Aus Xn → X und Xn − Yn = oP (1) folgt Yn → X . D b) Aus Xn → X und Yn → a n.W. mit einer Konstanten D a ∈ Rk folgt YnT Xn → aT X . Beide Aussagen nennt man das Lemma von Slutsky. D

(iii)Aus Xn → a, a ∈ Rk (konstant), folgt Xn → a n.W. D

(iv) Aus Xn → X und Yn → a n.W., a ∈ Rk (konstant), folgt  T T T D  T T T Xn , Yn → X ,a . D

(v) F¨ ur reelle Zufallsvariable Xn → X mit supn≥1 EXn2 < ∞ gilt Konvergenz der ersten Momente, d.h. EXn → EX . Satz A.27 (Continuous mapping theorem) m Ist g : Rk → R eine messbare Abbildung und ur die stets Borel–messbare  gilt f¨ Menge Dg := x ∈ Rk : g ist unstetig in x die Aussage P {X ∈ Dg } = 0, so D

D

folgt aus Xn → X auch g (Xn ) → g (X). Satz A.28 (Prohorov)   Ist {Xn } straff, so gibt es eine Teilfolge Xn(r) : r ∈ N und eine ZufallsvaD

ur r → ∞. riable X mit Xn(r) → X f¨ In Wahrscheinlichkeitsmaßen ausgedr¨ uckt: Ist {µn } straff, so gibt es eine Teil  D ur r → ∞. folge µn(r) und ein Wahrscheinlichkeitsmaß µ mit µn(r) → µ f¨ Umgekehrt ist jede verteilungskonvergente Folge {Xn } straff. Satz A.29 Seien Xn , Ynj , Yj , n ≥ 1, j ≥ 1, Y D

ur n → ∞ , Ynj → Yj f¨

Rk –wertige Zufallsvektoren mit ∀j ≥ 1,

D

Yj → Y f¨ ur j → ∞, lim sup P { |Xn − Ynj | ≥ ε} → 0 f¨ ur j → ∞ , ∀ ε > 0 .

(A.64) (A.65) (A.66)

n→∞

Dann folgt D

Xn → Y f¨ ur n → ∞ .

(A.67)

A.5 Konvergenzbegriffe in der Stochastik

379

Satz A.30 (Zentraler Grenzwertsatz (CLT) von Lindeberg) F¨ ur n ∈ N seien X1n , . . . , Xnn stochastisch unabh¨ angige reelle Zufallsvariable 2 ur i = 1, . . . , n und σin := V arXin ∈ (0, ∞). Mit τn2 := mit EXin = 0 f¨ 2 2 + · · · + σnn gelte die sogenannte Lindeberg–Bedingung σ1n τn−2

n


2 EXin 1 {|Xin | ≥ ε · τn } → 0 f¨ ur n → ∞ ∀ ε > 0 .

(A.68)

i=1

Dann gilt n 1
D Xin → N (0, 1) f¨ ur n → ∞ , τn i=1

(A.69)

wobei N (0, 1) die Standard–Normalverteilung bezeichne. Die folgende Aussage ist eine Version der sogenannten Delta–Methode. Satz A.31 (Delta–Methode) F¨ ur Rk –wertige Zufallsvariable Z, X1 , X2 , . . . und eine reelle Folge {rn } mit rn → ∞ gelte mit a ∈ Rk D

rn (Xn − a) → Z .

(A.70)

Ist dann g : Rk → Rm messbar und differenzierbar in a mit m × k–Jacobi– Matrix g  (a), so folgt D

rn (g (Xn ) − g (a)) → g  (a) Z .

(A.71)

Beweis: Der Einfachheit halber beweisen wir nur den Fall k = m = 1. Wegen rn → ∞ gilt Xn − a = r1n (rn (Xn − a)) = o (1) · OP (1) = oP (1) . Sei nun h : R → R definiert durch h (0) = 0 und h (x) = (g (a + x) − g (a) − g  (a) · x) /x, f¨ ur x = 0 . Wegen der Differenzierbarkeit von g ist h stetig in 0, sodass nach Bemerkung A.21 (i) h (Xn − a) → 0 n.W. folgt. Wegen (A.70) impliziert dies rn (g (Xn ) − g (a)) − g  (a) rn (Xn − a) = rn (Xn − a) · h (Xn − a) = OP (1) oP (1) = oP (1) . D

Da g  (a) rn (Xn − a) → g  (a) Z folgt aus dem Lemma von Slutsky die Behauptung (A.71).  

380

A Anhang

A.6 Die Moore–Penrose–Inverse Zu jeder n × m–Matrix A ∈ Rn×m gibt es genau eine m × n–Matrix A+ ∈ Rm×n , die Moore–Penrose–Inverse, derart, dass die beiden Matrizen AA+ ∈ Rn×n

und A+ A ∈ Rm×m

(A.72)

A+ AA+ = A+

(A.73)

symmetrisch sind und AA+ A = A

sowie

gelten. Falls m = n gilt und A invertierbar ist, so folgt A+ = A−1 . Man kann A+ definieren als Limes  −1 A+ = lim AT AAT + δ 2 En , δ→∞

(A.74)

wobei En die n × n–Einheitsmatrix bezeichne, vgl. Albert (1972), S. 19f.  −1 F¨ ur jedes δ = 0 ist AT AAT + δ 2 En eine stetige Funktion der Komponenten von A, sodass nach (A.74) A+ messbar von den Eintr¨agen der Matrix A abh¨ angt. ur a = 0 . Folglich ist F¨ ur m = n = 1 gilt a+ = a−1 falls a = 0 und a+ = 0 f¨ ur m × m–Matrizen a → a+ nicht stetig. Jedoch ist die Abbildung A → A+ f¨ stetig in allen A, f¨ ur die A−1 existiert.

Literaturverzeichnis

Akaike, H. (1969): Fitting autoregressive models for prediction. Ann. Inst. Math. Statist. 21, 243–247. Akaike, H. (1973): Information theory and an extension of the maximum likelihood principle. In: B. N. Petrov and F. Csaki (eds.) 2nd International Symposium on Information Theory, 267–281. Akademiai Kiado, Budapest. Akaike, H. (1974): A new look at the statistical model identification. IEEE Transactions on Automatic Control AC–19, 716–723. Akaike, H. (1978): Time series analysis and control through parametric models. In: D. F. Findley (ed.) Applied Time Series Analysis. Academic Press, New York. Albert, A. (1972): Regression and the Moore-Penrose Pseudoinverse. Academic Press, New York. Ash, R.B. and Gardner, M.F.(1975): Topics in Stochastic Processes. Academic Press, New York. Bauer, H. (1990): Maß- und Integrationstheorie. De Gruyter, Berlin. Bauer, H. (1991): Wahrscheinlichkeitstheorie. 4. Auflage, de Gruyter, Berlin. Baxter, G. (1962): An asymptotic result for the finite predictor. Math. Scand. 10, 137–144. Behnen, K. und Neuhaus, G. (2003): Grundkurs Stochastik. 4.Auflage, PD-Verlag, Heidenau. Beran, J. (1994): Statistics for Long-Memory Processes. Chapman Hall, Englewood, NJ. Berk, K.N. (1974). Consistent Autoregressive Spectral Estimates. Ann. Statist. 2, 489–502. Berkes, I., Horv´ ath, L. and Kokoszka, P. (2003). GARCH processes: structure and estimation. Bernoulli 9, 201–228. Billingsley, P. (1968): Convergence of Probability Measures. Wiley, New York. Black, F. und Scholes, M. (1973): The Pricing of Options and Corporate Liabilities. J. Polit. Economy 81, 637–654. Bollerslev, T. (1986): Generalized Autoregressive Conditional Heteroscedasticity. J. Econometrics 31, 307–327. Bosq, D. (1996): Nonparametric Statistics for Stochastic Processes. Lecture Notes in Statistics 110, Springer, Berlin. Bougerol, P. (1993): Kalman Filtering with Random Coefficients and Contractions. SIAM J. Control Optim. 31, 942–959.

382

Literaturverzeichnis

Box, G.E.P. and Jenkins, G.M. (1970): Time Series Analysis: Forecasting and Control. Holden-Day, San Francisco. Brockwell, P.J. and Davis, R.A. (1991): Time Series: Theory and Methods. Second Edition. Springer, New York. Brown, B.M. (1971): Martingale central limit theorems. Ann. Math. Statist. 42, 54–66. Campbell, M.J. and Walker, A.M. (1977): A Survey of statistical work on the Mackenzie River series of annual Canadian lynx trappings for the years 18211934 and a new analysis. Journal of the Royal Statistical Society series A 140, 432–436. Coulon-Prieur, C. and Doukhan, P. (2000): A triangular central limit theorem under a new weak dependence condition. Statist. Prob. Letters 47, 61–68. Dahlhaus, R. (1985): Asymptotic Normality of Spectral Estimates. J. Mult. Analysis 16, 412–431. Doukhan, P. (1994): Mixing: Properties and Examples. Lecture Notes in Statistics 85, Springer, Berlin. Doukhan, P. and Louhichi, S. (1991): A new weak dependence condition and applications to moment inequalities. Stochastic Processes and their Applications 84, 313–342. Dudley, R.M.(1989): Real Analysis and Probability. Wadsworth & Brooks/Cole, Belmont. Dunford, N. and Schwartz, J.T. (1957): Linear Operators, Part I. Interscience Publishers, New York. Engle, R. (1982): Autoregressive conditional hetreoscedatic models with estimates of the variance of United Kingdom inflation. Econometrica 50, 987–1007. Forster, O. (1976): Analysis I. Vieweg-Verlag, Wiesbaden. G¨ anssler, P. und Stute, W. (1977): Wahrscheinlichkeitstheorie. Springer-Verlag, Berlin. Giraitis, L. and Robinson, P. M. (2001): Whittle estimation of ARCH models. Econometric Theory 17, 608–631. Gradstein, I.S. und Ryshik, I.M. (1981): Tafeln Band I und Band II. Verlag Harri Deutsch, Thun. Hamilton, J.D. (1994): Time Series Analysis. Princeton University Press, Princeton. Hannan, E.J. (1970): Multiple Time Series. J. Wiley, New York. Hannan, E.J. (1980): The estimation of the order of an ARMA process. Ann. Statist. 8, 1071–1081. Hannan, E.J. and Deistler, M. (1988): The Statistical Theorie of Linear Systems. J. Wiley, New York. Heuser, H. (1981): Lehrbuch der Analysis, Teil 2. B.G.Teubner, Stuttgart. Hurvich, C.M. and Tsai, C.L. (1989): Regression and time series model selection in small samples. Biometrika 76, 297–307. Izenman, A. J. (1983): J. R. Wolf and H. A.Wolfer: An Historical Note on the Zurich Sunspot Relative Numbers. J. R. Statist. Soc. A, 146, Part 3, 311–318. Janas, D., Dahlhaus, R. (1996): A Frequency Domain Bootstrap for Ratio Statistics in Time Series Analysis. Ann. Statist. 24, 1934–1963. Kromer, R. E. (1970): Asymptotic Properties of the Autoregressive Spectral Estimator. Ph.D. dissertation, Stanford University. Levinson, N. (1947): The Wiener RMS error criterion in the filter design and prediction. J.Math.Physics 25, 261–278.

Literaturverzeichnis

383

L¨ utkepohl, H. (1993): Introduction to Multiple Time Series Analysis. 2nd edition, Springer, Berlin. Merton, R.C. (1973). Theory of rational option pricing. Bell J. Econom. Management Sci. 4, 141–183. Meschkowski, H. (1959): Differenzengleichungen. Vandenhoek & Ruprecht, G¨ ottingen. Mikosch, T and Straumann, D. (2002): Whittle estimation in a heavy–tailed GARCH(1,1)–model. Stochastic Process. Appl. 100, 187–222. Nelson, D. (1990): Stationarity and persistence in the GARCH(1,1) model. Econometric Theory 6, 318–334. Neumann, M.H. and Paparoditis, E. (2003): Goodness-of-fit tests for markovian time series models. Preprint, Univ. Braunschweig. Reinsel, G.C. (2003): Elements of Multivariate Time Series Analysis. Springer, Berlin. Remmert, R. (1984 u. 1991): Funktionentheorie I. Springer, Berlin. Rudin, W. (1970): Real and Complex Analysis. McGraw-Hill, New York. Schwabe, H. (1844): Sonnenbeobachtungen im Jahre 1843. Astronomische Nachrichten 21, 233–236. Shephard, N. (1996): Statistical aspects of ARCH and stochastic volatility. In: D.R. Cox, D. Hinkley and O.E. Barndorff-Nielsen (eds.) Likelihood, Time Series with Econometric and other Applications. Chapman and Hall, London. Shibata, R. (1980): Asymptotically efficient selection of the order of the model for estimating parameters of a linear process. Ann. Statist. 8, 147–164. Spitzer, F. (1976). Principles of Random Walk. 2nd edition. Springer, Berlin. Straumann, D. (2005). Estimation in Conditionally Heteroscedastic Time Series. Lecture Notes in Statistics 181, Springer, Berlin. Tong, H. (1983): Threshold Models in Non–Linear Time Series Analysis. Lecture Notes in Statistics 21, Springer, Berlin. Tong, H. (1990): Non-linear Time Series: A Dynamical System Approach. Oxford University Press, Oxford. Toussoun, O. (1925): M´emoire sur l’Histoire du Nil. M´emoires de l’Institut d’Egypte 18, 366–404. Waldmeier, M. (1961): The Sunspot-Activity in the Years 1610-1960. Schulthess & CO AG Verlag, Z¨ urich. Whittle, P. (1963): On the fitting of multivariate autoregressions, and the approximate canonical factorization of a spectral density matrix Biometrika 50, 129–134. Wolf, J.R. (1852): Neue Untersuchungen u ¨ber die Periode der Sonnenflecken und ihre Bedeutung. Mittheilungen der Naturforschenden Gesellschaft in Bern 255, 249–270. Wolfer, A. (1925): Observed sunspot relative numbers, 1749-1924. Terrestrial Magnetism and Atmospheric Electricity 30, 83–86. Yule, G.U. (1927): On a method of investigating periodicities in disturbed series, with special reference to Wolfer’s sunspot numbers. Phil.Trans.Roy. Soc. Section A, 389–420.

Index

A abgeschlossene H¨ ulle, 369 AIC (Akaike Information Criterion), 278, 287 AICC–Ordnungswahl, 288 Amplitudenspektrum, 341 Anpassungsfehler, 337 Arbeitslosenzahlen, 1 ARCH–, 30 Argumentfunktion, 341 ARMA–Gleichung, 109–112 Autokorrelation(sfunktion), 18, 47 empirische, 31, 171 empirische partielle, 41, 72 partielle, 39, 40 Stichproben–, 31 Autokovarianz(funktion), 18, 47 Charakterisierung der, 48 empirische, 31, 171 erzeugende Funktion der, 108 Grundeigenschaften der, 48 Stichproben–, 31 Autokovarianz(matrix), 325 B Bandweite, 263, 268 Bartlett, siehe Lag Window Basisl¨ osungen, 127, 372 Beobachtungsgleichungen, 356 beschr¨ ankt nach Wahrscheinlichkeit, 375 Bessel–Ungleichung, 371 BIC–Kriterium, 290

Blackman–Tukey, siehe Lag Window C Canadian Lynx Data, 5 Cauchy–Schwarz–Ungleichung, 366 charakteristische Funktion, 377 Chi–Quadrat–Verteilung, 44 CLT, siehe Zentraler Grenzwertsatz continuous mapping theorem, 378 Cram´er–Wold–Technik, 377 D Daniell, siehe Lag Window DAX, 5 d–Differenz, 98 Delta–Methode, 379 Differenzengleichung, 126–129, 372–374 erster Ordung, 25 zweiter Ordnung, 44 Differenzenoperator, 95 E equivalent degrees of freedom (EDF), 262 Ergodensatz, 154 Eulersche Konstante, 306 exponentielles Gl¨ atten, 11, 72, 100 F Fej´er–Kern, 272 Filter, 91 high pass–, 91, 96 Kalman–, 358 lineare, 93

386

Index

lineare L1 – , 119 low pass–, 91, 98 multivariate, 335 Filterfunktion, 91 Final Prediction Error (FPE), 278, 283, 286 Fourier–Frequenz, 232 Fouriertransformation (finite), 234 FPE, 286 Frequenz, 52 Fourier–, 232 Nyquist–, 52 G geometrisches Abklingen, 116 Gewichtsfunktion, 244 gleitendes Mittel, 10, 98 einseitiges, 11 symmetrisches, 11 Gl¨ attung, 244, 255 Gram–Schmidt–Orthogonalisierung, 66 multivariate, 355 H Hamming, siehe Lag Window Hanning, siehe Lag Window Herglotz–Lemma, 49 multivariates, 328 Hermite, 48, 328 Hilbertraum, 367 I Identifizierbarkeit, 133 i.i.d., 2 Innenproduktraum, 366 Innovation, 67 integrierter Periodogrammsch¨ atzer, 255, 262 Inversionsformel, 53 multivariate, 331 Invertibilit¨ at , 117 Isometriesatz, 79 Iterationseigenschaft, 66, 68, 369 K Kalman–Filter, 358 Kausalit¨ at, 116 Kern, 263 Kleinste–Quadrate(LS)–Sch¨ atzer, 9, 195

Konfidenzellipsoid, 191, 212, 352 Konvergenz im quadratischen Mittel, 365 in Lr , 365 nach Verteilung, 376 stochastische oder n.W., 374 Korrelation(smatrix), 327 Korrelogramm, 27, 55 Kospektrum, 335, 339 Kovarianzfunktion, 63 Kreisfrequenz, 52 Kreuzspektraldichten, 331 Kronecker–Lemma, 44, 365 Kullback–Leibler–Information, 287, 291 L Lag, 18 Lag Number, 244 Lag Window, 244 Bartlett, 256 Blackman–Tukey, 246 Daniell, 258 Hamming, 246 Hanning, 246 Modified Bartlett, 246 Parzen(1), 246 Parzen(2), 246 Truncated Daniell, 246, 259 Lag–Window–Sch¨ atzer, 244 as. Bias, 250 Lag–Operator, 111 Landau–Symbole, 375 Laurent–Entwicklung, 115 Lemma von Slutsky, 378 Levinson–Rekursion, 70, 355 Lindeberg–Bedingung, 379 lineare Filter, 93 linearer Prozess, 142, 156, 159 Lipschitz–Konstante, 160 Log–Likelihood–Funktion, 198 long memory, 323 L2 –stetig, 64 M m–Abh¨ angigkeit, 159, 169 Maximum–Likelihood (ML)–Methode, 193 Maß mit orthogonalen Werten (MOW), 78

Index Mean Square Error (MSE), 253 Methode der kleinsten Quadrate, 9 Moore–Penrose–Inverse, 185, 380 Moving Average, 23

387

Q QML–Methode, 313 quadratischer Koh¨ arenzkoeffizient, 337 Quadraturspektrum, 335, 339 Quotientenstatistik, 269

Satz des Phythagoras, 368 Satz von Lebesgue, 365 Bochner, 52 Lindeberg (CLT), 379 Prohorov, 378 schwache Abh¨ angigkeit, 153 Sch¨ atzer bedingter ML–, 195 kleinste–Quadrate–(LS), 195–196 Lag–Window–, 244 Yule–Walker–, 187–188 Skalarprodukt, 366 Sonnenflecken, 35 span, 369 Spektraldarstellung, 77 Spektraldichte, 50 bei ARMA–Reihen, 115 Lag–Window–Sch¨ atzer, 243 Sch¨ atzer Bias, 249 parametrischer, 230 Spektraldichte–Matrix, 331 Spektralmatrix, 328 Spektralmaß, 49 Symmetrie, 53 Spektralsatz, 75, 78 multivariater, 332 Spektralverteilungsfunktion, 263 Spencer’s 15–Punkte Formel, 108 ar, 18 station¨ Stetigkeitssatz f¨ ur charakter. Funktionen, 377 stochastisches Integral, 81–87, 332–336 straff, 375 Substitutionsregel, siehe stochastisches Integral

R Random Walk, 45 Rechteckverteilung, 44 reeller Fall, 114 Regressoren, 110 Reihe, siehe Zeitreihe Rendite, 6 Riemann–Approximation, 84

T TAR–Modelle, 292 Teilfolgenprinzip, 375 Threshold, 292 Transferfunktion, 91 Transformationsformel, 89 Trend, 9 Truncation Point, 244

S Saisonbereinigung, 12

V vec–Operator, 347

N Normalgleichungen, 65, 370 Nyquist–Frequenz, 52 O Ordnungswahl in ARMA–Zeitreihen, 279 orthogonal, 368–371 P Parallelogrammregel, 368 Parseval–Gleichung, 371 Parzen, siehe Lag Window Periodenl¨ ange, 52 Periodogramm, 229, 232 asymptotische Verteilung, 239, 241 Eigenschaften, 235 gegl¨ attetes, 255 integriertes, 262, 263 asymptotische Normalit¨ at, 264 Nicht–Konsistenz, 236 zentriertes, 229 Phasenspektrum, 341 positiv (semi)definit, 48–49 prewhitening, 253, 353 principle of parsimony, 110 Projektion, 65, 369

388

Index

Verkehrsunfallzahlen, 7 Verteilungskonvergenz, 376–378 Volatilit¨ at, 299, 300 Vorhersage, 65–68, 354–359 W Wasserst¨ ande des Nils, 4 Wechselkurse, 7 weißes Rauschen, 22 Gaußsches, 39 multivariates, 327 Wellenl¨ ange, 52 Wold–Zerlegung, 140 Wolfer’s Sunspot Series, 36 X Xt−1 − Xt –Plot , 5, 41 Y Yule–Walker –Gleichungen, 29, 129, 212 –multivariate, 346 –Sch¨ atzer, 31, 129, 185–188 Z Zeitreihe, 1, 17 L2 –, 18

ARCH(p)–, 299 ARMA(p, q)–, 29 GARCH(p, q)–, 298 deterministische, 139 gefilterte, 91 AR(∞)–, 202 ARCH–, 30, 297 ARCH(1)–, 30 AR(1)–, 25 ARIMA–, 278 ARMA(p, q)–, 109 AR(p)–, 28, 110 autoregressive (AR)–, 23–28, 110, 201 Gaußsche, 38 Moving Average (MA)–, 23, 106, 110 multivariate (r–variate), 325 rein nicht–deterministische, 139 zyklische, 30, 52 Zentraler Grenzwertsatz (CLT), 162, 170, 171, 176, 187, 188, 196, 200, 207, 239, 241, 251, 264, 270, 314, 315, 351, 352, 379 z–Transformation, 110 matrixwertige, 344 Zustandsgleichungen, 356 Zustandsraummodell, 355