- ACINN - Universität Innsbruck

Transcription

Das A-UMOS:
“updateable model output statistics”-System für
Europa
DIPLOMARBEIT
in Meteorologie
Eingereicht an der
FAKULTÄT
FÜR
GEO -
UND
ATMOSPHÄRENWISSENSCHAFTEN
der
UNIVERSITÄT INNSBRUCK
zur Erlangung des Titles
MAGISTER
DER
NATURWISSENSCHAFTEN
vorgelegt von
RETO STAUFFER
betreut durch
Georg J. Mayr
Innsbruck, November 2011
i
Abstract
Statistical methods based on historical observations/numerical forecasts are used to correct the direct
model output (DMO) of a numerical weather model and bring the forecasts to a finer spacial resolution. Improvements in the numerical weather model can change the statistical relation between the
observation and the DMO. A new Model Output Statistics System (MOS), which can adjust to changes
in the numerical weather prediction model was developed for the national weather service of Austria
(„Zentralanstalt für Meteorologie und Geodynamik“, ZAMG). The system is based on the Canadian
Updateable Model Output Statistics System concept (Wilson and Vallée 2002, Wilson and Vallée 2003)
adapted for the European region. Based on the ECMWF DMO, the forecasts are postprocessed twice a
day for 878 different sites. The updateable scheme allows the A-UMOS to do a semi-automatic adaption of the new model characteristic and allows the system to use the improvements of the numerical
model as soon as possible to improve the quality of the A-UMOS forecasts. A multiple linear regression
(MLR) is used for the 16 deterministic predictands. The six probabilistic predictands are based on a linear multiple discriminant analysis (LMDA, classifier). The validation shows a significant improvement
relative to the existing MOS system of the ZAMG (AUSTROMOS2) and the direct model output of the
ECMWF. An RMSE reduction of 25% against the AUSTROMOS2 and 43% against the ECMWF could be
reached over a subset of 145 stations in Austria. The percent correct for the probabilistic predictands
could be enhanced by 3.6% against the AUSTROMOS2 and 2.9% against the ECMWF. Also the Brier
score could be reduced by 35% relative to the AUSTROMOS2.
ii
Zusammenfassung
Mittels statistischen Verfahren angewandt auf historische Mess-/Vorhersagedaten wird der direkte Modelloutput (DMO) eines numerischen Modells korrigiert und auf eine höhere räumliche Auflösung
gebracht. Durch die Weiterentwicklung der numerischen Wettermodelle verändert sich jedoch die statistische Beziehung zwischen dem DMO und den Beobachtungen (Messungen). Basierend auf der Idee
des Canadian Updateable Model Output Statistics Systems (UMOS, Wilson and Vallée 2002, Wilson
and Vallée 2003) wurde ein neues Model Output Statistics (MOS) System für die Zentralanstalt für
Meteorologie und Geodynamik (ZAMG) entwickelt, welches Vorhersagen des ECMWF Globalmodells
für Europa postprozessiert. Durch das „updateable“ Schema passt sich das Austrian Updateable Model Output Statistics (A-UMOS) System semi-automatisch an die neue Charakteristik an. Die Verbesserungen der numerischen Modelle werden dadurch effizient und vor allem rasch an das A-UMOS
weigergegeben, wodurch die Vorhersagegüte gesteigert werden kann. Verwendet wird eine multiple
lineare Regression (MLR) für insgesamt 16 deterministische Prädiktanten sowie eine lineare multiple Diskriminantenanalyse (LMDA) für 6 probabilistische Prädiktanten. Verarbeitet werden 878 unterschiedliche Standorte. Die Verifikation zeigt eine klare Verbesserung für die deterministischen Grössen
gegenüber dem Referenzsystem (AUSTROMOS2, ZAMG). Der RMSE konnte gegenüber dem Referenzsystem um 25%, gegenüber dem ECMWF um 43% verbessert werden. Bei den probabilistischen Vorhersagen konnte die Gesamttrefferquote gegenüber dem Referenzsystem um 3.6%, gegenüber dem
ECMWF um 2.9% verbessert werden. Der Brier Score des A-UMOS konnte gegenüber dem AUSTROMOS2 um 35% reduziert werden.
Inhaltsverzeichnis
Inhaltsverzeichnis
v
1 Stand der Forschung und Motivation
1
1.1 Geschichte der Wettervorhersage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3
1.1.1 Erste objektive/physikalische Ansätze . . . . . . . . . . . . . . . . . . . . . . . . . . .
3
1.1.2 Bjerknes: Meteorologie ist eine exakte Wissenschaft . . . . . . . . . . . . . . . . . .
3
1.1.3 Richardson: Erste numerische Wettervorhersage . . . . . . . . . . . . . . . . . . . .
3
1.1.4 Von Neumann: Erste numerische Computermodelle . . . . . . . . . . . . . . . . . .
4
1.1.5 Entwicklung der Modelle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4
1.2 Statistische Postprozessierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7
1.2.1 Allgemeine Funktionsweise . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7
1.2.2 Perfect Prog Modell . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
8
1.2.3 Model output Statistics-Systeme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
9
1.3 updateable-Konzept . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11
1.3.1 Die Idee / das Verfahren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
12
1.3.2 Nutzen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
12
2 Das Austrian Updateable Model Output Statistics System
15
2.1 Softwaredesign des A-UMOS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
15
2.2 Umfang der Vorhersagen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
16
2.2.1 Prädiktanten (Vorhersagegrössen) . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
16
2.2.2 Stationen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
18
2.2.3 Vorhersagezeitschritte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
18
2.3 Verwendete statistische Modelle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
19
2.3.1 multiple lineare Regression für deterministische Grössen . . . . . . . . . . . . . . .
20
2.3.2 lineare multiple Diskriminantenanalyse für probabilistische Grössen . . . . . . . .
25
2.4 Nachbearbeiten der MOS Vorhersagen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
28
2.4.1 Berechnen von abgeleiteten Grössen / Ergänzen von Vorhersagen . . . . . . . . .
28
2.4.2 Grenzwertüberprüfung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
29
2.4.3 Konsistenzcheck . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
30
2.5 Berücksichtigung der Jahreszeiten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
31
v
vi
INHALTSVERZEICHNIS
2.6 Anpassungen an Modelländerungen der numerischen Modelle . . . . . . . . . . . . . . . .
33
2.6.1 Trainingsdatensatz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
33
2.6.2 Linearkombination von MOS Modellversionen: das „updateable“ Schema . . . . .
34
2.7 Verifikation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
37
2.7.1 Datengrundlage der Verifikation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
37
2.7.2 multiple lineare Regression: Verifikationsmasse . . . . . . . . . . . . . . . . . . . . .
38
2.7.3 multiple lineare Regression: Resultate . . . . . . . . . . . . . . . . . . . . . . . . . . .
39
2.7.4 multiple lineare Regression: Übersichtstabelle . . . . . . . . . . . . . . . . . . . . . .
47
2.7.5 lineare multiple Diskriminantenanalyse: Verifikationsmasse . . . . . . . . . . . . .
48
2.7.6 lineare multiple Diskriminantenanalyse: Resultate . . . . . . . . . . . . . . . . . . .
51
2.7.7 lineare multiple Diskriminantenanalyse: Übersichtstabelle . . . . . . . . . . . . . .
60
2.8 Diskussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
61
Abkürzungsverzeichnis
65
Abbildungsverzeichnis
65
Tabellenverzeichnis
69
Literaturverzeichnis
72
Anhang
74
Kapitel 1
Stand der Forschung und Motivation
Bereits seit Mitte der 1980er Jahre werden sogenannte Model Output Statistics (MOS) Systeme im täglichen Wetterdienst verwendet. MOS Systeme korrigieren und modifizieren die Vorhersagen aus dem
direkten Modelloutput des numerischen Modells (DMO). Dazu sind einerseits die Beobachtungen von
Wetterstationen notwendig, andererseits der direkte Modelloutput des numerischen Modells (DMO).
Aus diesen Daten wird ein Trainingsdatensatz aus historischen Daten erzeugt, welcher die Basis für die
statistischen Methoden in den MOS Systemen darstellt. Aufgrund des statistischen Zusammenhangs
zwischen dem DMO und den Beobachtungen korrigiert das MOS den DMO und bringt den grob aufgelössten DMO auf das feinskaligere Messnetz. Historisch lässt sich nicht genau fixieren, wann die
ersten Gehversuche mit MOS Systemen gemacht wurden. Als Vorreiter gilt jedoch die Veröffentlichung
„The Use of Model Output Statistics (MOS) in Objective Weather Forecasting“ (Glahn and Lowry 1972),
National Oceanic and Atmospheric Administration der U.S.A. (NOAA).
Das Erste operationelle System lief ab 1976 bei der NOAA, im Jahre 1983 wurde ein weiteres System bei der United States Air Force (USAF) in Betrieb genommen, welches auf dem speziell für die
Lufwaffe entwickelten dynamischen Modell “‘NOGAPS“ aufbaute. Vorläufer der MOS Systeme waren
die sogenannten Perfect Prog (PP) Modelle. Beide Verfahren arbeiten mit denselben mathematischen
Algorithmen, jedoch sind die Limitierungen sehr unterschiedlich (s. Kapitel 1.2). PP Modelle wurden
vor allem in den Anfangsphasen verwendet, wurden aber dann durch MOS Systeme stark vom Markt
verdrängt, da der Nutzen der MOS Systeme für die Wettervorhersage stärker ist als jener der PP Modelle.
Aufgrund der hohen benötigten Rechenleistung und der anfallenden Datenmengen, sowohl der dynamischen Modelle als auch der MOS Systeme, waren die Möglichkeiten in den Anfängen noch stark begrenzt. Mit den heutigen Computerkapazitäten und den hohen Datendurchsätzen des Internets lassen
sich mit modernen Systemen wesentlich mehr Daten verarbeiten und umfangreichere MOS Vorhersagen erstellen.
Heute liefern nicht mehr nur die grossen Vorhersagezentren wie etwa die NOAA oder das European
Centre for Medium-Range Weather Forecasts (ECMWF) MOS Vorhersagen, auch beinahe jeder nationale und private Wetterdienst betreibt eigene Systeme. Das Einsatzgebiet reicht mittlerweile weit über
jenes der 1980er Jahre hinaus. Wurden damals vorwiegend Vorhersagegrössen wie der Niederschlag
oder relevante Grössen für die Luftfahrt 1 − 2 Tage in die Zukunft gerechnet, so finden wir heute MOS
Vorhersagen für beinahe alle meteorologischen Grössen, die teilweise Vorhersagen bis +2 Wochen liefern.
Aufgrund des Wettbewerbs ist es schwierig zu sagen, welcher Betreiber welche mathematischen Algorithmen verwendet. Sehr verbreitet sind aber heute noch immer die linearen Regressionen, wie etwa
1
2
die MLR für deterministische Grössen oder die LMDA für Wahrscheinlichkeitsvohrersagen (probabilistische Vorhersagen). Im Gegensatz zu vielen nichtlinearen Regressionen ist der lineare Ansatz viel
weniger Rechenintensiv und liefert bei gängigen Trainingsdatensatzlängen qualitativ gute Vorhersagen. Wichtig ist dabei zu beachten, dass die Eingangsgrössen (Prädiktoren) und die Beobachtungen in
einer linearen Beziehung zueinander stehen (physikalisch oder durch eine Transformation).
Ein bekanntes Problem von MOS Systemen ist die Abhängigkeit vom DMO. MOS Vorhersagesysteme
basieren - wie bereits angesprochen - auf dem statistischen Zusammenhang zwischen den Beobachtungen und dem DMO. Ändert sich dieser jedoch aufgrund einer Weiterentwicklung des numerischen
Modells, so verändert sich auch die Charakteristik des DMO. Dies führt dazu, dass die statistische Beziehung basierend auf den historischen Daten nicht mehr stimmt oder “verzerrt“ wird. Verschiedene
Verfahren wurden bereits angewendet, um dieses Problem zu umgehen. Eines davon wird im Austrian
Updateable Model Output Statistics (A-UMOS) verwendet und in dieser Arbeit detailliert behandelt.
1.1
Geschichte der Wettervorhersage
Die Geschichte der Wettervorhersage ist bereits sehr alt. Da der Mensch seit jeher abhängig von der
Natur und damit auch vom Wetter ist, wurde immer wieder versucht, anhand von Wolkenbildern und
Naturphänomenen das Wetter vorherzusagen. Griechische Philosophen verbanden im 7ten Jh.v.Chr.
„das Wetter mit der Bewegung der Sterne und Planeten“. Als Begründer der modernen Meteorologie
gilt Aristoteles (384 v.Chr. - 322 v.Chr.). Obwohl er einige falsche Annahmen traf, beschrieb er erstmals
den Aufbau der Atmosphäre und einfache Prozesse, die sich in ihr abspielen.
Bis die Menschheit die komplexen Prozesse in der Atmosphäre jedoch genauer verstehen konnte, dauerte dies noch eine lange Zeit. Wettervorhersagen wurden in den vergangenen Jahrhunderten meistens
anhand des aktuellen Himmels- und Wolkenbildes abgeleitet. Aus jener Zeit stammen auch die Bauernregeln, welche auch heute beispielsweise in Europa noch stark verbreitet sind.
1.1.1 Erste objektive/physikalische Ansätze
Historisch gesehen lassen sich drei Visionäre der modernen Wettervorhersage auflisten. Dazu gehört
Vilhelm Bjerknes (1862 − 1951), ein norwegischer Physiker und Meteorologe, Lewis Fry Richardson
(1881 − 1953), britischer Meteorologe und Friedensrichter sowie John von Neumann (1903 − 1957),
ein österreichisch-ungarischser Mathematiker.
1.1.2 Bjerknes: Meteorologie ist eine exakte Wissenschaft
Die ersten objektiven und physikalischen Ansätze stammen von Vilhelm Bjerknes, der zu Beginn des
20t en Jahrhunderts einen Artikel mit dem Titel „The Dynamic Principle of the Circulatory Movements in
the Atmosphere“ veröffentlichte (Die dynamischen Grundgesetze der Zirkulationen in der Atmosphäre;
Bjerknes, 1900). Er erstellte erstmals einen mathematischen Gleichungssatz zur dynamischen Wettervorhersage. Dazu gehören der Anfangszustand, die Navier-Stokes-Gleichung als Grundgleichung für
die Bewegung eines idealen kompressiblen Gases, die Zustandsgleichung des idealen Gases, die Massenerhaltung sowie das erste Gesetz der Thermodynamik von Helmholtz. Er konnte beweisen, dass mit
diesem mathematischen Konstrukt ein dreidimensionales Feld (Temperatur, Druck, Dichte und Wind)
basierend auf dem Anfangszustand berechenbar ist.
Die Problematik, mit welcher Bjerknes zu kämpfen hatte war, dass das von Ihm aufgestellte Gleichungssystem nicht analytisch lösbar war. Bis heute ist noch keine analytische Lösung gefunden worden. Bjerknes glaubte, dass das Lösen des Gleichungssystems mittels graphischen Methoden gelingen müsste.
Dies war und ist jedoch zu komplex und lässt sich kaum umsetzen.
1.1.3 Richardson: Erste numerische Wettervorhersage
Der junge britische Wetterbeobachter Lweis Fry Richardson befasste sich ebenfalls mit dem von Bjerknes
aufgestellten Gleichungssatz und hatte - die Geschichte zeigt uns dies - einen besseren Lösungsansatz
für das genannte Problem. Er interessierte sich bereits während seines Physik- und Mathematikstudiums an der Universität von Cambridge für die diskreten Approximationen von Differenzialgleichungen
mittels finiten Differenzen (Numerik). Während seines Dienstes im I Weltkrieg schreib er an seinem
revolutionären Buch mit dem Titel „Weather Prediction by Numerical Process“ (Richardson 1965) und
lösste von Hand exemplarisch eine Wettevorhersage, um seinen Lösungsansatz zu beweisen. Die erste
numerische Wettervorhersage lieferte eine 6h-Vorhersage, ausgehend von 7U T C am 20 May 1910 und
deckte Zentraleuropa ab.
3
4
Ein Druckanstieg von über 145hPa über Europa war das Resultat - rund 100 mal stärker als die natürlichen Variationen des Luftdrucks. Ausserdem benötigte er für diese 6h Vorhersage rund 6 Wochen an
Rechenzeit! Obwohl das Resultat vernichtend schlecht war, konnte Richardson zeigen, dass sein Verfahren - zumindest theoretisch - funktionierte. Das Problem lag in den ungenauen Anfangsbedingungen,
wie später festgestellt wurde.
Trotz des wichtigen Teilerfolges war die Methode noch nicht praktikabel. Richardson selbst berechnete,
dass er über 64′ 000 Personen benötigen würde, welche im Team eine Vorhersage berechnen müssten
um zumindest so schnell zu sein, dass ihre Vorhersage jeweils das aktuelle Wetter beschreibt (quasi
Echtzeit-Vorhersagen).
1.1.4 Von Neumann: Erste numerische Computermodelle
In den darauffolgenden 25 Jahren wurden zwei wichtige technische Errungenschaften erlangt, welche die Theorie von Richardson anwendbar machten. So wurde für und während des I I Weltkriegs ein
ausgedehntes meteorologisches Messnetz für die Troposphäre auf- und ausgebaut. Diese Daten wurden
von den Luftstreitkräften benötigt, erhielten so ihre Akzeptanz und lösten das Hauptproblem, welches
Richardson einige Jahr davor zum Scheitern verurteilte - genauere Anfangsbedingungen. Desweiteren
wurden die Arbeiten an modernen Computersystemen vorangetrieben. John von Neumann entwickelte
eine neuartige Architektur für Rechensysteme, die nach ihm benannte Von-Neumann-Architektur. Sie
ermöglichte es erstmals, Programme und Daten auf ein und demselben Speichermedium zu sichern
und bei Bedarf in beliebiger Reihenfolge abzurufen oder zu verändern. Was wir heute alle als Festplatten, Disketten und USB-Speichersticks mit uns herumtragen, verhalf der Informatikindustrie zum
durchbruch.
Von Neumann half ebenfalls bei der Entwicklung der ersten beiden Computersysteme, dem sogenannten „ENIAC“ (Electronic Numerical Integrator and Calculator; 1946 − 1955) und dem Nachfolgemodell
mit dem Namen „EDVAC“ (1951 − 1961). Die beiden Systeme dienten der Armee zur Berechnung
von Flugbahnen ballistischer Geschosse. Nach dem Krieg wurde das Computersystem auch für andere
Aufgaben geöffnet. So berechnet ein Team um Von Neumann im Jahre 1950 die erste 24h Wettervorhersage auf dem ENIAC. Damals war es aufgrund der Rechenleistung und des begrenzten Speichers
lediglich möglich, eine einzige meteorologische Grösse (Vorticity auf der 500hPa Fläche) zu berechnen
(Charney et al. 1950). Ab 1955 wurden dann täglich Vorhersagen für den gesamten Globus gerechnet. Zur Bestimmung des Anfangszustandes wurden von überall her auf der Welt die Beobachtungen
mittels Telegraphennetz übermittelt, welche dann in die Modellanfangsbedingungen einflossen.
1.1.5 Entwicklung der Modelle
Wie bereits Fry Richardson (siehe Kapitel 1.1.3) erkannte, lassen sich die grundlegenden physikalischen Gleichungen zwar beschreiben, eine analytische (also exakte) Lösung der Gleichungssysteme
wurde jedoch bis heute nicht gefunden.
Aus diesem Grund sind wir dazu gezwungen, bei der Wettervorhersage numerische Modelle zu verwenden, welche auf „Gittern“ basieren. Das bis heute am weiten verbreitetste Gitter für globale Atmosphärenmodelle ist ein orthogonales Gitter, welches sich wie ein Schachbrett über den Vorhersagebereich
erstreckt. Abbildung 1.1 zeigt solch ein orthogonales globales Gitter mit insgesamt 1920 Gitterpunkten.
1.1 Geschichte der Wettervorhersage
Abbildung 1.1: Darstellung eines orthogonalen Gitters mit 48 Gitterpunkten entlang der Breitengrade und 40
entlang des Längengrade, ergibt insgesamt 1920 Gitterpunkte (Fig. 1 Tribbia
and Anthes 1987, P. 494).
5
Da für jeden dieser Punkte die einzelnen Variablen berechnet
werden müssen, limitiert bis heute die Computerpower die
Auflösung solcher Modelle. Aus dem Artikel „Scientific Basis
of Modern Weather Prediction“ (Tribbia and Anthes 1987) ist
zu entnehmen, dass die zu Verfügung stehende Computerleistung Mitte der 1980er Jahre die Anzahl Gitterpunkte damals
auf 8 · 105 beschränkte. Bei 16 vertikalen Levels mit jeweils
rund 5 · 104 Gitterpunkten entspricht dies einer horizontalen
Auflösung von rund 100 bis 200km auf der Erdoberfläche.
Diese „Diskretisierung“ der Modelle bringt einige wesentliche
Probleme mit sich, welche bis heute noch dieselben geblieben
sind, auch wenn die Anzahl der Rechenoperationen, welche
mit heutigen Supercomputern durchgeführt werden können,
um einige Zehnerpotenzen gestiegen sind (Eniac: rund 104
Flops; heutige (2011) Hochleistungsrechner (AICS, Japan):
8 · 1015 Flops; Faktor 1012 (top500.org 2011)). Da dies nicht
das zentrale Element dieser Diplomarbeit ist, werde ich nicht
bis ins Detail auf die numerischen Modelle eingehen und einige Aspekte vernachlässigen (Stichwort: LAM, Nesting, Datenassimilation, ...). Es ist wichtig zu verstehen, was die grundsätzlichen Probleme numerischer Modelle sind und weshalb
ein optimales Postprozessieren der Daten wichtig ist.
Problem 1: der Anfangszustand
Im frühen 20t en Jahrhundert ging Laplace davon aus, dass sich der Zustand des Kosmos und der Atmosphäre basierend auf den Newton’schen Gesetzen bis in die Unendlichkeit vorhersagen lässt. Dabei
tauchen jedoch verschiedene Probleme auf. Punkt 1: wir kennen den aktuellen Zustand nur ungenügend, wie seinerzeit auch Fry Richardson (siehe Kapitel 1.1.3) zu spüren bekam. Um die weltweiten
Messungen in den numerischen Modellen verwenden zu können, müssen diese auf die Gitterpunkte
des Modells interpoliert werden. Dieser Vorgang alleine führt schon zu einer Reduktion des Wahrheitsgehaltes. Ebenfalls ist die Repräsentierbarkeit von Messungen ein Problem. Obwohl die Messung
lediglich einen Punktwert darstellt, wird dieser Messwert in den Modellen auf grosse Flächen angewendet, um die „Lücken“ zwischen den verschiedenen Messstationen zu schliessen. Ein letztes hier
genanntes Problem ist die Tatsache, dass die Variationen auf den Gitterpunkten zu ausgeprägten numerischen Problemen führen können (Schwerewellen und Schallwellen innerhalb des Modells), weshalb
die Anfangszustände auch noch künstlich geglättet werden müssen.
Problem 2: Subskalige Prozesse
Gehen wir davon aus, dass unser Modell entlang eines Breitengrades 400 Gitterpunkte aufweist, so
ergibt dies entlang des Äquators mit einem Umfang von rund 40′ 000km lediglich 1 Gitterpunkt alle
100km. In unseren Breiten ist dieser Abstand aufgrund der Form der Erde etwas geringer. Betrachten
wir ein typisches Wärmegewitter in den Alpen, so ist der Durchmesser eines grossen Cumulonimbus
(Gewitterwolke) rund 10km. Wetterphänomene, welche kleiner sind als die Gitterweite, nennt man
„subskalige Phänomene“ und diese lassen sich mit dem beschriebenen Modell nicht direkt vorhersagen.
Aus diesem Grund müssen auch heute noch viele Phänomene wie etwa Turbulenzen, Wolkenbildung
oder Gewitterzellen in den globalen Modellen parametrisiert werden. Man versucht dabei durch so-
6
genannte „Schliessungsverfahren“ den mittleren Einfluss eines Phänomens innerhalb der Gitterbox zu
beschreiben. Da die beiden Grössenordnungen voneinander nicht unabhängig sind, schlagen sich die
subskaligen Prozesse aus den Parametrisierungen auf die umliegenden Gitterpunkte nieder. Bei einer
ungenauen oder fehlerhaften Parametrisierung wirkt sich der daraus resultierende Fehler wieder auf
das globale Gitter aus und beeinflusst die weitere Vorhersage.
Als Beispiel sei hier die Bildung von Eiswolken genannt, welche auf mikrophysikalischen Prozessen
basiert. Bei genügend hoher Luftfeuchtigkeit und entsprechenden Umweltverhältnissen gefrieren einzelne Wassermoleküle an sogenannten Kondensationsnuklei zu kleinen Eiskristallen. Aufgrund physikalischer Prozesse wachsen diese Eiskristalle an, bis sie schwer genug sind, um durch die Schwerkraft
getrieben langsam in Richtung Erdoberfläche zu fallen. Ist die Umgebung warm genug, so schmelzen
die einzelnen Eiskristalle, verbinden sich zu grösseren Wassertröpfchen und fallen schlussendlich als
Regentropfen der Erdoberfläche entgegen. All die in diesem Beispiel genannten Prozesse spielen sich
in der Grössenordnung von einigen Mikrometern bis 10mm ab und müssen allesamt durch Parametrisierungen angenähert werden. Selbst wenn die Auflösung der Modelle immer besser wird, wird man
auf Parametrisierungen in der nahen Zukunft nicht verzichten können.
Problem 4: das Chaossystem
Abbildung 1.2: Der Lorenz-Attraktor. (a) und (b) zeigen die Originallabildungen (Fig. 2 Lorenz 1963, P. 137), (c)
eine modernere und besser bekannte Darstellung (Wikimol 2006).
Selbst wenn wir in Zukunft Modelle mit einer immensen Auflösung besitzen, so kann der Zustand der
Atmosphäre nicht unlimitiert in die Zukunft vorhergesagt werden. Den Beweis dazu lieferten Thompson und Lorenz in den 1960er Jahren (Lorenz 1963). In einem vergleichsweise einfachen numerischen
Experiment konnten sie beweisen, dass eine winzige Störung des Anfangszustandes eine starke Divergenz der Lösung mit sich ziehen kann. Sie gelten als Begründer der Chaostheorie. Die Grafik 1.2,
welche diese Lösung zeigt, ist unter dem Namen Lorenz-Attraktor bekannt. Lorenz hielt 1972 einen
Vortrag mit dem Titel „Vorhersagbarkeit: Löst der Flügelschlag eines Schmetterlings in Brasilien einen
Tornado in Texas aus?“ (Lorenz 1972). Auch deshalb ist die Chaostheorie heute unter dem Namen
„Schmetterlingseffekt“ weithin bekannt. Dies ist ein anschauliches Beispiel für das Chaossystem - eine
winzige Änderung im Anfangszustand kann zu einer grossen Änderung des atmosphärischen Zustandes führen. Oder bei der Vorhersage: kleine Fehler im Anfangszustand können zu grossen Fehlern in
der Vorhersage führen.
Als das heute führende Globalmodell - sowohl in der Auflösung als auch in der Genauigkeit - gilt das
Modell am European Centre for Medium-Range Weather Forecasts (ECMWF). Seit dem 26. Januar
2010 lautet der offizielle Name des dort betriebenen Modells T 1279, welches in 91 vertikalen Niveaus
und einer Maschenweite von 0.125◦ rund 7, 5 · 108 Gitterpunkte umfasst. Dies sind rund 1′ 000 mal
mehr Gitterpunkte als noch vor 25 Jahren (Tribbia and Anthes 1987).
1.2 Statistische Postprozessierung
1.2
7
Statistische Postprozessierung
Das Kapitel 1.1.5 zeigt uns, dass die Modellierer der numerischen Wettermodelle seit den Anfängen
stark verbessert haben, jedoch seit jeher mit diversen Schwierigkeiten zu kämpfen haben. Um die Qualität der Vorhersagen weiter zu verbessern, können die Vorhersagen aus dem direkte Modelloutput des
numerischen Modells (DMO) mittels einer statistischen Postprozessierung korrigiert werden. Zudem
wird der DMO durch die Postprozessierung auf eine höhere Auflösung gebracht (“subskalig”) und es
lassen sich meteorologische Grössen vorhersagen, welche nicht im DMO enthalten sind. Da heutige
Modelle eine wesentlich höhere Auflösung besitzen und viel mehr Prozesse berücksichtigen als noch
vor 10−15 Jahren, könnte man sich vorstellen, dass die Postprozessierung mittlerweile überflüssig sei.
Die Zahlen zeigen jedoch, dass der RMSE (siehe Abschnitt 2.7.2) sowohl damals als auch heute durch
die Postprozessierung um rund 40 − 50% reduziert werden kann.
Eine Vorreiterrolle bei der Entwicklung von Model Output Statistics (MOS) Systemen in der Wettervorhersage spielten Glahn and Lowry (1972). Ihre Veröffentlichung aus dem Jahre 1972 mit dem Titel
“The Use of Model Output Statistics (MOS) in Objective Weather Forecasting“ gilt als eine der Ersten
in diesem Bereich. Die Grundidee von damals blieb bis heute dieselbe, jedoch sind heute aufgrund
neuer mathematischer Ansätze und verbesserter Computerleistung unzählige Variationen möglich. In
den kommenden Abschnitten wird das Grundkonzept von solchen statistischen Verfahren erklärt. Der
Abschnitt 2.3 beschäftigt sich detailliert mit den im A-UMOS verwendeten Verfahren.
1.2.1 Allgemeine Funktionsweise
Lernen: der Trainingsdatensatz
Statistische Postprozessierungsmethoden arbeiten alle nach derselben Idee. Dabei wird ein sogenannter Trainingsdatensatz angelegt, in welchem die „Vergangenheit“ gespeichert wird. Im Falle einer Wettervorhersage also beispielsweise die verschiedenen gemessenen meteorologischen Grössen (Beobachtungen) sowie die Vorhersagen aus einem numerischen Modell (z.B. den DMO aus dem ECMWF Modell).
Erarbeiten des statistischen Modells
Es gibt eine grosse Anzahl von Regressionen, die Arbeitsschritte sind jedoch bei allen Methoden, ausgehend vom Trainingsdatensatz, dieselben. Die Regression stellt die statistische Beziehung zwischen
den Beobachtungen (der „Wahrheit”) und den Prädiktoren (z.B. DMO) dar. Durch die Regressionsanalyse wird der statistische Zusammenhang gesucht, welcher durch ein Set von Regressionskoeffizienten
mathematisch beschrieben wird. Diese Regressionskoeffizienten bilden die Basis für die MOS Vorhersagen. Die meisten statistischen Modelle, die für solche Zwecke verwendet werden, basieren auf der
Annahme, dass die Beobachtungen (die „Wahrheit“) fehlerfrei sei, was nicht zutrifft. Im Gegensatz
zu vielen MOS Systemen verwendete Vannitsem (2009) ein Verfahren, welches ebenfalls Fehler der
Beobachtungen zulässt.
Anwenden: Erstellen der Vorhersagen
Zum Erstellen der MOS Vorhersagen muss die aktuelle Vorhersage des numerischen Modells (der DMO)
mit den Regressionskoeffizienten kombiniert werden. Dies liefert, ausgehend von der durch die Regression beschriebenen statistischen Beziehung, eine korrigierte MOS Vorhersage. Das Ziel ist dabei, die
Fehler des numerischen Modells zu korrigieren (z.B. Bias, lokale Besonderheiten, ...).
8
1.2.2 Perfect Prog Modell
Eine vor allem in den Anfängen verwendete Methode ist die sogenannte Perfect Prog (PP) Methode. Die zugrunde liegende Annahme dabei ist, dass die Modellvorhersagen selbst „perfekt“ (fehlerfrei) sind. Dadurch kann die Regression auf den Beobachtungen alleine aufgebaut werden. Zur Veranschaulichung sei dies anhand einer linearen Regression gezeigt. Der Trainingsdatensatz x = (x i j |i =
1, ..., N , j = 1, ..., K) T besteht aus allen vergangenen Beobachtungen, wobei der Index i = (1, ..., N )
die Anzahl der Fälle/Tage repräsentiert, der Index j = (0, 1, ..., K) die verschiedenen Prädiktoren (verschiedene Beobachtungen). x i0 = 1 ist zusätzlich notwendig, um die Konstante in der Regression zu
bestimmen. Zusammen mit den Beobachtungen der vorherzusagenden Grösse y = ( yi |i = 1, ..., N ) T
lassen sich alle Regressionskoeffizienten schätzen:
β = (x T x)−1 x T y
(1.1)
Geht man nun wieder von der Annahme aus, die besagt, dass die Modellvorhersagen fehlerfrei sind,
so lässt sich die PP Vorhersage mit den Modellvorhersagen errechnen. p = (p j | j = 0, 1, ..., K) T sei
dabei der Vektor mit den Modellvorhersagen, K ist die Zahl der Prädiktoren. Speziell ist zu beachten,
dass p0 = 1 notwendig ist, damit die Regressionskonstante berücksichtigt wird. Damit lässt sich die
Vorhersage ŷi ausdrücken als:
ŷi = p T β = β0 + p1 β1 + ... + pK βK
(1.2)
Man beachte, dass die Regressionskoeffizienten lediglich auf den Beobachtungen aufbauen, in der
Vorhersage jedoch auf die Prädiktoren aus dem Modell angewendet werden. Dies ist nur durch die am
Anfang getroffene Annahme möglich.
Vorteile dieser Methode
Aufgrund der Tatsache, dass der Trainingsdatensatz x lediglich aus den Beobachtungen besteht, können
alle Messungen seit dem Bestehen einer bestimmten Wetterstation verwendet werden. Dies bedeutet,
dass der Trainingsdatensatz sehr umfangreich sein kann, wodurch:
- die Regressionsgleichung sehr stabil wird
- der Trainingsdatensatz auch seltene Ereignisse berücksichtigt, sofern diese in der Vergangenheit
an der Station registriert wurden
Nachteile dieser Methode
Da der Trainingsdatensatz lediglich aus Beobachtungen besteht, sind die unabhängigen Grössen (Prädiktoren) auf jene Grössen beschränkt, welche gemessen werden. Ebenfalls ist es nicht notwendig, die
vom numerischen Modell gelieferten Grössen über die PP Methode vorherzusagen, da das numerische
Modell bereits „fehlerfreie“ Vorhersagen liefert. PP wurde entwickelt, um Grössen vorherzusagen, welche gemessen/beobachtet werden, jedoch nicht im DMO des numerischen Modells vorhanden sind.
Aufgrund der grossen Anzahl an Variablen, welche von den heutigen Modellen zur Verfügung gestellt
werden, hat die PP Methode im Gegensatz zu den 1970/1980-er Jahren stark an Nutzen verloren.
Das elementarste Problem ist jedoch, dass die Modellvorhersagen nicht perfekt sind. Die Modelle haben
- je nach Region - starke Fehler, welche durch die PP Methode nicht eliminiert werden können.
9
1.2 Statistische Postprozessierung
Verwendung von Perfect Prog Methoden
Durch die erwähnten Nachteile ist die PP Methode heute nicht mehr stark verbreitet. Es gibt jedoch
Ideen, die PP Vorhersagen ebenfalls als Prädiktoren in andere statistische Postprozessierungsmethoden
einzubinden (Vislocky and Young 1989).
1.2.3 Model output Statistics-Systeme
Eine zweite Methode der Postprozessierung sind die sogenannten Model Output Statistics (MOS) Systeme. Als Vorreiter dieser Technik gelten Klein, Lewis, and Enger (1959) sowie Glahn and Lowry (1972).
Grundsätzlich funktioniert die Methode ähnlich wie die PP Methode, jedoch basiert der Trainingsdatensatz nun nicht mehr rein auf den Beobachtungen, sondern auf der numerischen Modellvorhersagen
(dem direkte Modelloutput des numerischen Modells (DMO)) und den Beobachtungen der vorherzusagenden Grösse. Bei einer MOS Methode wird nicht mehr angenommen, dass die Modellfehler des
DMO gleich Null sind, weshalb die statistische Beziehung zwischen dem DMO und den Beobachtungen
erstellt werden muss.
Nehmen wir wieder das lineare Modell als Beispiel (s. Formel 1.1), so ergibt sich folgende Form zur
Berechnung der Regressionskoeffizienten:
β = (x T x)−1 x T y
(1.3)
Wie man erkennen kann, ist diese Form identisch mit jener aus dem Perfect Prog (PP) Modell. Der
Unterschied liegt lediglich im Aufbau des Trainingsdatensatzes. Dabei ist x = (x i j | i = 1, ..., N , j =
0, 1, ..., K) T , wobei x i0 = 1 ist und x i j | i = 1, ..., N , j = 0, 1, ..., K die Vorhersagen aus dem DMO
(Prädiktoren), x i0 = 1 ist wiederum zur Bestimmung der Konstante der Regression notwendig.
yi | i = 1, ..., N sind die Beobachtungen der vorherzusagenden Grösse (Prädiktant). β enthält nun
also die Koeffizienten, welche die statistische Beziehung zwischen dem DMO und den Beobachtungen darstellen. Oder anders ausgedrückt: die statistische Beziehung zwischen dem Modell und der
Wahrheit. Die Formel für die Vorhersage ist ebenfalls identisch mit der PP Methode (s. Formel 1.2):
ŷi = p T β = β0 + β1 p1 + ... + βK pK
(1.4)
Dabei ist p = (p j | j = 0, 1, ..., K) T wieder die aktuelle Modellvorhersage, wobei p0 = 1 und K die
Anzahl der Prädiktoren.
Vorteile dieser Methode
Zusätzlich zu den lokalen Phänomenen, welche bereits im PP Modell korrigiert werden, korrigiert die
MOS Methode nun auch systematische Modellfehler. MOS Vorhersagen sind deshalb im Normalfall
Bias-frei (s. Abschnitt 2.7.2), das heisst, dass der Mittelwert der Beobachtungen identisch mit dem
Mittelwert der MOS Vorhersagen ist. Der Mittelwert des DMO für eine bestimmte Grösse kann ebenfalls
identisch sein, weicht aber oft stark vom Mittelwert der Beobachtungen ab und wird nun durch das
Postprozessing korrigiert.
Nachteile dieser Methode
Der Trainingsdatensatz besteht nun nicht mehr alleine aus Beobachtungen, sondern jeweils aus einem
Paar „Modell/Beobachtung”. Es müssen also jeweils die Modellvorhersagen (DMO) sowie die Beobach-
10
tungen vorhanden sein, um diese Fälle in den Trainingsdatensatz speichern zu können. Dies führt zu
einer Reihe neuer Probleme, da die Modelle ständig weiterentwickelt und verbessert werden.
Problem: Update der numerischen Modelle
Wie bereits beschrieben, wird durch die Regression ein statistischer Zusammenhang zwischen dem
DMO und den Beobachtungen gesucht. Verändert sich die Charakteristik des DMO, so passt die durch
die Regression errechnete Beziehung nicht mehr.
Basierend auf neuen wissenschaftlichen Erkentnissen, genaueren Parametrisierungen, neuen Daten
über die Oberflächenbeschaffenheit der Erde, leistungsstärkeren Computersystemen und so weiter
werden die numerischen Modelle laufend angepasst. Die Änderungen können sehr klein sein, also
beispielsweise lediglich eine leichte Adjustierung eines Konvektionsschemas, aber auch gravierend,
indem die Anzahl der Gitterpunkte verdoppelt wird oder neue Vertikalniveaus in die Berechnungen
einfliessen.
Kleine Anpassungen modifizieren die Fehlercharakteristik meist nur minimal, grosse Änderungen wie
eine Verdoppelung der Gitterpunktanzahl kann jedoch zu einer starken Anpassung der Fehlercharakteristik führen. Um dieses Problem zu lösen, entwickelten Wilson and Vallée (2002) ein “updateable“
Schema, welchem das Kapitel 1.3 gewidmet ist.
11
1.3 updateable-Konzept
1.3
updateable-Konzept
Eine durch ein Update des numerischen Modells ausgelösste Anpassung der Fehlercharakteristik kann
zu einer Verschlechterung der Model Output Statistics (MOS) Performance führen, wie dies bereits Abschnitt 1.2.3 genauer erklärt wurde. Viele Systeme ignorieren diese Modellumstellungen und speichern
alle Daten der verschiedenen Versionen der numerischen Modelle in ein und denselben Trainingsdatensatz. Der Vorteil dabei ist ein rasch anwachsender Trainingsdatensatz sowie ein geringer Wartungsaufwand. Der grosse Nachteil ist jedoch, dass die MOS Gleichungen auf einem Datensatz verschiedenster
Fehlercharakteristika basieren, was die Genauigkeit der MOS Vorhersagen beeinträchtigt. εal t sei der
Fehler einer Regression, welche lediglich auf auf dem Trainingsdatensatz einer „alten“ Modellversion
basiert. Wird im Regressionsmodell als Schätzer die Methode der kleinsten Quadrate verwendet, so ist
der Erwartungswert des Fehlers gleich 0 (Satz v. Gauss-Markow). Dasselbe gilt für den Fehler εneu eines
Regressionsmodelles, welches ausschliesslich auf dem Trainingsdatensatz der aktuellen oder „neuen“
Modellversion basiert.
E(εal t ) = 0 = E(εneu )
(1.5)
Ignorieren wir jedoch die Änderung der Fehlercharakteristik und erstellen ein Regressionsmodell, welches alle bisherigen Trainingsdatensätze berücksichtigt, ergibt sich für den Erwartungswert des Fehlers:
E(εal t + εneu ) 6= 0
(1.6)
Ein praktikabler Ansatz um dieses Problem zu umgehen, ist, dass für die verschiedenen Modellversionen verschiedene Trainingsdatensätze angelegt werden. Solange die Anzahl der Fälle im aktuellen
Trainingsdatensatz noch unter einem gewissen Limit liegt, basieren die Vorhersagen auf den Gleichungen aus dem alten Trainingsdatensatz. Der Grund dafür ist, dass eine Regression bei einer zu geringen
Anzahl an Fällen im Trainingsdatensatz keine stabilen Koeffizienten liefern kann, was die Qualität der
MOS Vorhersagen stark beeinträchtigt. Sobald der aktuelle Trainingsdatensatz genügend Fälle beinhaltet, werden neue Gleichungen auf dem neuen Trainingsdatensatz berechnet und zur Vorhersage
genutzt. Das Problem dabei: bis die für stabile Regressionskoeffizienten notwendigen 300 − 350 Fälle vorhanden sind (Carter 1986), müssen bei zwei Saisonen (s. Abschnitt 2.5) rund 2 Jahre Daten
gesammelt werden. Bis zu diesem Zeitpunkt werden die MOS Vorhersagen mit den alten Regressionsgleichungen berechnet, jedoch bereits mit dem aktuellen direkten Modelloutput des numerischen
Modells (DMO). Die Fehlercharakteristik des DMO ist somit eine andere wie jene, welche durch die
Regressionsanalyse beschrieben wird, was zu starken Einbussen der Qualität der MOS Vorhersagen
führen kann.
Diesem Problem widmeten sich Wilson and Vallée (2002, 2003) und entwickelten ein neues Verfahren.
Das Resultat aus dieser Arbeit ist das „Canadian updateable model output statistics system“, kurz UMOS. Wie viele gängige MOS Systeme basiert das Canadian Updateable Model Output Statistics (UMOS)
im Kern auf linearen Regressionsmodellen, besitzt jedoch ein Update-Schema, welches die wechselnde Fehlercharakteristik der dynamischen Modelle berücksichtigt und sich selbstständig an die neue
Fehlercharakteristik anpasst.
12
1.3.1 Die Idee / das Verfahren
(a) Nur Modellversion 1
(b) Zwei Modellversionen
(c) Nur Modellversion 2
SSCP1
SSCP2
SSCP1
SSCP2
SSCP1
SSCP2
MV 1
N=531
MV 2
N=0
MV 1
N=531
MV 2
N=132
MV 1
N=531
MV 2
N=368
Trainingsdatensatz
70%
30%
Trainingsdatensatz
Trainingsdatensatz
Abbildung 1.3: Konzeptioneller Ablauf des updateable-Ansatzes. Achtung: alle Werte sind lediglich exemplarisch!
Die verschiedenen Charakteristika der numerischen Modelle werden in eigene Trainingsdatensätze
(SSCPs) gespeichert. Solange es lediglich eine Modellversion gibt, wird die SSCP1 als Trainingsdatensatz herangezogen. Nach der Umstellung auf eine neue Version (im Beispiel Modellversion 2) wird
eine neue SSCP angelegt. Solange die neue SSCP noch nicht genügend Fälle beinhaltet, die Anzahl der
Fälle N also kleiner einem definierten Schwellwert ist (in der Praxis ca. 300 − 350 Fälle, Carter (1986)
), so wird die aktuelle SSCP mit der Vorgängerversion über ein Gewichtungsschema zum schlussendlichen Trainingsdatensatz kombiniert. Dieser wird von den den Regressionsmodellen verwendet, um die
Gleichungen zu erstellen, aus welchen die MOS Vorhersagen gewonnen werden.
Da täglich neue Fälle hinzukommen, wächst N in der aktuellen SSCP (in diesem Fall der
Trainingsdatensatz (SSCP)2) stetig an. Wird der Schwellwert für die Anzahl der Fälle in der aktuellen SSCP erreicht, so ist der Umfang der Daten in der aktuellen SSCP genügend gross, um stabile
Regressionsgleichungen aus der neuen Modellversion zu erstellen. Die vorherige Modellversion wird
nun nicht mehr benötigt und aus dem System eliminiert. Das Schema selbst ist in Abschnitt 2.6.2 genau
erklärt.
1.3.2 Nutzen
Durch das „upateable“ Schema kann also das A-UMOS „laufend“ an die sich verändernde statistische
Charakteristik des DMO angepasst werden. Die Vorteile des Verfahrens liegen auf der Hand:
• vollautomatisches Verfahren, dadurch starke Kostenreduktion (Entwicklungs- und Wartungskosten)
• kein Vermischen der unterschiedlichen Fehlercharakteristika
• rasche Berücksichtigung der neuen Charakteristik
• vollständiger Übergang auf den aktuellen Trainingsdatensatz, sobald im neuen Trainingsdatensatz genügend Fälle vorhanden sind, um eigenständige stabile Gleichungen zu erhalten
• bewahren der statistischen Stabilität während der Umstellung auf eine neue MOS Modellversion
Da der Umfang der im Trainingsdatensatz gespeicherten historischen Daten für stabile MOS Vorhersagen bei > 300 Fällen liegen muss, die Modelländerungen aber häufiger erfolgen, enthalten auch
die Trainingsdaten im „updateable“ System eine Mischung aus verschiedenen Modellversionen. Einen
anderen Zugang für dasselbe Problem wählten Hamill, Whitaker, and Mullen (2006). Auf einer nicht
mehr ganz aktuellen Version des Global Forecast System (GFS), dem numerischen Modell am National
Center for Environmental Prediction (NCEP), wurde ein 30 Jahre langer Vorhersagedatensatz erstellt.
1.3 updateable-Konzept
13
Da diese 30 Jahre zum Zeitpunkt der Erstellung bereits in der Vergangenheit lagen, spricht man in
diesem Fall von Reforecasts („retrospective forecasts“). Das GFS Modell stammt aus dem Jahre 1998
und besitzt den Versionsnamen T 62 mit einer Horizontalauflösung von rund 200km. Der ursprüngliche Reforecast-Datensatz deckte die Jahre 1979 − 2009 ab, wird seitdem jedoch operationell täglich
erweitert. Der grosse Nutzen resultiert daraus, dass zu den täglichen Vorhersagen ein mittlerweile über
32 Jahre langer Trainingsdatensatz mit ein und derselben Modellversion besteht. Die Kombination des
Trainingsdatensatzes mit den Vorhersagen des aktuellen Tages bietet eine umfangreiche Ausgangslage
für MOS Systeme und andere Methoden (z.B. Analogsysteme, neuronale Netzwerke, Boosting, ...). Die
Auflösung und Qualität des verwendeten numerischen Modells ist ohne Zweifel geringer als diejenige
der aktuellen Modelle (GFS, ECMWF, ...), jedoch liefert keines der aktuellen Modelle einen historischen Trainingsdatensatz mit vergleichbarem Umfang.
Ein „Reforecast“-MOS benötigt also kein „updateable“ Schema, da ein Modellwechsel ausgeschlossen
ist. Dadurch kann die Vorhersagegüte eines Reforecast basierten MOS Systems stark verbessert werden (Hamill et al. 2006). Vor allem für Klassifikationsalgorithmen für seltene Ereignisse ist dieser
Reforecast-Datensatz sehr hilfreich. Das A-UMOS basiert jedoch gemäss den Projektanforderungen auf
dem aktuellen Modell des ECMWF, ein Reforecast MOS mit dem erwähnten GFS Datensatz liegt im
Moment zur Verifikation leider nicht vor.
14
Kapitel 2
Das Austrian Updateable Model
Output Statistics System
In diesem Kapitel wird das Austrian Updateable Model Output Statistics (A-UMOS) System ausführlich behandelt. Das A-UMOS ist eine Adaption des UMOS Systemdesigns und wurde am Institut für
Meteorologie und Geophysik der Universität Innsbruck (IMGI) für die Zentralanstalt für Meteorologie
und Geodynamik (ZAMG) entwickelt. Dabei wurden die grundlegenden Ideen von Wilson and Vallée
(2002) übernommen und an die Anforderungen der ZAMG angepasst. Die folgenden Abschnitte zeigen
einige der wichtigsten Komponenten und Verfahren des A-UMOS. Aufgrund des immensen Umfangs
(mehr als 30′ 000 Zeilen Code, zusätzlich mehr als 15′ 000 Zeilen Kommentare, dazu unzählige Steuerfiles, ...) kann das System natürlich nicht bis ins Detail erklärt werden.
Softwaredesign des A-UMOS
2.1
Beobachtungen aus der
ZAMG Datenbank
B
Update der SSCPs
täglich mit 6d Verzögerung
(benötigt alle Beobachtungen bis +144h )
Beobachtungen
Interpolierter DMO
für Vorhersage + SSCPs
SSCP
D
ECMWF
Erstellen der MLR und
LMDA Resultate
Legende
B
D
R
V
Beobachtungen
Daten aus dem DMO
Resultate MLR/MDA
A-UMOS Vorhersagen
Täglicher Prozess
Wöchentlicher Prozess
Vorhersage aller MOS
Grössen (MLR & LMDA)
R
v
Abbildung 2.1: Konzeptioneller Aufbau des Austrian Updateable Model Output Statistics (A-UMOS) Systems
15
16
Das Austrian Updateable Model Output Statistics System
Wie bereits in Kapitel 1.3 erläutert wurde, handelt es sich bei einem MOS um eine Postprozessierung
des direkten Modelloutputs (DMO) eines numerischen Wettervorhersagemodells. Um diese Verfahren
anzuwenden, benötigen wir zwei grundlegende Informationen
1. Beobachtungen der Wetterstationen, an welchen die MOS Vorhersagen erstellt werden sollen
2. den DMO eines numerischen Modells, welcher alle gewünschten Wetterstations-Standorte überspannt
Das A-UMOS nutzt dazu die Beobachtungen aus den ZAMG Datenbanken sowie den DMO des ECMWF
Modells (European Centre for Medium-Range Weather Forecasts). Beide Informationen müssen jeweils
paarweise in den Trainingsdatensatz eingespielt werden, welcher hier durch die SSCP dargestellt ist.
Da das paarweise Vorhandensein zwingend notwendig ist, kann der aktuelle DMO nicht direkt in den
Trainingsdatensatz einfliessen, da die passenden Beobachtungen noch nicht vorhanden sind. Aufgrund
der maximalen Vorhersagezeit im A-UMOS von +6 Tagen werden die Datenpaare mit einem Zeitversatz
von 6 Tagen in die SSCPs gespielt.
Einmal pro Woche werden aus den aktuellen Trainingsdaten die Gleichungen für die verschiedenen
Vorhersagegrössen gerechnet. Ein tägliches Update der Gleichungen ist nicht sinnvoll, da nur wenige
neue Fälle im Trainingsdatensatz (max. 7 pro Woche) kaum Einfluss auf die Gleichungen haben.
Mit den so erstellten Gleichungen und dem aktuellen DMO des ECMWF lassen sich nun die Vorhersagen erzeugen. Dazu müssen die Prädiktoren aus dem DMO in die Gleichungen eingesetzt werden.
Die rohen Vorhersagen aus den Gleichungen durchlaufen im A-UMOS noch einige weitere Prozeduren
(Konsistenzprüfung, Grenzwertüberprüfung, s. Abschnitt 2.4), bevor die endgültige Ausgabedatei erstellt wird, welche in die Vorhersagedatenbank einfliesst. Diese Datenbank wird von den Synoptikern
im alltäglichen Betrieb verwendet.
2.2
Umfang der Vorhersagen
Das A-UMOS rechnet täglich rund 2,8 Millionen Vorhersagewerte. Diese Zahl setzt sich aus der Anzahl
der Stationen, der Vorhersagezeitschritte, Modelläufe und Vorhersagegrössen zusammen. Nachstehend
wird aufgeführt, welche Vorhersagen im A-UMOS berechnet werden und welchen räumliche und zeitlichen Bereich sie abdecken.
2.2.1 Prädiktanten (Vorhersagegrössen)
Das System umfasst insgesamt 22 Prädiktanten, wobei 16 davon deterministische Grössen sind und die
restlichen 6 probabilistische Grössen. Die deterministischen Prädiktanten werden mittels einer multiple lineare Regression (MLR) (s. Abschnitt 2.3.1) berechnet und liefern quantitative Werte (z.B. 5.8◦
Celsius; Windgeschwindigkeit 4.2ms−1 ). Im Gegensatz dazu liefern die 6 probabilistischen Grössen
Wahrscheinlichkeitswerte zwischen 0% und 100%. Die zugrundeliegende Methode ist eine multiple
Diskriminantenanalyse (MDA) (s. Abschnitt 2.3.2) und die Prädiktanten sind teilweise in mehrere
Sub-Klassen aufgeteilt. Während die Wahrscheinlichkeit für Gewitter (wgew) lediglich eine binäre Entscheidung darstellt (Nein/Ja), so werden bei der Niederschlagsvorhersage die Wahrscheinlichkeiten
für mehrere Schwellwerte vorhergesagt (Niederschlagsmenge > 1.0mm, > 2.0mm, ..., > 20mm). Tabelle 2.1 zeigt die vollständige Liste aller Vorhersagegrössen.
17
2.2 Umfang der Vorhersagen
Kurz-
Name
Einheit
Typ
name
Stat-
Klassen
Typ
ff10
10m Windgeschwindigkeit
1/10 m s−1
MLR
ffx
10m Windböe
1/10 m s−1
MLR
S+T
pre
Niederschlagsmenge
1/10 mm
MLR
S+T
rh
Relative Feuchte
%
MLR
S+T
◦
S+T
spot
2m Temperatur
1/10 C
MLR
S+T
ssd
Sonnenscheindauer
1/10 h
MLR
S+T
td
2m Taupunktstemperatur
1/10 ◦ C
MLR
S+T
◦
tmax
Maximimtemperatur
1/10 C
MLR
S+T
tmin
Minimumtemperatur
1/10 ◦ C
MLR
S+T
u10
10m u-Wind Komponente
1/10 m s−1
MLR
S+T
v10
10m v-Wind Komponente
−1
MLR
S+T
glo
Globalstrahlung
W m−2
MLR
T
t5cm
5cm Temperatur
1/10 ◦ C
MLR
T
mclo
Bedeckungsgrad mittelhohe und tiefe Wolken
[0/8 − 8/8]
MLR
S
tclo
Bedeckungsgrad gesamt
[0/8 − 8/8]
MLR
S
siw
Sichtweite
1/10 km
MLR
S
wconv
Wahrscheinlichkeit für ausgedehnte Konvektion
% für Klassen
LMDA
S
2
wfesns
Wahrscheinlichkeit für festen Niederschlag
% für Klassen
LMDA
S
2
wgew
Wahrscheinlichkeit für Gewitter
% für Klassen
LMDA
S
2
aktww
Aktuelles Wetter
% für Klassen
LMDA
S
10
pop
wsp
1/10 m s
aktww1, Gesamtbedeckung 0 − 4/8
(#1)
aktww2, Gesamtbedeckung zeitweise ≤ 4/8, zeitweise > 4/8
(#2)
aktww3, Gesamtbedeckung 5 − 8/8
(#3)
aktww4, Staubsturm, Sandsturm oder Schneetreiben
(#4)
aktww5, Nebel oder starker Dunst
(#5)
aktww6, Sprühregen
(#6)
aktww7, Regen
(#7)
aktww8, Schnee oder Schneeregen
(#8)
aktww9, Schauer
(#9)
aktww10, Gewitter
(#10)
Wahrscheinlichkeit für Niederschlagsklassen
% für Klassen
LMDA
S+T
6
pop0, Niederschlag < 0.1 mm
(#0)
pop1, Niederschlag ≥ 0.1 mm
(#1)
(#2)
(#3)
(#4)
(#5)
Windgeschwindigkeit
% für Klassen
LMDA
S+T
4
wsp0, Windböen < 60 km h−1
(#0)
wsp1, Windböen ≥ 60 km h−1
(#1)
−1
wsp2, Windböen ≥ 80 km h
(#2)
wsp3, Windböen ≥ 100 km h−1
(#2)
Tabelle 2.1: Liste aller im A-UMOS enthaltenen Prädiktanten. Typ: gibt an, mit welcher Methode der Prädiktant
gerechnet wird; Stat-Typ: zugrunde liegende Stationsliste (S=Synop, T=Tawes); die drei LMDA Prädiktanten
wconv, wfesns, wgew werden jeweils in zwei Klassen vorhergesagt, wobei die Klasse 0 jeweils „Ereignis Nein“ und
die Klasse 1 „Ereignis Ja“ repräsentiert.
18
2.2.2 Stationen
Breitengrad
TAWES Stationen
SYNOP Stationen
Gesamte Stationsabdeckung
56 o
N
56 o
N
48 o
N
48 o
N
40 oN
40 oN
32 oN
32 oN
49oN
48oN
47oN
46oN
0o
o
15 E
o
30 E
Längengrad
0o
o
15 E
Längengrad
o
30 E
10oE
12oE
o
14 E
o
16 E
o
18 E
Längengrad
Abbildung 2.2: Graphische Übersicht der im A-UMOS verwendeten Stationen. Links: Gesamte Stationsliste mit
1041 Stationen; Mitte: SYNOP Stationen; Rechts: TAWES Stationen. Diese teilautomatischen Wetterstationen
(TAWES) der ZAMG stehen verteilt über ganz Österreich.
Insgesamt werden im A-UMOS aktuell 1041 Stationen verarbeitet, wobei sich diese Zahl durch das
Hinzufügen von neuen Stationen beziehungsweise durch das Entfernen von Stationen verändern kann.
Diese 1041 Stationen sind in drei Gruppen eingeteilt. So gibt es 85 reine „TAWES“-Statioinen (teilautomatische Wetterstation der ZAMG), 630 reine „Synop“-Stationen (manuelle Beobachtungen) sowie
163 kombinierte Stationen. Kombinierte Stationen bestehen aus einer TAWES-Station, jedoch werden
zusätzlich noch die manuellen Wetterbeobachtungen (SYNOP’s) durchgeführt. In diesen Fällen sind die
Beobachtungen doppelt vorhanden - es können also Vorhersagen für beide Typen berechnet werden.
Der Unterschied liegt lediglich darin, dass die SYNOP-Beobachtungen jeweils Mittelwerte über die vergangene Stunde melden, während die TAWES-Meldungen 10min Mittel sind. Das A-UMOS behandelt
beide Typen als zwei unterschiedliche Stationen, wobei diese am Ende - sofern beide Vorhersagewerte
vorhanden sind - gemittelt werden. Am Ende wird lediglich ein Vorhersagewert pro Prädiktant pro Station für einen Vorhersagezeitschritt gespeichert. Dies ergibt eine am Ende Vorhersagen für insgesamt
878 unterschiedliche Standorte.
2.2.3 Vorhersagezeitschritte
Aus technischer Sicht könnten die MOS Vorhersagen bis zum Ende der ECMWF Vorhersagen gerechnet
werden, welche aktuell bis maximal +15d vorhanden sind. Die Vorhersagegenauigkeit und die Vorhersagegüte der numerischen Modelle nehmen bei Langzeitprognosen (> 6 − 7d) deutlich ab. Für diese
Zeitskalen werden Ensembleprognosen/EnsembleMOS verwendet, um probabilistische Vorhersagen zu
erstellen.
Da das A-UMOS eine Unterstützung der operationellen Wettervorhersage ist und für automatisierte
Produkte verwendet wird, beschränkt man sich auf den praxisorientierten Zeitrahmen von +0h bis
+144h (+6d). Bis auf einige Ausnahmen (siehe Tabelle 2.2) werden alle Prädiktanten zuerst 3-stündig
gerechnet, ab einer Vorhersagezeit von +72h bis +144h dann jeweils 6-stündig. Ausnahmen dieser Regel sind die Niederschlagsgrössen (pre, pop), welche durchgehend 6-stündig gerechnet werden, sowie
die 2m Minimum- und Maximumtemperatur, welche jeweils 12-stündig für 06U T C beziehungsweise 18U T C vorhergesagt werden. Diese Intervalle sind bedingt durch die Beobachtungszeiten an den
SYNOP-Wetterstationen.
19
2.3 Verwendete statistische Modelle
Prädiktant
Kurz-
A
∆1
B
∆2
C
name
Aktuelles Wetter
aktww
3
3
72
6
144
10m Windgeschwindigkeit
ff10
3
3
72
6
144
10m Windböe
ffx
3
3
72
6
144
Globalstrahlung
glo
3
3
72
6
144
Bedeckungsgrad mittelhohe und tiefe Wolken
mclo
3
3
72
6
144
Wahrscheinlichkeit für Niederschlagsklassen
pop
6
6
144
Niederschlagsmenge
pre
6
6
144
Relative Feuchte
rh
3
3
72
6
144
Sichtweite
siw
3
3
72
6
144
2m Temperatur
spot
3
3
72
6
144
Sonnenscheindauer
ssd
3
3
72
6
144
5cm Temperatur
t5cm
3
3
72
6
144
Bedeckungsgrad gesamt
tclo
3
3
72
6
144
2m Taupunktstemperatur
td
3
3
72
6
144
Maximimtemperatur
tmax
6
12
144
Minimumtemperatur
tmin
6
12
144
10m u-Wind Komponente
u10
3
3
72
6
144
10m v-Wind Komponente
v10
3
3
72
6
144
Wahrscheinlichkeit für Konvektion
wconv
3
3
72
6
144
Wahrscheinlichkeit für festen Niederschlag
wfesns
3
3
72
6
144
Wahrscheinlichkeit für Gewitter
wgew
3
3
72
6
144
Windgeschwindigkeit
wsp
3
3
72
6
144
Tabelle 2.2: Übersicht der Vorhersagezeitschritt (VSZ) der einzelnen Prädiktanten. A: erster VSZ; ∆1 : Zeitschrittintervall bis B, ∆2 : Zeitschrittintervall bis C; C: letzter VSZ; in blau-kursiv: „spezielle“ VSZ-Intervalle.
2.3
Verwendete statistische Modelle
Das A-UMOS besteht aus zwei Hauptroutinen, welche einerseits die multiple lineare Regression (MLR)
Vorhersagen (s. Abschnitt 2.3.1) für alle kontinuierlichen Prädiktanten liefert, andererseits wird die
lineare multiple Diskriminantenanalyse (LMDA) (2.3.2) zur Wahrscheinlichkeitsvorhersage verschiedener Prädiktanten verwendet.
Beide Verfahren basieren auf den in den SSCPs gespeicherten (reduzierten) Trainingsdatensätzen (s.
Abschnitt 2.6.1). Einmal pro Woche wird die Ausgangslage für die täglichen Vorhersagen erstellt. Während man bei der MLR tatsächlich von „Gleichungen“ sprechen kann, besteht diese Ausgangslage bei
der LMDA aus verschiedenen Vektoren und Skalaren, die zur Erzeugung der Vorhersagen genutzt werden.
20
2.3.1 multiple lineare Regression für deterministische Grössen
Schematischer Ablauf
β
β
Beobachtungen
i1*xi1
(c) Vorhersage
Prädiktor aus dem DMO
(b) Regression
(a) Trainingsdatensatz
pi
i0
yi ε
Beobachtungen
i
yi
Prädiktant (MOSVorhersage)
Abbildung 2.3: Konzept einer linearen Regression, lediglich 2-Dimensional. (a) zeigt die Daten im Trainingsdatensatz, welche die Basis für die Regression (b) sind. Die Regression führt zusammen mit dem DMO zur MOS
Vorhersage (c).
Alle deterministischen Grössen im A-UMOS werden mittels einer multiplen linearen Regression berechnet. Das Beispiel zeigt eine lineare Regression (lediglich in zwei Dimensionen). Dabei wird der
statistische Zusammenhang zwischen einer unabhängigen Grösse (dem sogenannten Prädiktor aus
dem DMO) und einer abhängigen Grösse (der Beobachtung) gesucht. Das Funktionsprinzip bei mehreren Dimensionen ist dasselbe, lässt sich aber spätestens ab der vierten Dimension nicht mehr darstellen.
Basierend auf der erstellten Regression lässt sich nun mit dem aktuellen DMO (aktuelle Vorhersage des
numerischen Modells) der Prädiktant (Vorhersage des A-UMOS) erstellen.
Übersicht multiple lineare Regression
Mathematisch lässt sich die multiple lineare Regression (MLR) folgendermassen beschreiben (Kapitel
6 Wilks 2006, P. 179-254), (Kapitel 3 Hastie et al. 2003, P. 43-100):
yi = p T β = β0 + p1 β1 + p2 β2 + ... + pK βK + εi
(2.1)
yi = ŷi + εi
(2.2)
Der Index i = I entspricht der aktuellen Vorhersage. p = (p j | j = 0, 1, ..., K) T sind dabei die Prädiktoren des DMO, wobei p0 = 1 zur korrekten Berechnung der Regressionskonstante sei. β = (β j | j =
0, 1, ..., K) T entsprechen den einzelnen Koeffizienten der Gleichung, β0 bezieht sich im Speziellen auf
die Regressionskonstante. K ist die Anzahl der Prädiktoren, welche in der Gleichung verwendet werden. ŷi ist die Vorhersage des A-UMOS, welche sich aus dem „wahren“ Wert yi (Beobachtung) und
einem Fehlerterm εi zusammensetzt. Durch die Methode der kleinsten quadratischen Fehlerprodukte
wird mittels der MLR versucht, durch einen Mittelwertschätzer den Fehler εi zu minimieren. Durch
den kleinsten Quadrateschätzer (OLS) ergibt sich, zusammen mit dem Satz von Gauss-Markow, der
Erwartungswert für den Fehler E(ε) = 0.
Vom Trainingsdatensatz bis zu der Vorhersage sind einige Schritte notwendig, welche nun genauer
erläutert werden.
21
Prädiktoren Prescreening
Als einer der ersten Schritte bei der Entwicklung des A-UMOS wurde ein Prescreening der Prädiktoren durchgeführt. Aus der Fülle denkbarer Prädiktoren wurden dem System anfangs potentiell 265
verschiedene Prädiktoren zur Verfügung gestellt. Für eine eingeschränkte Anzahl an Stationen und
Vorhersagezeitschritte wurden die Trainingsdatensätze mit allen 265 Prädiktoren erstellt. Anschliessend wurden - basierend auf dem vollumfänglichen Trainingsdatensatz - die MLR Gleichungen erstellt
(analoges gilt für die LMDA Prädiktanten). Dabei durchlief das A-UMOS den Selektionsvorgang für die
Prädiktoren. Die Anzahl und die Reihenfolge, mit welcher die Prädiktoren im Selektionsalgorithmus
gewählt wurden, führten zu einer objektiven Masszahl der wichtigsten Prädiktoren. Die so generierte
„Rangliste“ wurde anschliessend manuell überarbeitet, um die Anzahl der Prädiktoren auf ein Subset
von maximal 30 einzuschränken. Dieser manuelle Eingriff ist wichtig, da durch den automatischen
Selektionsprozess oft ähnliche Prädiktoren mit dem annähernd gleichen Informationsgehalt gewählt
werden (z.B. Temperaturen in 1000 hPa, 925 hPa, 850 hPa, ...). Durch diese redundante Wahl können bei der Eingrenzung auf maximal 30 Prädiktoren wichtige Prädiktoren aus dem Subset fallen,
wodurch das Subset nur noch eine Teilinformation beinhalten würde. Dies reduziert die SSCPs (s. Abschnitt 2.6.1) von (265 + 1) · 265 · 0.5 = 35′ 245 auf (30 + 1) · 30 = 465 Elemente. Das System mit
allen 265 Prädiktanten zu betreiben, wäre aus Sicht der benötigten Rechenleistung und des benötigten Speicherbedarfs nicht sinnvoll. Im Subset mit 30 Prädiktanten steckt der Hauptteil der durch den
Selektionsprozess verwendeten Information, die restliche Prädiktanten werden nicht mehr mitgeführt.
Selektion der Prädiktoren
Das A-UMOS stellt dem Selektrionsalgorithmus das Subset aus 30 verschiedene Prädiktoren zur Verfügung, aus welchen er nun wieder frei wählen kann. Mittels einer Vorwärtsselektion mit Rückwärtselimination werden in Schritt 1, basierend auf der Korrelation, die besten Prädiktoren ausgewählt.
Aufgrund der Form des Trainingsdatensatzes (s. Abschnitt 2.6.1) sind die Formeln für Varianz (VAR),
Kovarianz (COV) und Korrelation (COR) auf die Form für auflaufende Messwerte umzustellen:
VAR(zi ) =
N
1X
N
(zi − z̄)2 =
i=1
N
1X
N
N
1X
N
i=1
(zi2 ) − 2
i=1
(zi2 ) − 2z̄z̄
2
N
1X
N
N
1X
N
+ z̄ =
(zi2 − 2zi z̄ + z̄ 2 ) =
i=1
(zi )z̄ +
i=1
N
1X
N
N
1X
N
(z̄ 2 ) =
i=1
(zi2 ) − 2z̄ 2
(2.3)
2
+ z̄ =
i=1
N
1X
N
(zi2 ) − z̄ 2
i=1
In der Formel 2.3 steht z stellvertretend für y (Beobachtungen; wahrer Wert) beziehungsweise ŷ (Vorhersage; fehlerbehafteter Wert). z̄ ist jeweils der Mittelwert der verwendeten Grösse aller im Trainings-
22
datensatz gespeicherten Fälle.
1X
1X
( ŷi yi − ŷi ȳ − ¯ŷ yi + ¯ŷ ȳ) =
N
1X
1X
1X
1X
( ŷi yi ) −
( ŷi ) ȳ − ¯ŷ
( yi ) + ¯ŷ ȳ =
( ŷi yi ) − ¯ŷ ȳ − ¯ŷ ȳ + ¯ŷ ȳ =
N
N
N
N
1X
( ŷi yi ) − ¯ŷ ȳ
N
(2.4)
P
COV ( ŷ, y)
( ŷi yi ) − ¯ŷ ȳ
COR( ŷ, y) = p
= pP
p
pP
VAR( ŷ) · VAR( y)
( ŷi 2 ) − ¯ŷ 2 ·
( yi2 ) − ȳ 2
(2.5)
COV ( ŷ, y) =
N
( ŷi − ¯ŷ )( yi − ȳ) =
Alle Unbekannten auf der rechten Seite der Gleichung 2.5 sind im Trainingsdatensatz enthalten, wie
die Matrix in Gleichung 2.18 zeigt. Die Selektion arbeitet Schrittweise „vowrärts“ mit Rückwärtselimination. Als Selektionskriterium wird die Korrelation zwischen den Prädiktoren und den Beobachtungen
im Trainingsdatensatz genutzt.
1. Wahl des Prädiktors mit der höchsten Korrelation.
2. Wahl des zweiten Prädiktors mit der höchsten Korrelation des verbleibenden Prädiktorensets.
3. Überprüfung der zusätzlichen Verbesserung durch die zweite Selektion. Dabei muss die Verbesserung I = (1 − COR(1)) · COR(2) > s einem Schwellwert (s) sein. Ist diese Bedingung nicht
erfüllt, wird der zweite Prädiktor verworfen (eliminiert) und der Selektionsvorgang beendet.
4. Wahl des nächsten Prediktors mit der höchsten Korrelation des verbleibenden Prädiktorensets.
5. Erneute Überprufung gemäss dem Schema in (3). Sollte die Bedingung erfüllt sein, so wiederholen sich die beiden Punkte 4 und 5, bis der Schwellwert (s) unterschritten wird. Ist dies der
Fall, wird der letzte gewählte Prädiktor eliminiert und die Selektion beendet. Ebenfalls wird die
Selektion beendet, wenn die Anzahl der gewählten Prädiktoren eine maximal erlaubte Anzahl
(Kma x ) überschreitet.
Die im A-UMOS verwendeten Schwellwerte sind in der Tabelle 2.11 zusammengefasst. Die folgende
Tabelle zeigt die Häufigkeit in Promille, mit welcher eine gewisse Anzahl an Prädiktoren gewählt wurde. Die Werte gelten für beide Saisonen (kalt und warm), für alle Vorhersagezeitschritte sowie den 00Z
und den 12Z Modellauf. Die Auswertung gilt für den 19.10.2011. Gut zu erkennen ist, dass für einige
Prädiktanten lediglich 1 − 2 Prädiktoren vewendet werden, während andere (z.B. rh) eine höhere Zahl
von 5 − 9 Prädiktoren verwenden. Die Anzahl hängt davon ab, wie stark die einzelnen Prädiktoren mit
den Beobachtungen korrelieren. Beschreibt der Erste gewählte Prädiktor bereits die komplette Beziehung zwischen Prädiktoren und Beobachtungen, so sind - wenn überhaupt - nur noch wenige weiter
Prädiktoren notwendig.
23
Prädiktant
ff10
ffx
glo
mclo
pre
rh
siw
spot
ssd
t5cm
tclo
td
tmax
tmin
u10
v10
1
2
3
4
5
6
7
8
9
10
26
30
251
6
3
0
3
135
50
9
2
60
80
16
65
57
146
146
346
93
11
5
39
362
209
104
68
221
251
115
264
284
282
272
226
295
36
43
142
262
375
241
345
309
233
216
316
317
269
264
99
332
79
114
246
148
258
265
376
236
213
263
195
197
167
168
49
189
135
188
262
64
85
197
161
112
139
212
100
92
73
79
16
65
170
208
180
21
16
102
38
42
59
113
40
35
25
29
7
15
206
220
91
4
2
57
6
14
16
48
13
11
6
7
1
2
139
106
24
0
0
14
0
2
3
8
3
2
1
2
0
0
216
112
7
0
0
7
0
1
1
4
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
Tabelle 2.3: Häufigkeit [%], mit welcher eine gewisse Anzahl an Prädiktoren (1 − 10) gewählt wurde. Die maximal erlaubte Anzahl Prädiktoren Kma x = 10, wodurch maximal 10 verschiedene Prädiktoren gewählt werden
können. Diese Auswertung gilt für den 19.10.2011. Datengrundlage: Gleichungssatz beider Saisonen, beider Modellstartzeiten und aller Vorhersagezeitschritte. Die Tabelle 2.1 enthällt die Beschreibung der hier abgebildeten
Prädiktanten.
Mathematischer Algorithmus
Nachdem die Prädiktoren ausgewählt sind, erfolgt die Berechnung der Koeffizienten β = (β j | j =
0, 1, ..., K). K stellt dabei wieder die Anzahl der gewählten Prädiktoren dar und darf Kma x = 10 nicht
übersteigen. Die Konstante β0 wird unabhängig von der Anzahl der Prädiktoren immer berechnet. Zur
Erinnerung die Formel der multiplen linearen Regression:
ŷi = βp T = β0 + β1 p1 + ... + βK pK + εi
(2.6)
ŷi ist dabei die MOS Vorhersage, die erst in einem späteren Schritt explizit berechnet wird. p j ist der
jeweilige dazugehörige Vektor, welcher die Prädiktoren für der aktuellen ECMWF Vorhersage enthält.
In diesem Schritt wichtig ist dabei nur β = (β j | j = 0, 1, ..., K). x stellt den Trainingsdatensatz dar,
welcher zusätzlich den Faktor für die Konstante (1) beinhaltet.
β = (x T x)−1 x T y
(2.7)
Im A-UMOS besitzt der Trainingsdatensatz eine spezielle Form (genannt SSCP, s. Abschnitt 2.6.1).
Die SSCP ist allgemein definiert als x T x. Die im A-UMOS verwendeten SSCPs beinhalten noch einige
Zusatzinformationen! Formel 2.8 ergibt sich unter der Berücksichtigung, dass die Matrix „SSCP“ die
A-UMOS Struktur besitzt zu:
β = (SSC Pl,l )−1 SSC Pl,L | l = 2, ..., L − 1
(2.8)
24
L ist dabei die Dimension der quadratischen Matrix SSCP, l der Element-Index. SSC Pl,l | l = 2, ..., L −1
beinhaltet dabei genau x T x, SSC Pl,L enthält x T y.
Resultat / Gleichungen
Die so berechneten Koeffizienten β inklusive der Selektionsinformation werden im A-UMOS nun zwischengespeichert, um sie für den Vorhersageprozess verwenden zu können. Aufgrund der nur langsam
anwachsenden Anzahl an Fällen im Trainingsdatensatz (N ) besteht keine Notwendigkeit, die Koeffizienten täglich neu zu berechnen. Dies geschieht deshalb lediglich einmal pro Woche.
Vorhersage der Prädiktanten: multiple lineare Regression
Durch Einsetzen der korrekten Prädiktoren p aus dem DMO sowie der berechneten Koeffizienten β in
die Gleichung 2.7 erhält man die Vorhersage für eine bestimmte Station zu einem definierten Vorhersagezeitpunkt. Um eine vollständige Vorhersage des A-UMOS zu erhalten, wird dieser Schritt für alle
möglichen Kombinationen aus Stationen, Prädiktanten und Vorhersagezeitschritte wiederholt.
25
2.3.2 lineare multiple Diskriminantenanalyse für probabilistische Grössen
Schematischer Ablauf
(a) Trainingsdatensatz
(b) Diskriminantenanalyse
Klasse 2
Klasse 2
Prädiktor B
Prädiktor B
as
Prädiktor A
Klasse 2
se
ng
re
n
ze
Klasse 1
Prädiktor A
Prädiktor B
Kl
Klasse 1
(c) Vorhersage
Klasse 1
Prädiktor A
Abbildung 2.4: Konzept einer linearen Diskriminantenanalyse, lediglich 2-Dimensional. (a) zeigt den Trainingsdatensatz, wobei beide Klassen getrennt gespeichert sind. Durch die Diskriminantenanalyse erhält man die Klassengrenze (b), welche für die MOS-Vorhersage verwendet wird.
Die probabilistischen Grössen, also die Wahrscheinlichkeiten, werden mittels einer multiplen linearen
Diskriminantenanalyse vorhergesagt. Allgemein gesprochen handelt es sich um einen Klassifizierungsalgorithmus, welcher versucht, die Vorhersagen der numerischen Modelle basierend auf einer statistischen Beziehung zwischen den Prädiktoren und den Beobachtungen einer der Klassen zuzuordnen.
Die Vorhersage des A-UMOS gibt an, wie sicher das Eintreffen (oder nicht-Eintreffen) der gewünschten
Klasse ist.
Übersicht MDA
Für die lineare multiple Diskriminantenanalyse (LMDA) wurde die sogenannte „Fisher’s lineare Diskriminantenanalyse“ verwendet - ein linearer Klassifizierungsalgorithmus (Kapitel 13 Wilks 2006, P.
538-544) (Kapitel 4 Hastie et al. 2003, P. 101-137). Dabei wird versucht, zwischen den Beobachtungen und den Prädiktoren im Trainingsdatensatz ein Zusammenhang zu erzeugen. Im Gegensatz zur
MLR stellen die berechneten "Geraden"(da linear) jedoch nicht die Funktion für die Vorhersagewerte
dar, sondern die Grenze zwischen den einzelnen „Klassen“. In der Vorhersage wird die neue ECMWF
Vorhersage aufgetragen und untersucht, in welcher Klasse der aktuelle Lauf zu liegen kommt. Anhand
der Abstände zu den durch den Klassifizierungsalgorithmus berechneten „Klassengrenzen/Geraden“
wird die entsprechende Wahrscheinlichkeit berechnet. Als Beispiel: liegen die Prädiktoren des aktuellen Laufs eines Prädiktanten genau auf dem Mittelwert der Trainignsdatensätze in der Klasse „Ereignis
Nein“ und weit entfernt von der Klassengrenze zu „Ereignis Ja“, so ist die Wahrscheinlichkeit für ein
Eintreten der Klasse „Ereignis Nein“ gross. Liegt die Vorhersage jedoch nahe bei der Klassengrenze, so ist
die Zuteilung nicht mehr ganz eindeutig und die Wahrscheinlichkeiten werden in Richtung 50 %/50 %
verschoben.
Prädiktoren Prescreening
Analog zur multiple lineare Regression (MLR) wurde auch für die LMDA Prädiktoren ein Prescreening
durchgeführt, wodurch die Anzahl der Prädiktoren pro Vorhersagegrösse auf ein Subset von jeweils
30 Prädiktoren reduziert wurde. Genauere Informationen zum Prescreening siehe Absatz „Prädiktoren
Prescreening“ im Abschnitt 2.3.1.
26
Selektion der Prädiktoren
Die Selektion der Prädiktoren in der LMDA basiert auf einer Vorwärtsselektion mit RückwärtsElimination, basierend auf der Mahalanobis-Distanz (bzw. dem Quadrat der Mahalanobis-Distanz).
Details zur Mahalanobis-Distanz siehe (Abschnitt 9.4.4 Wilks 2006, P. 431-433).
Getestet werden alle Prädiktorenkombinationen gegeneinander im Vorwärtsverfahren. Vorwärts deshalb, weil mit einem Prädiktor begonnen wird. Es wird jeweils jener Prädiktor gewählt, welcher den
grössten Beitrag zur Mahalanobis-Distanz leistet. Wird eine Wahl getroffen, so wird das neue Set (bestehend aus K Prädiktoren aus (K1 , ..., K t ot ) in Kombination mit allen übriggebliebenen Prädiktoren
getestet. K ist dabei die Zahl der gewählten Prädiktoren, Kma x die maximale Anzahl erlaubter Prädiktoren durch das Selektionsverfahren und K t ot die gesamte Menge der wählbaren Prädiktoren im
Trainingsdatensatz. Unterschreitet die Verbesserung mit K einen gewissen Schwellwert relativ zur
Mahalanobis-Distanz des bestehenden Sets mit K − 1, so wird dieser Prädiktor nicht mehr gewählt
(bzw. im Nachhinein wieder eliminiert) und die Selektion abgebrochen. Das so gewählte Set wird
zur Vorhersage verwendet. Die Abbildung 2.5 zeigt einen solchen Selektionsvorgang aus einem realen
Beispiel.
1. Wahl des Prädiktors mit dem höchsten Beitrag zur Mahalanobis-Distanz.
2. Wahl des zweiten Prädiktors mit dem höchsten zusätzlichen Beitrag zur bestehenden
Mahalanobis-Distanz (kumulative Grösse) des verbleibenden Prädiktorensets.
3. Überprüfung des zusätzlichen Beitrages durch die zweite Selektion. Dabei muss die Verbesserung
2
relativ zur bestehenden Mahalanobis-Distanz (Dcur
r ) einen gewissen Schwellwert übersteigen.
D2
r
Ist der Zuwachs I = D2 cur
> s (grösser einem Schwellwert s), so wird der zusätzliche Prä2
cur r +Dnew
diktor akzeptiert. Anderenfalls wird der neu selektierte Prädiktor verworfen (eliminiert) und der
Selektionsvorgang abgebrochen.
4. Wahl des nächsten Prediktors mit dem höchsten zusätzlichen Beitrag zur bestehenden
Mahalanobis-Distanz aus dem verbleibenden Prädiktorenset.
5. Erneute Überprüfung gemäss dem Schema in (3). Sollte die Bedingung erfüllt sein, so wiederholen sich die beiden Punkte 4 und 5, bis der Schwellwert (s) unterschritten wird. Ist dies der
Fall, wird der letzte gewählte Prädiktor eliminiert und die Selektion beendet. Ebenfalls wird die
Selektion beendet, wenn die Anzahl der gewählten Prädiktoren eine maximal erlaubte Anzahl
(Kma x ) überschritten wird.
Die im A-UMOS für die LMDA verwendeten Schwellwerte sind in Tabelle Tabelle 2.12 zusammengefasst.
Mathematischer Algorithmus
Der allgemeine dahintersteckende Algorithmus der LMDA basiert auf den folgenden Gleichungen ...
1
Fcl =
|Σ−1 | 2
h 1
i
· e x p − · (p̄i − x̄cl ) T Σ−1 (p̄i − x̄cl )
2
(2 · π)
t
2
(2.9)
... wobei Σ die sogenannte „within covariance matrix“ darstellt, p ist der Vektor mit der aktuellen
ECMWF Vorhersage (Prädiktoren) und x̄cl der Mittelwert der Prädiktoren der entsprechenden Klasse
aus dem Trainingsdatensatz (s. Abschnitt 2.6.1). t stellt die Anzahl der „discriminant functions“ dar. Auf
27
MDA-Selektionsverfahren
Vorwärtsselektion mit Rückwärts-Elimination
250
Verbesserung (I)
Anzahl der gewählten Prädiktoren
(skaliert mit Faktor 50)
Bestes gefundenes D2
(Quadrat der Mahalanobis-Distanz)
Aktuelles D2 (D2 Test)
(Quadrat der Mahalanobis Distanz)
Gewählt: #5
Gewählt: #4
200
Gewählt: #3
150
Gewählt: #2
100
Gesamtes D2 (T)
D2 (Quadrat der Mahalanobisdistanz)
bzw. Anzahl Prädiktoren (x50)
300
Gewählt: #1
50
0
Iterationsschritte des Selektionsverfahrens
Abbildung 2.5: Diese Grafik zeigt einen Selektionsprozess für ein Prädiktorenset aus dem A-UMOS für die lineare
multiple Diskriminantenanalyse (LMDA) (Klassifizierungsalgorithmus). Grau (gestrichelt) stellt die Anzahl der
gewählten Prädiktoren dar (skaliert mit Faktor 50 zur Darstellung auf derselben Ordinate). Grün (gepunktet)
das Quadrat der Mahalanobis-Distanz des jeweiligen Test-Sets und Rot (ausgezogen) diejenige der jeweils beste
Kombination. Seitlich rechts mit T bezeichnet ist das totale Quadrat der Mahalanobis-Distanz für das Set mit 5
Prädiktoren dargestellt. Markiert mit I (Improvement) die Verbesserung durch den zuletzt gewählten Prädiktor.
Fällt
I
T
unter einen Schwellwert s, so wird dieser wieder eliminiert. Im Beispiel ist das bei Prädiktor 5 der Fall - die
Selektion endet hier also mit K − 1 = 4 Prädiktoren.
diese Weise erhält man für jede Vorhersageklasse einen skalaren Funktionswert Fcl |cl = 1, ..., G, aus
welchen die Wahrscheinlichkeiten berechnet werden. Die Werte Fcl repräsentieren dabei den „Abstand“
zur jeweiligen Klassengrenze des Classifiers.
Pcl =
Fcl
Ncl
· G
G
P
P
Ng
Fg
g=1
(2.10)
g=1
In Gleichung 2.10 findet nichts anderes als eine Normierung statt. Pcl ist die jeweilige Wahrscheinlichkeit einer Klasse cl wobei cl = 1, ..., G annehmen kann. G stellt die Anzahl der Klassen dar, im binären
Fall ist G = 2. Die Wahrscheinlichkeiten liegen im Wertebereich [0, 1]. Damit das System im A-UMOS
schlank gehalten werden kann, werden jedoch nicht alle Grössen gespeichert. Die Inverse der Matrix Σ
lässt sich über eine „Hauptachsentransformation“ beziehungsweise eine „Ähnlichkeitstransformation“
in ihre Eigenvektoren und Eigenwerte zerlegen. Die Eigenvektoren ν und die Eigenwerte λ beinhalten
dabei die komplette Information der Ausgangsmatrix Σ−1 . D ist hierbei die Eigenwertmatrix, welche
auf ihrer Diagonalen die Eigenwerte λi enthält.
d et(Σ−1 S b − λI) = 0
(2.11)
(Σ−1 S b − λ j I)ν j = 0
(2.12)
28




D=


λ1
0
..
.
0
0
λ2
..
.
0
···
···
···
0
0
..
.
λn







Σ−1 = ν T Dν
(2.13)
(2.14)
I ist die Einheitsmatrix, λ die Eigenwerte und ν j die Eivenvektoren. Die Eigenvektoren ν j sind bereits
normiert. Ihr Betrag beläuft sich also auf 1 (|ν j | = 1). Beachtet man diese Transformation aus Formel
2.14, so ergibt sich aus der Formel 2.9 die folgende Form:
1
Fcl =
|ν T Dν| 2
t
(2 · Π) 2
h 1
i
· e x p − · (ν ȳ − ν x̄cl ) T D(ν ȳ − ν x̄cl )
2
(2.15)
Resultat / Gleichungen
Gespeichert werden im A-UMOS nur die Diagonalelemente der Eigenwertmatrix D (entspricht λi | i =
1, ..., n), die Eigenvektoren νi | i = 1, ..., n sowie der bereits mit den Eigenvektoren transformierte
Vektor ν ȳ. Zusätzlich wird die Auswahl der Prädiktoren durch den Selektionsalgorithmus gespeichert,
wodurch die Ausgangslage für die Vorhersage mittels der LMDA vollständig ist.
Vorhersage der MDA-Prädiktanten
Durch Einsetzen der aktuellen ECMWF Vorhersage p = (p j | j = 1, ..., K) in die Formeln 2.15 und diese
in 2.10, lässt sich die probabilistische MOS Vorhersage erstellen. K steht dabei für die Anzahl der im
Selektionsprozess gewählten Prädiktoren.
2.4
Nachbearbeiten der MOS Vorhersagen
Am Ende der Vorhersagekette im A-UMOS steht die Nachbearbeitung der Vorhersagen. Sie durchlaufen
dabei einige verschiedene Prozesse.
2.4.1 Berechnen von abgeleiteten Grössen / Ergänzen von Vorhersagen
Das A-UMOS umfasst insgesamt 16 deterministische Grössen und 6 probabilistische Grössen (s. Tabelle
2.1). Aus diesen „direkten“ A-UMOS Grössen werden einige abgeleitete Prädiktanten berechnet. So
wird beispielsweise die Windrichtung dd10uv aus den beiden Windkomponenten u10/v10 abgeleitet.
Desweiteren werden zur Erhöhung der Verfügbarkeit einige Prädiktanten ineinander übergeleitet.
Prädiktant
dd10uv
tdrh
Typ
A
A/K
Abhängigkeiten/Ableitungsregel
Abgeleitet: aus u10 und v10.
Abhängig von: spot, td, rh. Verwende: td. Wenn nicht vorhanden: auffüllen
mit td = f(rh,spot,Stationshöhe) falls rh und spot vorhanden.
Fortsetzung auf der nächsten Seite ...
29
2.4 Nachbearbeiten der MOS Vorhersagen
Prädiktant
Typ
Abhängigkeiten/Ableitungsregel
rhtd
A/K
Verwende:
rh.
Wenn
nicht
vorhanden:
auffüllen
mit
td
=
f(td,spot,Stationshöhe) falls td und spot vorhanden.
tmaxspot
Abgeleitet: aus spot. Maximum der vergangenen 12 Stunden. Bedingung: der
A
aktuelle spot-Wert (+0h) sowie derjenige zu Beginn der Periode (−12h) muss
vorhanden sein.
tminspot
Abgeleitet: aus spot. Minimum der vergangenen 12 Stunden. Bedingung: der
A
aktuelle spot-Wert (+0h) sowie derjenige zu Beginn der Periode (−12h) muss
vorhanden sein.
Tabelle 2.4: Liste der abgeleiteten Prädiktanten. Typ A steht für abgeleitete Prädiktanten, K für kombinierte
Prädiktanten. Eine Kombination von A und K ist ebenso möglich.
Die Klassen pop0, wsp0, w f esns0, wconv0 sowie w g ew0 sind hier nicht aufgeführt, da diese Klassen
jeweils die Gegenwahrscheinlichkeit zu den Klassen pop1, wsp1, w f esns1, wconv1 sowie w g ew1 darstellen. w g ew0 (die Wahrscheinlichkeit, dass keine Gewitter eintreten) ist beispielsweise w g ew0 =
100% − w g ew1.
2.4.2 Grenzwertüberprüfung
Gu
Korrektur
erlaubt!
Go
Zulässiger Wertebereich der Vorhersagen
zwischen den Grenzen Gu und Go
K
Korrektur
erlaubt!
K
Abbildung 2.6: Schematische Darstellung der Grenzwertüberprüfung. Die Vorhersagen ŷi haben einen zulässigen
Wertebereich zwischen Gu und Go . Manche Prädiktanten besitzen zusätzlich einen Korrekturbereich K. Liegt ŷi
innerhalb K, so wird ŷi auf die nächstgelegene Grenze Gu oder Go korrigiert. Liegt ŷi ausserhalb K und ausserhalb
des zulässigen Wertebereiches, so wird die Vorhersage verworfen.
In einem weiteren Schritt wird eine Grenzwertüberprüfung durchgeführt. Die Abbildung 2.6 zeigt
dieses Verfahren. Für jeden Prädiktanten ist ein unterer Grenzwert Gu sowie ein oberer Grenzwert Go
gesetzt. Einige Prädiktanten besitzen zusätzlich einen Korrekturbereich K. Die Vorhersagen ŷi werden
anhand dieser Kriterien modifiziert:
ŷi = Fehlerwert wenn ŷi < (Gu − K)
ŷi = Fehlerwert wenn ŷi > (Go + K)
ŷi = Gu wenn (Gu − K) ≤ ŷi < (Gu )
(2.16)
ŷi = Go wenn (Go ) < ŷi ≤ (Go + K)
ŷi = ŷi sonst (Normalfall)
Aufgrund des verwendeten Verfahrens für deterministische Grössen (MLR) sind die Vorhersagen nicht
auf spezifische Wertebereiche eingeschränkt. So sind beispielsweise Vorhersagen für den Prädiktanten
30
rh (relative Feuchte; physikalisch begrenzt auf [0 − 100%]) möglich, die leicht ausserhalb der Grenzwerte Gu /Go liegen und somit durch die Grenzwertüberprüfung auf die äusseren Grenzen korrigiert
werden können.
Die verwendeten Grenzwerte (Gu , Go , K) basieren auf physikalischen Grundprinzipien (z.B. kann die
relative Feuchte nur Werte 0% ≤ rht d ≤ 100% annehmen), andererseits sollen sie unrealistisch hohe oder tiefe Vorhersagewerte unterbinden. Ein weiteres Kriterium für die Grenzwerte ist die Datenbankstruktur der ZAMG. Die Felder der Datenbank sind aus Performancegründen auf spezifische
Wertebereiche eingeschränkt. Werte ausserhalb dieser Bereiche können nicht gespeichert werden und
würden zu Fehlern beim Einspielen der Vorhersagen in die Datenbank führen. Der Korrekturbereich
K dient vorwiegend dazu, leichte Abweichungen der Vorhersagen zu korrigieren, ohne die Vorhersage
direkt eliminieren zu müssen (auf Fehlerwert zu setzen).
Prädiktant
Gu
Go
K
Einheit
spot
-800
550
0
1/10 m s−1
tmax
-800
550
0
1/10 m s−1
tmaxspot
-800
550
0
1/10 m s−1
tmin
-800
550
0
1/10 m s−1
tminspot
-800
550
0
1/10 m s−1
td
-800
550
0
1/10 m s−1
tdrh
-800
550
0
1/10 m s−1
t5cm
-800
600
0
1/10 m s−1
rh
5
100
10
%
rhtd
5
100
10
%
u10
-700
700
0
1/10 m s−1
v10
-700
700
0
1/10 m s−1
dd10
0
360
0
0 − 359◦
ff10
0
700
20
1/10 m s−1
ffx
0
700
20
1/10 m s−1
mclotclo
0
8
2
[0/8 − 8/8]
tclo
0
8
2
[0/8 − 8/8]
ssd
0
240
10
1/10 h
glo
0
2000
20
W m−2
pre
0
2000 30 1/10 mm
Tabelle 2.5: Grenzwerte für die Grenzwertüberprüfung. Abgebildet sind die Grenzwerte Gu , Go sowie K. Die
Tabelle 2.1 beinhaltet die vollständige Beschreibungen der Prädiktanten
Tabelle 2.5 zeigt die im A-UMOS verwendeten Grenzwerte für alle MLR Prädiktanten beziehungsweise
deren abgeleiteten Grössen (s. Abschnitt 2.4.1).
2.4.3 Konsistenzcheck
Prädiktant
Bedingungen
Wahl
tmax
wenn t ma x < t ma xspot
tmaxspot
wenn t ma x nicht vorhanden
tmaxspot
wenn t ma x < t min
tmin
31
2.5 Berücksichtigung der Jahreszeiten
Prädiktant
tmin
Bedingungen
Wahl
sonst (Normalfall)
tmax
wenn t min > t minspot
tminspot
wenn t min nicht vorhanden
tminspot
sonst (Normalfall)
wenn t d rh und spot vorhanden sowie (spot + 2 C) ≥ t d rh > spot
tdrh
mclotclo
pre
tmin
◦
spot
wenn t d rh und spot vorhanden sowie t d rh > (spot + 2◦ C)
Fehl er wer t
sonst (Normalfall)
tdrh
wenn mcl o und t cl o vorhanden sowie mcl o > t cl o
tclo
sonst (Normalfall)
mclo
wenn pop1 und pr e vorhanden sowie pop1 < 50% und pr e ≤
0.0 mm
0.5 mm
sonst (Normalfall)
pop2
pop3
pop4
pop5
wsp2
wsp3
pre
wenn pop1 und pop2 vorhanden sowie pop1 < pop2
pop1
sonst (Normalfall)
pop2
pop2
sonst (Normalfall)
pop3
pop3
sonst (Normalfall)
pop4
pop4
sonst (Normalfall)
pop5
wenn wsp1 und wsp2 vorhanden sowie wsp1 < wsp2
wsp1
sonst (Normalfall)
wsp2
wenn wsp2 und wsp3 vorhanden sowie wsp2 < wsp3
wsp2
sonst (Normalfall)
wsp3
Tabelle 2.6: Bedingungen für den Konsistenzcheck der MLR Prädiktanten. Bei den Prädiktanten der LMDA (pop,
wsp) wurde eine bedingte Abhängigkeit definiert. Die Klasse mit dem höheren Schwellwert darf keine höhere
Wahrscheinlichkeit besitzen als die Klassen mit den tieferen Schwellwerten.
Der letzte Schritt in der Nachbearbeitung dient der Konsistenz der Vorhersagen. Die Kriterien der in
Tabelle 2.6 abgebildeten Konsistenzbedingungen basieren auf physikalischen Gegebenheiten. So kann
beispielsweise die Taupunktstemperatur t d rh niemals höher sein als die dazugehörige Trockentemperatur spot.
2.5
Berücksichtigung der Jahreszeiten
Ein weiterer Aspekt des A-UMOS ist die Behandlung zweier getrennter Jahreszeiten. Gemäss Abbildung
2.7 ist das System in eine kalte und eine warme Jahreszeit aufgeteilt. Für jede der Saisonen wird eine
eigene SSCP geführt. Der Grund dafür ist, dass Sommer und Winter physikalisch eine unterschiedliche
Charakteristik aufweisen, die in den numerischen Modellen unterschiedlich gut abgebildet sein können. Ein Beispiel: durch den starken Energieeintrag im Sommer wird die bodennahe Schicht oft stark
durchmischt, es entstehen Quellungen und teilweise Gewitter. Im Winter hingegen reicht die Energie
der Sonne oft nicht aus, die kalte Luft in den Tälern zu erwärmen, wodurch sich in gewissen Regionen
tagelang Inversionen halten können.
Damit diese beiden Charakteristika nicht „vermischt“ werden, wird im A-UMOS für jede der beiden
Saisonen eine eigene statistische Beziehung zwischen den entsprechenden Beobachtungen und dem
32
DMO gesucht. Diese wurde anhand der mittleren Klimatologie an den europäischen Vorhersageraum
angepasst.
Gewichtungsschema der Jahreszeiten (Winter/Sommer)
OKT
1/1
SEP
1/1
1/3
2/3
AUG
1/2
JUL
1/1
APR
Kalt
1/2
1/1
JUN
2/3
1/1
MAI
1/3
1/1
Mixed
1/1
2/3
1/3
MAR
1/1
1/2
1/2
FEB
1/3
JAN
Warm
2/3
1/1
Mixed
1/1
Kalt
NOV
DEZ
Abbildung 2.7: Gewichtungsschema zwischen der „kalten“ und „warmen“ Saison. In blau (einfarbig) ist die
„kalte“-Saison, in rot (schraffiert) die „warme“-Saison abgebildet. Die Gewichtung wechselt von 1.0/0.0 über
0.33/0.67, 0.5/0.5, 0.67/0.33 zu 0.0/1.0. Dies einmal im Frühling und einmal im Herbst.
Der Sommer-Trainingsdatensatz enthält jeweils alle Datenpaare Beobachtung/DMO zwischen dem
100-ten und dem 292-ten Tag des Jahres, der Winter-Trainingsdatensatz die verbleibenden Daten. Um
diese beiden “Stichtage” (JulDay 100 JulDay 292) befinden sich jeweils 31 Übergangstage, in welcher
die Gewichtung gemäss Abbildung 2.7 beziehungsweise Tabelle 2.7 stattfindet.
JulDay
1-89
90-99
100-120
121-130
131-272
273-282
283-303
304-313
314-366
Winter
1.0
0.67
0.5
0.33
0.0
0.33
0.5
0.67
1.0
Sommer
0.0
0.33
0.5
0.67
1.0
0.67
0.5
0.33
0.0
Tage
89
10
21
10
142
10
21
10
53
Tabelle 2.7: Die Tabelle zeigt die Abstufung der Gewichtungsfunktion der beiden Jahreszeiten im des A-UMOS in
Zahlen (äquivalent zu Abbildung 2.7). Erste Zeile: Gültigkeitsbereich (in julianischen Tagen) der Gewichtungsfaktoren (GF); zweite Zeile: GF für die kalte Jahreszeit; dritte Zeile: GF für die warme Jahreszeit; letzte Zeile: Anzahl
Tage des Gültigkeitsbereiches.
Die Gewichtung findet im Gegensatz zum „updateable“-Schema nicht zwischen den Trainingsdatensätzen, sondern zwischen den Vorhersagen statt. Befinden wir uns also in einer der Übergangsphasen
im Frühling oder im Herbst, so werden jeweils zwei Vorhersagen errechnet und mit den Gewichtungsfaktoren für die Winter- und Sommersaison multipliziert. Lediglich die resultierende Vorhersage wird
gespeichert.
ŷi = ŷi,sommer · wsommer + ŷi,wint er · w wint er
(2.17)
Wobei ŷi die finale Vorhersage ist, ŷi,sommer bzw. ŷi,wint er die Teilvorhersagen in den einzelnen Saisonen
und wsommer bzw. w wint er die Werte des Gewichtungsschemas passend zu den Saisonen. Dieses Schema
kommt nur zur Anwendung, wenn w1 · w2 6= 0.0. Zudem gilt die Bedingung, dass sowohl ŷi,sommer als
auch ŷi,wint er vorhanden sein müssen. Fehlt eine der beiden Vorhersagen, so wird auf die Gewichtung
verzichtet und der vorhandene Wert als Vorhersage ŷi verwendet.
33
2.6 Anpassungen an Modelländerungen der numerischen Modelle
2.6
Anpassungen an Modelländerungen der numerischen Modelle
Eines der Kernstücke des Austrian Updateable Model Output Statistics (A-UMOS) ist das „updateable“ Verfahren. Die Idee hinter der verwendeten Methode wurde in Abschnitt 1.3 bereits erklärt. Auf
den kommenden Seiten wird der mathematische Algorithmus hinter dem Konzept erläutert. Die Basis
des Verfahrens sind die SSCPs, aus welchen durch eine Linearkombination die Trainingsdaten für die
statistischen Methoden erstellt werden.
2.6.1 Trainingsdatensatz
Wie bereits das Canadian Updateable Model Output Statistics (UMOS) System basiert auch das Austrian Updateable Model Output Statistics (A-UMOS) System auf einer speziellen Art des Trainingsdatensatzes. Um Speicherplatz und Rechenzeit einzusparen, wird anstelle einer kompletten Zeitreihe
(alle Paare Beobachtung/DMO ) lediglich die sogenannte SSCP („sum of square and cross products
matrix“) gespeichert. Sie besteht ebenfalls aus allen Paaren Beobachtung/DMO, die Daten werden jedoch im Gegensatz zu einer herkömmlichen Zeitreihe als auflaufende Messwerte gespeichert. Für die
beiden im A-UMOS verwendeten statistischen Modelle, also die MLR und die LMDA, enthält jede SSCP
die komplette benötigte Information. x = (x i j | i = 1, ..., N , j = 1, 2, ..., M − 1) sind die Prädiktoren
(Vorhersagevariablen aus dem numerischen Modell), die Elemente x iM | i = 1, ..., N repräsentier die
Beobachtung, wobei M = Anzahl Prädiktoren +1. N ist die Anzahl der Fälle, welche im Trainingsdatensatz gespeichert sind.
Achtung: zum besseren Verständnis wird hier nicht explizit zwischen SSCP und „Trainingsdatensatz“
unterschieden. Lesen Sie dazu bitte den Abschnitt 1.3 beziehungsweise 2.6.2. Der Trainingsdatensatz
kann - basierend auf dem updateable-Schema - aus einer Kombination zweier SSCPs bestehen. Dadurch
verändern sich jedoch lediglich die enthaltenen Werte, die Systematik bleibt dieselbe.

 N

P
N

 x i1
i=1
P
N
 x i2
SSC P = 
i=1
N
P
 x i3
i=1
N
P
 x i4
i=1

..
.
N
P
N
P
x i1
i=1
N
P
2
(x i1
)
(x i2 x i1 )
i=1
N
P
i=1
N
P
(x i3 x i1 )
(x i4 x i1 )
i=1
..
.
N
P
(x i1 x i2 )
i=1
N
P
i=1
N
P
2
(x i2
)
(x i3 x i2 )
i=1
N
P
(x i4 x i2 )
i=1
N
P
x i3
..
.
N
P
i=1
N
P
(x i1 x i3 )
(x i2 x i3 )
i=1
N
P
i=1
N
P
2
(x i3
)
(x i4 x i3 )
i=1
x i4
i=1
i=1
i=1
i=1
N
P
N
P
x i2
N
P
i=1
N
P
i=1
N
P
(x i1 x i4 )
(x i2 x i4 )
(x i3 x i4 )
i=1
N
P
i=1
..
.
2
(x i4
)
..
.

· · ·



· · ·



· · ·



· · ·



· · ·


..
.
(2.18)
Allgemeiner ausgedrückt ergibt sich die Form:
N
P

 N

P
 N
x i1

SSC P = 
 i=1.
 .
 .
N
P
x iM
i=1
x i1
i=1
N
P
i=1
N
P
i=1
2
)
(x i1
..
.
(x iM x i1 )
···
···
..
.
···
N
P

x iM




(x i1 x iM )

i=1

..

.


N
P

2
)
(x iM
i=1
N
P
i=1
(2.19)
34
Aufgrund ihrer Symmetrie muss lediglich die obere Dreiecksmatrix gespeichert werden, hier blau markiert. Diese Form der Speicherung reduziert den Speicherbedarf um ein Vielfaches. Bei einem Trainingsdatensatz mit 30 Prädiktoren plus der Beobachtung (M = 31) ergibt dies für N = 300 bei einer
Zeitreihe M · N = 31 · 300 = 9′ 300 Werte. Bei einer SSCP mit demselben Umfang an Daten sind dies
jedoch lediglich (M + 1) · (M + 2) · 0.5 = (31 + 1) · (31 + 2) · 0.5 = 528 Elemente. Die SSCP benötigt bei
300 Fällen also nur rund 6% des Speicherplatzes einer vergleichbaren Zeitreihe. Die Zahl 300 resultiert
daraus, dass wir rund 300 Fälle benötigen um stabile Regressionsgleichungen zu rechnen. Diese Zahl
ist lediglich ein Beispiel und wächst täglich, wodurch der benötigte Speicherumfang einer Zeitreihe im
Gegensatz zu den SSCPs ständig wächst.
Zusätzlich wird durch die SSCP-Form auch Rechenzeit eingespart. Der sogenannte I/O (Input/Output,
das Lesen/Schreiben von Dateien auf der Festplatte) nimmt durch die SSCP-Form nur einen Bruchteil
der Zeit in Anspruch, gemessen am I/O einer kompletten Zeitreihe. Durch diese Speicherungsform
entstehen jedoch auch Nachteile. Die komprimierte Form der auflaufenden Messwerte bringt einen
gewissen Informationsverlust mit sich, wodurch nur einige wenige Regressionsmodelle angewendet
werden können.
Anzahl an Sum of Square and Cross Products Matritzen
Für jede Regressionsgleichung ist eine solche SSCP notwendig. Dies bedeutet, dass für jede Vorhersagegrösse, jede Station und jeden Vorhersagezeitschritt eine SSCP aufgebaut werden muss. Bei den
probabilistischen Vorhersagegrössen ist ausserdem pro Gruppe eine SSCP notwendig (siehe Abschnitt
2.2). Dies ergibt - unter der Berücksichtigung, dass wir unterschiedliche Gleichungen und somit unterschiedliche SSCPs für kalte und die Warme Jahreszeit berechnen - insgesamt 1′ 207′ 770·2 = 2′ 415′ 540
SSCPs.
Tägliches Ergänzen
Der Trainingsdatensatz ist vergleichbar mit dem Gehirn des Systems. Aufgrund der darin enthaltenen
Daten „lernt“ das MOS den statistischen Zusammenhang zwischen den Prädiktoren aus dem DMO
und den Beobachtungen. Deshalb ist es wichtig, dass dieser möglichst umfassende Daten behinhaltet. Es werden deshalb täglich neue Daten zum Trainingsdatensatz hinzugefügt. Da er jedoch jeweils
aus Paaren „DMO/Beobachtungen“ besteht, kann das Update erst durchgeführt werden, wenn alle Beobachtungen vorhanden sind. Im A-UMOS ist die längste Vorhersagezeit +144h oder 6d. Die SSCPs
werden deshalb mit einem Verzug von 6 Tagen erweitert.
2.6.2 Linearkombination von MOS Modellversionen: das „updateable“ Schema
Wie bereits in Abschnitt 1.3 erläutert, ist ein zentrales Element des A-UMOS das updateable-Schema.
Dabei wird der DMO aus verschiedenen Versionen des numerischen Modells in verschiedene SSCPs
gespeichert, um die Modellcharakteristik nicht zu vermischen. Das updateable-Schema kombiniert nun
- falls nötig - diese SSCPs, um den Trainingsdatensatz für die Regressionsmodelle zu erstellen.
Achtung: um die Formeln in den kommenden Kapiteln nicht unnötig aufzublasen, wird später lediglich vom Trainingsdatensatz xi j gesprochen. Gemeint ist damit der durch das updateable-Schema
erstellte Trainingsdatensatz. Da die SSCPs jedoch ausschliesslich auflaufende Messwerte enthalten und
das updateable-Schema zwei SSCPs lediglich mit skalaren Faktoren gewichtet, ist die Struktur einer
einzelnen SSCP identisch mit dem kombinierten Trainingsdatensatz.
35
2.6 Anpassungen an Modelländerungen der numerischen Modelle
Das updateabe-Schema wird über die folgenden 5 Gleichungen beschrieben:
È
ωneu = ωma x + (1 − ωma x ) ·
ωal t =
So − ωneu · Nneu
Nal t
2
1−
(Nneu − So )2
(2.20)
(Su − So )2
für Nneu ≤ So
(2.21)
ωneu = 1.0 und ωal t = 0.0 für Nneu > So
(2.22)
ωneu = 0.0 und ωal t = 1.0 für Nneu < Su
(2.23)
Trainingsdatensatz = ωneu SSC Pneu + ωal t SSC Pal t
(2.24)
Dabei stellt N die Anzahl der Fälle in den SSCPs dar, wobei Nal t die Fallanzahl in der SSCP der alten
Modellversion ist, Nneu entsprechend jene der aktuellen/neuen Modellversion. Su und So stellen den
unteren und den oberen Schwellwert für die Anzahl der Fälle dar (s. Abbildung 2.8). ωneu und ωal t
sind die gesuchten Gewichtungsfaktoren, welche auf die SSCP’s angewewendet werden um zum endgültigen Trainingsdatensatz zu gelangen. ωma x ist der Initialisierungsfaktor und steuert das Verhältnis
zwischen ωal t und ωneu . Dieser wurde aus dem Artikel von Wilson and Vallée (2002) übernommen
und beträgt im A-UMOS 1.66. Die verwendeten Schwellwerte sind in den beiden Tabellen 2.11 und
2.12 aufgeführt.
updateabe-Gewichtungsschema anhand eines Beispieles
Su
So
Relative Gewichtungsfaktoren
(ωalt, ωneu)
1.0
0.9
0.8
Mit Ansteigendem Nneu erhält
ωneu einen stärkeren Einfluss.
0.7
0.6
0.5
0.4
Mit Ansteigendem Nneu nimmt
der Einfluss von ωalt stetig ab.
0.3
0.2
0.1
0.0
0
0
50
100
150
200
250
300
Anzahl Fäle (Nneu) in der aktuellen SSCP
Abbildung 2.8: Beispiel der relativen Faktoren ωneu und ωal t . Schattiert ist die Übergangsphase zwischen zwei
Modellversionen, begrenzt durch die Schwellwerte So und Su . Achtung: Beispiel gilt für Su = 50, So = 300, Nal t =
600 und ωma x = 1.66. ωneu = f (So , Su , Nneu , ωma x ) und ωold = g(ωneu , Nal t ). Die Funktionen f (•) und g(•)
besitzen je 4 − 5 Freiheitsgrade, weshalb nicht der komplette Funktionsbereich für ωal t und ωneu abgebildet
werden kann.
Man stelle sich eine Situation vor wie im Jahre 2010, als am ECMWF die neue T 1279 Modellversion
initialisiert wurde. Die Änderungen im numerischen Modell sind nicht vernachlässigbar (Verdoppelung der Anzahl Gitterpunkte), weshalb eine Anpassung der Fehlercharakteristik angenommen werden
36
kann. Aus diesem Grund wurde im A-UMOS eine neue MOS Modellversion initialisiert. Seit diesem Tag
(26. Januar 2010) wird der DMO aus den laufenden Modellvorhersagen in neue SSCPs eingespielt. Die
Anzahl der Fälle (der entsprechend laufenden Saison) wachsen seitdem täglich an (Nneu + 1 Fall pro
Tag). Die SSCPs der alten MOS Modellversion werden gleichzeitig „eingefroren“, Nal t bleibt unverändert.
Solange Nneu noch nicht den unteren Schwellwert Su für die minimale Anzahl an Fällen erreicht hat,
bleiben die Gewichte ωal t = 1.0 und ωneu = 0.0, was bedeutet, dass der Trainingsdatensatz identisch
mit der SSCP der alten MOS Modellversion ist (gem. Formel 2.23). Wenn Su < Nneu < So + 1, wird
das updateable-Schema aktiv. Mit anwachsender Anzahl Fälle in der aktuellen SSCP wächst der Faktor
ωneu immer weiter an und erreicht bei Nneu = So den Wert 1.0. ωal t durchläuft denselben Prozess,
läuft jedoch gegen ωal t = 0.0. Ist Nneu > So so wird die alte SSCP nicht mehr benötigt (gem. Formel
2.22) und der Trainingsdatensatz ist identisch mit der SSCP der aktuellen MOS Modellversion. Dieser
Prozess ist in Abbildung 2.8 dargestellt.
37
2.7 Verifikation
2.7
Verifikation
Um objektive Aussagen über die Güte der Vorhersagen sowie der verschiedenen Test-Konfigurationen
zu erhalten, wurden verschiedenste statistische Masszahlen verwendet. In den folgenden Abschnitten
werden zuerst die Masszahlen erläutert, welche für die deterministischen und die probabilistischen
Vorhersagen verwendet wurden. Anschliessend werden einige Auswertungen gezeigt.
Es wurden jeweils die 00Z Läufe getrennt von den 12Z Läufen ausgewertet. Zur Verifikation wurde
das A-UMOS mit dem bestehenden MOS System der ZAMG (AUSTROMOS2) verglichen. Das AUSTROMOS2 liefert lediglich Vorhersagen für 12Z, weshalb in diesem Abschnitt auf die Darstellung der 00Z
Auswertungen verzichtet wurde. Die Tabellen 2.13 und 2.14 hingegen beinhalten die Verifikationsmasse aller Prädiktanten und Läufe.
Die Auswertungen basieren auf einer im Februar 2010
durch die ZAMG definierten Stationsliste, welche 145
Stationen aus dem A-UMOS umfasst. Davon sind 2 reine TAWES-Stationen, 5 reine SYNOP-Stationen und 138
kombinierte Stationen (s. Abschnitt 2.2.2). Zu beachten ist ausserdem, dass einige Prädiktanten („aktww“,
„wconv“, „wgew“ und „wfesns“) lediglich für Synopsta-
Validierungs-Stationsliste
Breitengrad
49oN
48oN
47oN
46oN
10oE
12oE
o
14 E
o
16 E
o
18 E
tionen berechnet werden können, da entsprechende Beobachtungen notwendig sind. Analoges gilt für die Prädiktanten „t5cm“ und „glo“ welche lediglich für TAWES
Stationen verfügbar sind.
Längengrad
Abbildung 2.9: Stationen aus der für die Verifikation verwendeten Stationsliste. Insgesamt 145 Stationen, davon 2 reine TAWES Stationen und 5 reine
SYNOP Stationen.
2.7.1 Datengrundlage der Verifikation
Stationsliste : verwendet wurde die Verifikations-Stationsliste, siehe Abbildung 2.9.
A-UMOS : Die ausgewerteten Vorhersagen - welche in die Scores eingeflossen sind - überspannen den
Zeitraum zwischen dem 01.02.2010 und dem 31.07.2011 (insgesamt 546 Tage). Die Vorhersagen bis zum 07.01.2011 basieren auf einem abhängigen Trainingsdatensatz, jene nach dem
07.01.2011 auf einem unabhängigen Trainingsdatensatz. Das Modell befindet sich zudem in der
Übergangsphase zwischen zwei MOS-Modellversionen („updateable“-Phase“; s. Abschnitt 2.6.2).
ECMWF : die Auswertung beinhaltet ausschliesslich die Vorhersagen der Modellauflösung T 1279L91
(ca. 16km Maschenweite horizontal; 91 vertikale Niveaus).
AUSTROMOS2 : die Verifikation basiert auf den Vorhersagen, welche uns von Gerhard Hermann
(ZAMG) zur Auswertung zur Verfügung gestellt wurden (ebenfalls 01.02.2010 - 31.07.2011).
38
2.7.2 multiple lineare Regression: Verifikationsmasse
Die Verfübarkeit
Ein wichtiges Mass ist die Verfügbarkeit der Vorhersagen (engl. „Availability“). Da die A-UMOS Vorhersagen für den täglichen Vorhersageprozess und teilweise für automatische Produkte verwendet
werden, soll die Verfügbarkeit idealerweise immer gegeben sein. Der Index p steht für einen Prädiktanten, der Index i = (1, ..., N ) für die in den Score eingeflossenen Vorhersagen, wobei N = (Anzahl
Stationen · Anzahl Vorhersagezeitschritte · Anzahl Tage). o sind die Beobachtungen, ŷ die Vorhersagen
des Untersuchten Prädiktanten.
N
P
AVAI L(p) =

(zi )
i=1
N
P
| zi =
(1)
1
wenn Vorhersage ŷip verfügbar
0
sonst
(2.25)
i=1
Im Idealfall ist zu jedem i = 1, ..., N eine Vorhersage für den Prädiktanten p vorhanden, wodurch
AVAI L(p) = 1.0 ist. Sind nie Vorhersagen vorhanden, so ist AVAI L(p) = 0.0.
Bias und Standardabweichung
Aufgrund der Annahme, dass sowohl die Beobachtungen als auch die Vorhersagen des A-UMOS Normalverteilt sind, kann deren Verteilung über ihren Mittelwert sowie ihre Standardabweichung beschrieben werden. Im Idealfall sind Mittelwert und Standardabweichung zwischen Beobachtung und Vorhersage identisch (E(ŷ) ≡ E(o) und σ(ŷ) ≡ σ(o)). Aufgrund des Vorhersagefehlers weichen diese jedoch
voneinander ab. Zur objektiven Beurteilung werden deshalb die beiden Masszahlen Bias und Standardabweichung verwendet.
Der Bias ist die Abweichung zwischen dem arithmetischen Mittel der Vorhersagen ŷ und dem arithmetischen Mittel der Beobachtungen o.
BIAS(p) =
N
1X
N
i=1
( yip ) −
N
1X
N
(oip )
(2.26)
i=1
Ein BIAS(p) > 0 bedeutet, dass die A-UMOS Vorhersage im Mittel über dem arithmetischen Mittel der
Beobachtungen liegt. Genauso gilt für BIAS(p) < 0, dass die A-UMOS Vorhersagen im Mittel tiefer
liegen als die Beobachtungen.
s
σ ŷ p =
N
1X
N
i=1
s
( y¯p − yip )2 ; σop =
N
1X
N
(o¯p − oip )2
(2.27)
i=1
Sind die Standardabweichungen der Beobachtung und der Vorhersage identisch, so ist deren Streuung
um den Mittelwert gleich gross. Hier gilt: bei einer perfekten Vorhersage sollte σ ŷ p − σop = 0 sein.
Mittlerer absolute Fehler (MAE) und Root Mean Square Error oder Quadratischer Fehler (RMSE)
Wie bereits an verschiedenen Stellen erwähnt, setzt sich die A-UMOS Vorhersage ŷ zusammen aus der
Beobachtung o und einem Fehler ε (ŷ = ô + ε). Die folgenden Masszahlen drücken ε objektiv aus.
Dabei ist der mittlere absolute Fehler (engl. „MAE: mean absolute error“) der mittlere Fehler zwischen
Vorhersage und Beobachtung. Der RMSE (engl. „root mean square error“) ist die Wurzel aus dem
39
2.7 Verifikation
Quadrat der Abweichungen zwischen den Beobachtungen und den Vorhersagen. Im Gegensatz zum
MAE reagiert der RMSE stärker auf Ausreisser.
N
P
M AE(p) =
RM S E(p) =
|oip − ŷip |
i=1
(2.28)
N
v
u N
uP
u (oip − ŷip )2
t i=1
N
(2.29)
Sowohl MAE als auch RMSE sind positiv definierte Werte. Im Idealfall nehmen sie den Wert 0 ein,
ansonsten RM S E(p) > 0 und M AE(p) > 0.
Korrelation
Eine weitere wichtige Zahl ist die Korrelation zwischen der Beobachtung und den Vorhersagen. Sie
kann die Werte 1 ≥ CORR(p) ≥ −1 einnehmen und ist ein Mass für die Beziehung zwischen zwei
Merkmalen.
CORR(p) =
COVo,ŷ
σop · σ ŷ p
=
σ2op, ŷ p
σop · σ ŷ p
(2.30)
Im Idealfall entspricht der Wert der Korrelation 1.
2.7.3 multiple lineare Regression: Resultate
Auf den folgenden Seiten befinden sich einige ausgewählte repräsentative Verifikationen verschiedener
MLR Prädiktanten. Es wurden jeweils die Auswertungen des 12Z Laufes gewählt, da die AUSTROMOS2
Vorhersagen (Referenzsystem) nur für diesen Lauf zur Verfügung stehen. Am Ende dieses Abschnittes
befindet sich eine Tabelle mit den Scores aller im A-UMOS verwendeten Prädiktanten.
Erkärung der Abbildungen
Die Grafiken zeigen verschieden Scores der entsprechenden Prädiktanten und umfassen die Korrelation (o.l), den Bias (o.r.), der mittlere absolute Fehler (MAE, u.l) sowie die Verfügbarkeit (engl.
„Availability“, u.r), welche jeweils gegen die Vorhersagezeitschritte aufgetragen sind. Im Anschluss an
die Grafiken befinden sich einige Erklärungen zu den abgebildeten Scores.
Graphen : in rot die Auswertungen für das A-UMOS, in blau jene für das AUSTROMOS2 (falls vorhanden) und in grün jene des ECMWF.
Zeitschritte : die Niederschlagsmenge (pre) ist über den gesamten Vorhersagezeitraum 6-stündig, alle
anderen Prädiktanten sind jeweils bis +72h 3-stündig, danach ebenfalls 6-stündig bis +144h (s.
Tabelle 2.2). Die Vorhersagen des AUSTROMOS2 sind jeweils von +12h bis +120h verfügbar,
jedoch lediglich 6-stündig über den gesamten Zeitraum.
40
Verifikation spot: Temperatur 2m über Grund
Korrelation für spot 12Z
Bias fuer spot 12Z
[0−1]
[1/10 ° C]
1
20
0.8
10
0.6
0
0.4
−10
0.2
−20
0
+12h
+36h
+60h
+84h
+108
Mittlerer absoluter Fehler für spot 12Z
+132h
+12h
[1/10 ° C]
40
+36h
+60h
+84h
Verfügbarkeit für spot 12Z
+108
+132h
[0%−100%]
100
35
80
A−UMOS
ECMWF
AUSTROMOS2
30
60
25
40
20
15
10
+12h
+36h
+60h
+84h
+108
+132h
20 Anzahl Fälle in den Scores:
A−UMOS: 2041247.
ECMWF: 2048501.
AUSTROMOS2: 591222.
0
+12h
+36h
+60h
+84h
+108
+132h
Abbildung 2.10: Verifikation Lufttemperatur 2m über Grund (spot in 1/10◦ C). Eine allgemeine Erklärung der
Graphen befindet sich in Abschnitt 2.7.3.
Die Korrelation des DMO ist mit 92% relativ zu anderen Vorhersagegrössen recht hoch, tendenziell
sind die Vorhersagen aus dem ECMWF jedoch zu tief (negativer Bias). Die genauen Verifikationswerte
sind bei Bedarf alle der Tabelle 2.13 zu entnehmen.
Korrelation
Die beiden MOS Systeme liegen mit einer Korrelation von 97% um 5% höher als das ECMWF. Aufgrund
der bereits sehr hohen Korrelation des ECMWF sind die Unterschiede der MOS Systeme nur marginal.
Bias, MAE und RMSE
Die Ersten Unterschiede zwischen dem A-UMOS und dem AUSTROMOS2 zeigen sich im Bias und im
mittleren absoluten Error (MAE). Der MAE konnte im A-UMOS um etwas mehr als 0.2 ◦ C verbessert
werden und liegt nun bei 1.58 ◦ C im Mittel über alle 2.04 Millionen ausgewerteten Vorhersagen.
Der MAE im ECMWF nimmt mit der Vorhersagezeit nur leicht zu, die beiden MOS Systeme zeigen
jedoch einen stärkeren Anstieg des MAE. Unter der Berücksichtigung, dass sich der Bias bei allen
Modellen über die Vorhersagezeit etwa konstant verhält, kann angenommen werden, dass die Streuung
im ECMWF nicht zunimmt, während die Streuung der Vorhersagen in den MOS Systemen von der
Vorhersagezeit abhängt.
41
2.7 Verifikation
Der Tagesgang im MAE des A-UMOS läuft zudem entgegen jenem im ECMWF. Die Temperaturen der
ersten Nachthälfte (vor Mitternacht) weisen im A-UMOS einen wesentlich tieferen MAE auf als jene
untertags. Im ECMWF ist dies genau umgekehrt. Allgemein kann der Tagesgang des Fehlers gedämpft,
jedoch nicht vollständig eliminiert werden.
Der RMSE des ECMWF konnte um rund 47% reduziert werden und liegt im A-UMOS bei 2.13 ◦ C.
Durch die verwendeten Methoden wird der Bias minimiert. Auf einem abhängigen Testdatensatz (Trainingsdatensatz = Testdatensatz) resultiert der Bias in einem Wert 0.0. Die hier gezeigte Auswertung
basiert auf Vorhersagen über insgesamt 546 Tage, wovon rund 2/3 auf einem abhängigen Trainingsdatensatz gerechnet wurden (s. Abschnitt 2.7.1). Bei unabhängigen Vorhersagen im operationellen
Betrieb ist der zu erwartende Bias deshalb etwas höher.
Verifikation ff10: Windgeschwindigkeit 10m über Grund
Korrelation fuer ff10 12Z
[0−1]
Bias fuer ff10 12Z
1
[1/10 m s
−1
]
80
60
0.8
40
0.6
20
0.4
−20
0
−40
0.2
0
−60
−80
+12h
+36h
+60h
+84h
+108
Mittlerer absoluter Fehler für ff10 12Z
+132h
+12h
[1/10 m s −1 ]
80
+36h
+60h
+84h
Verfügbarkeit für ff10 12Z
+108
+132h
[0%−100%]
100
70
80
60
50
A−UMOS
ECMWF
AUSTROMOS2
60
40
40
30
20
10
0
+12h
+36h
+60h
+84h
+108
+132h
A−UMOS: 2035134.
ECMWF: 2042449.
AUSTROMOS2: 591066.
0
+12h
+36h
+60h
+84h
+108
+132h
Abbildung 2.11: Verifikation der Windgeschwindigkeit 10m über Grund (ff10 in 1/10 m s−1 ). Eine allgemeine
Erklärung der Graphen befindet sich in Abschnitt 2.7.3.
Aufgrund der Modelltopographie, der abstrahierten Oberflächenbeschaffenheit sowie der notwendigen
mathematischen Vereinfachungen des numerischen Modells ist der bodennahe Wind (Windgeschwindigkeit in 10m über Grund) wesentlich schwieriger vorhersagbar als etwa die Temperatur 2m über
Grund. Gut erkennbar ist ein Tagesgang im ECMWF Modell. In der Nacht ist die Performance des
ECMWF besser. Die genauen Werte der hier angesprochenen Verifikationsmasse können bei Bedarf in
Tabelle 2.13 nachgelesen werden.
42
Korrelation
Gut zu erkennen ist im Gegensatz zur Temperatur in 2m über Grund die tiefe Korrelation des ECMWF
mit im Mittel lediglich 35%. Die A-UMOS Vorhersagen verbessern diesen Wert auf 80% und liegen
damit 29% über jenen des AUSTROMOS2 und 45% über dem ECMWF.
Bias, MAE und RMSE
Während das ECMWF einen Bias von rund 6ms−1 aufweist, können beide MOS Systeme diesen Wert
auf beinahe 0 reduzieren (A-UMOS: 0.02ms−1 , AUSTROMOS2: 0.23ms−1 ). Ebenfalls konnte der RMSE
im Gegensatz zum ECMWF um mehr als 80% auf nur mehr 1.3ms−1 reduziert werden.
Es ist zu beachten, dass der MAE im Gegensatz zu den anderen in dieser Arbeit gezeigten Auswertungen der MLR Prädiktanten (spot, pre, rhtd) kaum mit der Vorhersagezeit zunimmt, ein Tagesgang
ist jedoch in beiden Modellen erkennbar. Die beiden Tagesgänge haben ihre Minima und Maxima zu
denselben Vorhersagezeiten, im Gegensatz zu den beiden Auswertungen spot/rhtd. Dies liegt unter
anderem daran, dass die absoluten Werte der Windgeschwindigkeit tagsüber höher liegen als nachts,
wodurch der MAE ebenfalls erhöht wird.
43
2.7 Verifikation
Verifikation pre: Niederschlagsmenge
Korrelation für pre 12Z
[0−1]
Bias für pre 12Z
1
15
0.8
10
[1/10 mm ]
5
0.6
0
0.4
−5
0.2
0
−10
−15
+12h
+36h
+60h
+84h
+108
Mittlerer absoluter Fehler für pre 12Z
+132h
+12h
[1/10 mm]
20
+36h
+60h
+84h
Verfügbarkeit für pre 12Z
+108
+132h
[0%−100%]
100
18
80
16
14
60
12
40
10
8
6
+12h
+36h
+60h
+84h
+108
+132h
A−UMOS
ECMWF
AUSTROMOS2
A−UMOS: 1295572.
ECMWF: 1290599.
AUSTROMOS2: 600026.
0
+12h
+36h
+60h
+84h
+108
+132h
Abbildung 2.12: Verifikation der Niederschlagsmenge (spot in 1/10 mm m−2 ). Eine allgemeine Erklärung der
Graphen befindet sich in Abschnitt 2.7.3.
Der nächste hie genauer untersuchte Prädiktant ist die deterministische Niederschlagssumme. Interessant zu sehen ist, dass die aktuelle Modellversion des ECMWF, auf welchen die Verifikationen basieren, eine höhere Vorhersagegenauigkeit aufweisen als das AUSTROMOS2. Zur Info: AUSTROMOS2
wurde vor mehr als 6 Jahren auf einer damals aktuellen Version des ECMWF entwickelt. Hier zeigt
sich jedoch der Vorteil des im A-UMOS verwendeten „update“-Schemas. Durch dieses Verfahren kann
das A-UMOS sehr rasch auf die veränderte (und markant bessere) Charakteristik der neuen ECMWF
Modellversion reagieren, während das AUSTROMOS2 diese nicht in qualitativ bessere Vorhersagen
umsetzen kann. Die genauen Werte können bei Bedarf der Tabelle 2.13 entnommen werden.
Korrelation
Während die Korrelation des AUSTROMOS2 etwas abgeschlagen auf 29% liegt, konnte das A-UMOS
diese gegen das ECMWF um 15% im Mittel auf 56% erhöhen.
Bias, MAE und RMSE
Dasselbe Bild wie bei der Korrelation zeigt sich bei Bias, RMSE und im mittleren absoluten Fehler
(MAE). Im A-UMOS konnten alle Werte gegenüber dem ECMWF nochmals verbessert werden, der
RMSE beispielsweise konnte um gut 20% reduziert werden. Der mittlere absolute Fehler des A-UMOS
beträgt 0.83mm und liegt damit unter dem MAE des ECMWF mit 0.95mm.
44
Erneut zeigt sich der Tagesgang im ECMWF, welcher durch das A-UMOS gedämpft, nicht aber eliminiert wird. Im Gegensatz zur Auswertung der Windgeschwindigkeit nimmt hier sowohl beim ECMWF
als auch beim A-UMOS der MAE zu mit der Vorhersagezeit.
Verfügbarkeit
Die Verfügbarkeit des A-UMOS beträgt 94.7% gemessen an der theoretisch möglichen Anzahl an Vorhersagen. Achtung: Das ECMWF weist natürlich eine Verfügbarkeit von 100% auf! Die reduzierte Verfügbarkeit basiert auf einem Software-Bug, welcher leider erst nach der Verifikation beseitigt werden
konnte.
Verifikation rhtd: relative Luftfeuchte 2m über Grund
Korrelation für rhtd 12Z
[0−1]
Bias für rhtd 12Z
1
[% ]
8
6
0.8
4
0.6
2
0.4
−2
0
−4
0.2
−6
0
−8
+12h
+36h
+60h
+84h
+108
Mittlerer absoluter Fehler für rhtd 12Z
+132h
+12h
[% ]
16
+36h
+60h
+84h
Verfügbarkeit für rhtd 12Z
+108
+132h
[0%−100%]
100
14
80
A−UMOS
ECMWF
AUSTROMOS2
12
60
10
40
8
6
4
+12h
+36h
+60h
+84h
+108
+132h
A−UMOS: 2040576.
ECMWF: 2047985.
AUSTROMOS2: 590945.
0
+12h
+36h
+60h
+84h
+108
+132h
Abbildung 2.13: Verifikation der relative Feuchte (rhtd in %). Eine allgemeine Erklärung der Graphen befindet
sich in Abschnitt 2.7.3.
Die abgebildete Verifikation betrifft die relative Luftfeuchte mit dem Prädiktantenkürzel rhtd. Gut zu
erkennen sind die Schwankungen im Tagesverlauf. Analog zur Windgeschwindigkeit ist die Performance des ECMWF in der Nacht besser als am Tag. Diese Variation paust sich in allen gezeigten Verifikationsmassen ab. Die in den Erläuterungen verwendeten Werte können in Tabelle 2.13 nachgelesen
werden.
45
2.7 Verifikation
Korrelation
Die Korrelation des ECMWF liegt bei 62%, jene des AUSTROMOS2 bei 73% und diejenige des A-UMOS
bei 82%. Die Variationen ECMWF mit einer 24-stündigen Periodizität pausen sich jedoch auch auf die
Vorhersagen der beiden MOS Systeme ab.
Bias, MAE und RMSE
Das A-UMOS ist auf den ausgewerteten Vorhersagen nahezu Biasfrei, während das ECMWF vorwiegend
in den Morgenstunden zu tiefe, in den Abendstunden dann zu hohe Vorhersagen liefert. Der RMSE im
A-UMOS konnte im Gegensatz zum ECMWF um rund 32% reduziert werden.
Markant sind die starken Tagesgänge aller Modelle. Das A-UMOS reduziert den MAE um rund 34%,
der Tagesverlauf wird jedoch kaum gedämpft und verläuft in allen Modellen gleich (Minima/Maxima
deckungsgleich).
Verfügbarkeit
Mit nur 1.1% fehlender Vorhersagen ist die Verfügbarkeit nahe am Maximalwert.
Verifikation glo: Globalstrahlung
Korrelation für glo 12Z
[0−1]
Bias für glo 12Z
1
−2
[W m ]
5
0.8
0.6
0
0.4
0.2
0
−5
+12h
+36h
+60h
+84h
+108
Mittlerer absoluter Fehler für glo 12Z
+132h
+12h
[W m −2 ]
200
+36h
+60h
+84h
Verfügbarkeit für glo 12Z
+108
+132h
[0%−100%]
100
A−UMOS
80
150
60
100
40
50
0
20
+12h
+36h
+60h
+84h
+108
+132h
0
Totally scored rows:
A−UMOS: 1169067.
+12h
+36h
+60h
+84h
+108
+132h
Abbildung 2.14: Verifikation der Globalstrahlung (glo in W m2 ). Eine allgemeine Erklärung der Graphen befindet
sich in Abschnitt 2.7.3.
46
Als letztes Verifikationsbeispiel sei hier die Globalstrahlung (direkte und diffuse Solarstrahlung der
oberen Hemisphähre) gezeigt. Die Vorhersage im A-UMOS gibt die Globalstrahlung für die gegebene
Vorhersagezeit aus. Der Verlauf der gezeigten Graphen unterscheidet sich stark von den zuvor gezeigten. Der auffälligste Punkt sind die ausgeprägten Sprünge in der Korrelation und der Verfügbarkeit.
Der Grund dafür sind die fehlenden Beobachtungen in der Nacht. Dies führt zu den starken Einbrüchen in der Verifikation. Die in den Erklärungen verwendeten Werte können bei Bedarf in Tabelle 2.13
eingesehen werden.
Korrelation
In der Nacht beträgt die Globalstrahlung im Mittel rund 0W m−2 . Die Einbrüche in der Korrelation
resultieren aus vernachlässigbaren absoluten Unterschieden von O(1W m−1 ) aber statistisch bedeutsamen relativen Unterschieden. Die Varianz der Beobachtungen in der Nacht wesentlich kleiner ist als
jene der A-UMOS Vorhersagen. Als Beispiel: für den 12Z Lauf für den Vorhersagezeitschritt +12h beträgt σA−U M OS = 2.97W m−2 , σBeo b = 0.75W m−2 und die Kovarianz der beiden COV ( ŷ, o) = 0.21.
0.21
Mittels Gleichung 2.5 ergibt sich daraus eine Korrelation von COR( ŷ, o) = 2.97·0.75
= 0.09.
Bias, MAE und RMSE
Da die Globalstrahlung in der Nacht 0W m−2 beträgt, am Tag jedoch über 800W m−2 ansteigen kann,
sind die mittleren absoluten Fehler kurz nach Sonnenaufgang oder kurz vor Sonnenuntergang entsprechend gering und untertags vom Betrag her wesentlich grösser. Der Bias ist mit weniger als 5W m−2
relativ zum MAE gesehen relativ klein, wirkt aufgrund der Darstellung lediglich etwas „gross“. Der
MAE liegt im A-UMOS auf 61W m−2 , der RMSE bei 107W m−2 . Eine Gegenüberstellung mit den Referenzsystemen ist leider nicht möglich, da diese keine äquivalente Grösse liefern.
Verfügbarkeit
Wie bereits angesprochen bricht die Verfügbarkeit Nachts durch die fehlenden Messungen stark ein.
Im Alltag ist dieses Problem jedoch nicht gravierend, da die Globalstrahlung nach Sonnenuntergang
auf 0W m−2 gesetzt werden kann. Dieser Vorgang wird im A-UMOS jedoch nicht durchgeführt.
47
2.7 Verifikation
2.7.4 multiple lineare Regression: Übersichtstabelle
Die nachfolgende Tabelle 2.8 zeigt die relative Änderung des Root Mean Square Error oder Quadratischer Fehler (RMSE) im A-UMOS gegenüber dem Referenzmodell AUSTROMOS2 sowie dem direkten
Modelloutput des ECMWF. Eine detaillierte Tabelle mit allen Verifikationsmassen befindet sich im Anhang in Tabelle 2.13 auf Seite 79.
RMSE
Prädiktant/Lauf
ECMWF
Verbesserung gegenüber
AUSTROMOS2 A-UMOS
EMCWF
AUSTROMOS2
ff10 00Z (1/10 m s−1 )
72.04
—
12.8
82%
—
mclotclo 00Z ([0/8 − 8/8])
3.84
—
2.29
40%
—
pre 00Z (1/10 mm)
26.6
—
21.91
17%
—
rhtd 00Z (%)
15.05
—
9.93
34%
—
spot 00Z (1/10 ◦ C)
39.95
—
20.78
47%
—
ssd 00Z (1/10 h)
10.42
—
8.86
15%
—
t5cm 00Z (1/10 ◦ C)
61.79
—
31.1
49%
—
tclo 00Z ([0/8 − 8/8])
2.94
—
2.1
29%
—
tdrh 00Z (1/10 ◦ C)
38.37
—
19.77
48%
—
tmax 00Z (1/10 C)
54.17
—
22.6
58%
—
tmin 00Z (1/10 ◦ C)
39.5
—
20.11
49%
—
u10 00Z (1/10 m s−1 )
21.97
—
13.92
37%
—
23.21
—
12.91
◦
−1
v10 00Z (1/10 m s )
Mittelwerte der Verbesserung des RMSE für 00UTC
44%
—
43%
—
ff10 12Z (1/10 m s−1 )
71.81
21.64
12.99
82%
40%
mclotclo 12Z ([0/8 − 8/8])
3.87
3.6
2.3
41%
36%
pre 12Z (1/10 mm)
26.41
39.08
21.24
20%
46%
rhtd 12Z (%)
15.02
12.5
10.08
33%
19%
◦
spot 12Z (1/10 C)
40.01
24.45
21.25
47%
13%
ssd 12Z (1/10 h)
10.45
—
8.89
15%
—
t5cm 12Z (1/10 ◦ C)
61.68
—
32.49
47%
—
tclo 12Z ([0/8 − 8/8])
2.96
2.68
2.11
29%
21%
tdrh 12Z (1/10 ◦ C)
38.2
28.41
20.12
47%
29%
tmax 12Z (1/10 ◦ C)
55.36
28.14
22.49
59%
20%
tmin 12Z (1/10 ◦ C)
39.37
23.57
21.06
47%
11%
u10 12Z (1/10 m s )
21.89
—
13.94
36%
—
v10 12Z (1/10 m s−1 )
23.22
—
12.89
44%
—
43%
25%
−1
Mittelwerte der Verbesserung des RMSE für 12UTC
Tabelle 2.8: zeigt die Verifikation des RMSE sowie die Verbesserung (Verb) des A-UMOS relativ zu
den anderen Modellen. Verb(RMSE)= 1 − RM S EA−U M OS /RM S E EC M W F beziehungsweise Verb(RMSE)= 1 −
RM S EA−U M OS /RM S EAUST ROM OS2 angegeben in [%]. Die Prädiktanten ffx, siw, glo und dd10uv sind nicht aufgeführt, da keine äquivalenten Vorhersagen aus den Referenzmodellen vorhanden sind.
48
2.7.5 lineare multiple Diskriminantenanalyse: Verifikationsmasse
Die folgenden Seiten zeigen einige Auswertungen für die Prädiktanten die durch die lineare multiple Diskriminantenanalyse (LMDA) des A-UMOS berechnet werden. Die Scores wurden getrennt für
den 00Z und den 12Z Lauf gerechnet, aus Platzgründen werden in dieser Arbeit aber lediglich einige
wenige Auswertungen für den 12Z Lauf gezeigt. Analog zu den Prädiktanten der MLR sind die Vorhersagen des AUSTROMOS2 (Verifikationssystem; altes MOS der ZAMG) lediglich für den 12Z Lauf
vorhanden, weswegen eine Gegenüberstellung für den 00Z Lauf nicht möglich ist. Eine Übersicht aller
Verifikationszahlen befindet sich in Tabelle 2.14 auf Seite 82. 1
Das Reliabilitydiagramm
Die Reliability (dt. „Zuverlässigkeit“) ist ein Mass für die Funktionszuverlässigkeit des Systems. Die
probabilistischen Vorhersagen des A-UMOS liegen im Wertebereich [0 − 100%]. Bei einer vorhergesagten Wahrscheinlichkeit von 50% tritt das vorhergesagte Ereignis bei einer perfekten Reliability in 50%
der Fälle auf, in 50% der Fälle nicht. Somit sagt die Reliability aus, wie verlässlich die Wahrscheinlichkeitsvorhersagen für einen gewissen Schwellwert (oder einen Bereich) tatsächlich sind.
Zur Auswertung wurden insgesamt 10 „bins“, also Wahrscheinlichkeitsbereiche, verwendet. Die
Schrittweite dabei ist jeweils 10% wobei das Resultat auf dem Mittelwert abgebildet ist (z.B.: zwischen 10% und 20% → Abbildung des Wertes bei 15%).
RE L IAB(z1 ; z2 ) =
#{z1 ≥ ŷi < z2 |oi = 1}
#{z1 ≥ ŷi < z2 }
(2.31)
Die beiden Werte z1 und z2 definieren dabei das untersuchte „bin“ (z.B. 0 − 10%). ŷi repräsentiert
die MOS Vorhersagen, oi die Beobachtungen. Der Ausdruck im Nenner (#{z1 ≥ ŷi < z2 }) beschreibt
die Anzahl aller Vorhersagen, welche innerhalb des definierten „bins“ liegen, der Ausdruck im Zähler
(#{z1 ≥ ŷi < z2 |oi = 1}) die Anzahl aller Vorhersagen, welche innerhalb des definierten „bins“ liegen
deren zugehörige Beobachtungen oi = 1 („Ereignis Ja“) ist.
Bei einer idealen Reliability liegt die Verifikation perfekt auf der Diagonalen zwischen den Punkten
(0, 0) und (1, 1). Liegen die Werte unterhalb der Diagonalen, so wird dieses „bin“ durch das MOS zu
oft vorhergesagt. Liegen die Werte über der Diagonalen, so tritt das Ereignis öfter ein als durch das
MOS vorhergesagt. Bei einer perfekten Vorhersage für beispielsweise 30%, tritt das Ereignis in der
Realiät in 3 von 10 Fällen ein (also ebenfalls genau 30%).
ROC Diagramm und ROC-AREA Plot
Das ROC Diagram zeigt die Trefferquote und die Fehlerrate des Systems. p j definiert dabei einen Wahrscheinlichkeitswert, der als Schwellwert für die Verifikation verwendet wird und liegt im Wertebereich
von [0 − 100%]. In den Auswertungen wurde dieser Schwellwert jeweils in 10% Schritten erhöht
(z j = (0%, 10%, ...90%, 100%)).
H I T (p j ) =
F (p j ) =
1
#{oi = 1 | ŷi ≥ z j }
#{oi = 1}
#{oi = 0 | ŷi ≥ z j }
#{oi = 0}
(2.32)
(2.33)
Die Windrichtung (dd10uv) ist nicht im Verifikationssystem enthalten, da sie erst in der Nachbearbeitung aus u10 und v10
erstellt wird.
49
2.7 Verifikation
ŷi sind die MOS Vorhersagen, oi die dazugehörigen Beobachtungen. oi = 1 definiert eine Beobachtung,
bei welcher das Ereignis eingetreten ist („Ereignis Ja“), oi = 0 entsprechend jene Beobachtungen mit
„Ereignis Nein“.
Die Hit-Rate ist das Verhältnis zwischen all jenen Fällen, bei welchen ein Ereignis beobachtet wurde
(oi = 1) und die Vorhersage ŷi über dem zu testenden Schwellwert z j lag (das Ereignis also für den
Schwellwert korrekt vorhergesagt wurde) gegen die Anzahl aller Beobachtungen mit „Ereignis Ja“. Im
besten Fall werden für einen beliebigen Schwellwert z j alle „Ereignisse Ja“ mit einer Wahrscheinlichkeit
ŷi ≥ z j vorhergesagt, wodurch sich eine Hitrate von 1.0 ergibt.
Die Fals-Alarm-Rate F (z j ) ist das Verhältnis all jener Fälle, bei welchen die Vorhersagen ŷi ≥ z j waren,
das Ereignis jedoch nicht eingetreten ist (oi = 0) gegen alle Beobachtungen mit „Ereignis Nein“. Im
besten Fall liegt nie eine Vorhersage ŷi über dem Schwellwert z j wordurch sich eine False-Alarm-Rate
von 0.0 ergibt.
Stiege die Hit-Rate also augenblicklich auf den Wert 1.0, während die False-Alarm-Rate für alle
Schwellwerte 0.0 wäre, so hätten wir die perfekte Vorhersage. Damit ergibt sich eine Flächte unterhalb
R z j =100%
der ROC-Kurve mit dem z =0% ROC(z j ) = 1.0. Die Fläche unter der ROC-Kurve ist also ein Mass
j
für die Qualität der Vorhersagen über die Gesamtheit z j = 0%, ..., 100%. Der schlechteste Wert, den
die Fläche einnehmen kann, ist 0.5. Fiele die Fläche unter diesen Wert, so würde ein Invertieren aller
Vorhersagen ( ŷi = 100% − ŷi ) die qualitativ bessere Vorhersage liefern.
Kontingenztabelle
Die Kontingenztabelle zeigt die Trefferquote des Systems basierend auf dem Schwellwert 50%. Eine
MOS Vorhersage gilt in der Verifikation immer dann als „Vorhersage Ja“, wenn das Ereignis mit einer
Wahrscheinlichkeit von ≥ 50% vorhergesagt wird.
Ereignis NEIN
(oi = 0)
Ereignis JA
(oi = 1)
A
B
FAR( ŷi < 50%; oi )
C
D
FAR( ŷi ≥ 50%; oi )
H I T ( ŷi ; oi = 0)
H I T ( ŷi ; oi = 1)
RATIO
Vorhersage Nein, ŷi < 50%
Vorhersage Ja, ŷi ≥ 50%
A = #{oi = 0 | ŷi < 50%}
(2.34)
B = #{oi = 1 | ŷi < 50%}
(2.35)
C = #{oi = 0 | ŷi ≥ 50%}
(2.36)
D = #{oi = 1 | ŷi ≥ 50%}
(2.37)
H I T ( ŷi ; oi = 0) =
A
A+ C
=
#{oi = 0 | ŷi < 50%}
#{oi = 0}
(2.38)
50
H I T ( ŷi ; oi = 1) =
D
B+D
FAR( ŷi < 50%; oi ) =
=
B
A+ B
C
FAR( ŷi ≥ 50%; oi ) =
C+D
#{oi = 1 | ŷi ≥ 50%}
=
=
#{oi = 1}
#{oi = 1 | ŷi < 50%}
#{ ŷi < 50%}
#{oi = 0 | ŷi ≥ 50%}
#{ ŷi ≥ 50%}
(2.39)
(2.40)
(2.41)
Achtung: Es ist zu beachten, dass FAR nicht identisch mit der im ROC-Diagram verwendeten FalseC
.
Alarm-Rate ist (s. Gleichung 2.33). Im Spezialfall z j = 50% wäre F entsprechend F (50%) = C+A
A ist auch bekannt als „True Negative“, B als „Flase Negative„, C als „False Positive“ und D als „True
Positive“. Die zusätzlich angegebene Ratio gibt an, wie das Verhältnis zwischen der Anzahl der Vorhersagen ŷi ≥ 50% zur Anzahl der Beobachtungen „Ereignis Ja“ (oi = 1) ist. Ist dieses Verhältnis > 0, so
ist die Anzahl der Modellvorhersagen mit „ ŷi ≥ 50%“ höher als die tatsächlich eingetretenen Beobachtungen für „Ereignis Ja“. Umgekehrt sagt ein negatives Verhältnis aus, dass die Anzahl der durch das
Modell vorhergesagten Fälle „ ŷi ≥ 50%“ geringer ist als beobachtet.
RAT IO = (
#{ ŷi ≥ 50%}
#{oi = 1}
− 1) · 100%
(2.42)
Gesamttrefferquote und Brier-Score
Die Gesamttrefferquote (engl. „Percent Correct“) bildet sich auf folgende Weise aus der Kontingenztabelle.
PC =
A+ D
A+ B + C + D
=
#{oi = 0 | ŷi < 50%} + #{oi = 1 | ŷi ≥ 50%}
#{oi = 0} + #{oi = 1}
(2.43)
Und der Brier-Score ...
BS =
n
1 X
2
·
ŷi − oi
n i=1
(2.44)
... wobei hier die Vorhersage ŷi nicht in Prozent, sondern als Wert zwischen [0.0, 1.0] in die Berechnung einfliesst. Die Gesamttrefferquote kann Werte von [0 − 1] annehmen. Bei einer perfekten Vorhersage ergibt sich ein Wert P C = 1.0, da dann B + C = 0 und daraus resultierend P C = (A+ D)/(A+ D) =
1.0. Der Brier Score ist ebenfalls zwischen [0 − 1] definiert. Bei einer perfekten Vorhersage ist ŷi immer dann 1.0 (100%), wenn das Ereignis eintritt (oi = 1) und ŷi = 0 wenn das Ereignis nicht eintritt
(oi = 0). In diesem Fall nimmt der Brier Score den Wert 0.0 an.
Theoretisch mögliche Fälle
Die theoretische Zahl an möglichen Fällen in der Verifikation setzt sich zusammen aus der Anzahl
der gescorten Tage, der Anzahl an Stationen sowie der Anzahl der Vorhersagezeitschritte. Da die Anzahl der Vorhersagezeitschritte nicht bei allen Prädiktanten identisch ist, kann die Zahl zwischen den
verschiedenen Vorhersagegrössen variieren. Die Auswertungen basieren ebenfalls auf der ValidierungsStationsliste (s. Abbildung 2.9) mit insgesamt 145 Stationen innerhalb Österreichs.
2.7 Verifikation
51
Verfügbarkeit der Vorhersagen
Die Verfügbarkeit wird gemäss Formel 2.25 berechnet werden. Achtung: die Verfügbarkeit zeigt die
tatsächliche Verfügbarkeit der Vorhersagen des entsprechenden Modells an. Die Verfügbarkeit ist nicht
identisch mit den Anzahl Fällen in der Kontingenztabelle dividiert durch die „Anzahl der theoretisch
möglichen Fälle“. In die Kontingenztabellen fliessen nur jene Fälle ein, bei denen sowohl die Beobachtung als auch die Vorhersage des Modells vorhanden sind. Die Bedingung für die Verfügbarkeit ist
lediglich das Vorhandensein der Modellvorhersage.
2.7.6 lineare multiple Diskriminantenanalyse: Resultate
Erklärung der Abbildungen
Die Grafiken auf den folgenden Seiten zeigen die Scores einiger Prädiktanten und umfassen „Reliability
(Reliability diagram, o.l.)“, „Hit-/False alarm Rate (ROC diagram, o.r.)“, „Datensatzgrösse (Sample used
for reliability diagram, u.l.)“ sowie „die Fläche unterhalb der ROC Kurve (ROC AREA, u.r.)“, welche
nach den Vorhersagezeiten aufgeschlüsselt ist.
Auf die Grafiken folgen jeweils einige zusätzliche Scores in „Tabellenform“. Diese umfassen neben
der Hit-/False-Alarm Rate die Verfügbarkeit (Availability), die Gesamttrefferquote (Percent Correct)
sowie den Brier-Score. Wird in den folgenden Abschnitten die Abkürzung „FCST“ verwendet, so sind
damit die Vorhersagen der verschiedenen Modelle gemeint. Die Abkürzung „OBS“ steht jeweils für die
Beobachtungen. Eine genaue Beschreibung der Scores befindet sich im Abschnitt 2.7.5.
Graphen : in rot die Auswertungen für das A-UMOS und in blau jene für das AUSTROMOS2. Ist für
einen Prädiktanten keine äquivalente Modellgrösse dem AUSTROMOS2 vorhanden, so fehlt der
entsprechende Graph.
Zeitschritte : der Niederschlag (pop) ist über den gesamten Vorhersagezeitraum 6-stündig, die restlichen Prädiktanten sind bis +72h immer 3-stündig, danach ebenfalls 6-stündig bis +144h (s.
Tabelle 2.2). Die Vorhersagen des AUSTROMOS2 sind jeweils von +12h bis +120h verfügbar,
jedoch lediglich 6-stündig über den gesamten Zeitraum.
52
Verifikation pop1 (Wahrscheinlichkeit für Niederschlag mindestens 0.1mm): Grafik
Reliability Diagramm
Praediktant: pop1, 12UTC−run
ROC Diagramm
1
1
A−UMOS
AUSTROMOS2
0.8
Hit−Rate (HIT)
Reliability
0.8
0.6
0.4
0.2
0.6
0.4
0.2
nmin: 100
0
0.5
Bins in 10% Schritten
0
1
Anzahl Faelle in den Bins
Anzahl verwendete Faelle
5
x 10 Paediktant: pop1, 12UTC−run
6
6
4
4
2
0
0.2
0.4
0.6
0.8
1
0.5
False−Alarm−Rate (F)
1
ROC Flaeche
1
0.8
2
0
0
4
x 10
8
Flaeche
0
0.6
0.4
0.2
0
0
+0h
+24h +48h +72h +96h 120h +144h
Vorhersagezeitschritt
Anzahl der theoretisch moeglichen Faelle: 1900080
488379
348636
58.3%
FAR(0)
FAR(1)
4%
3.
10
%
.3
34
HIT(1)
7.5%
84.7%
FAR(1)
62946
HIT(0)
46.9%
771116
61.2%
104252
OBS(1)
FCST(0)
92155
FAR(0)
OBS(0)
FCST(1)
10.2%
HIT(1)
42035
71.3%
370262
HIT(0)
FAR(1)
3%
HIT(1)
29.6%
1.
41.3%
173530
FAR(0)
−4
94.5%
73112
16.5%
80.1%
1253636 246913
ECMWF
OBS(1)
FCST(0)
OBS(1)
HIT(0)
FCST(0)
FCST(1)
AUSTROMOS2
OBS(0)
FCST(1)
A−UMOS
OBS(0)
Availability:
99.27 %
Availability:
34.56 %
Availability:
95.62 %
Percent Correct:
81.68 %
Percent Correct:
77.95 %
Percent Correct:
67.01 %
Brier−Score:
0.132
Brier−Score:
0.159
Abbildung 2.15: Verifikation des Prädiktanten pop1, Wahrscheinlichkeit für Niederschlag ≥ 0.1mm. Eine allgemeine Erklärung der hier gezeigten Graphen befindet sich unter dem Abschnitt 2.7.6, genauere Erläuterungen zu
dieser Abbildung auf der nächsten Seite.
2.7 Verifikation
53
Verifikation pop1 (Wahrscheinlichkeit für Niederschlag mindestens 0.1mm): Erläuterungen
Die folgenden Erklärungen gelten der Abbildung 2.15 auf Seite 52.
Reliability
Gut zu erkennen ist die starke Reliability der Vorhersagen des im A-UMOS verwendeten statistischen
Modells. Bei den hohen Wahrscheinlichkeiten (> 80%) zeichnet sich eine leichte Untervorhersage des
A-UMOS ab.
ROC Diagram
Im Gegensatz zu den Vorhersagen des AUSTROMOS2 steigt die False-Alarm-Rate (F ) des A-UMOS
weniger rasch an. Das A-UMOS zeigt jedoch eine etwas geringere Hit-Rate. Dasselbe zeichnet sich
auch in der Kontingenztabelle im unteren Teil der Abbildung 2.15 ab.
ROC Fläche
Die Fläche unter der ROC-Kurve ist für die verschiedenen Vorhersagezeitschritte relativ konstant. Eine leichte Abnahme mit zunehmender Vorhersagezeit ist zu erwarten und hängt von der ebenfalls
abnehmenden Vorhersagegüte des numerischen Modells (ECMWF) ab.
Kontingenztabelle
Betrachtet man die „Percent Correct“ Werte der jeweiligen Modelle, schneidet das A-UMOS am Besten
ab. Die Trefferquote der Vorhersagen „Ereignis Ja“ liegen jedoch mit 41.3% unter den Trefferquoten des AUSTROMOS2 und des ECMWF. Das A-UMOS ist in der Vorhersage etwas konservativ und
prognostiziert tendenziell zu oft „Ereignis Nein“. Dies widerspiegelt sich auch in die „Ratio“ der Kontingenztabelle. Während AUSTROMOS2 und ECMWF mit 34.3%/103.4% deutlich über 0% liegen, ist
die Ratio des A-UMOS mit −41.3% deutlich tiefer. Das Ereignis tritt also häufiger auf, als das A-UMOS
dies vorhersagt. Das numerische Modell jedoch hat mehr als doppelt so viele Vorhersagen mit Niederschlägen ≥ 0.1mm wie die durch die Beobachtungen repräsentierte Realität. Betrachtet man lediglich
die Absolutwerte der Ratios, so liegen die beiden MOS Systeme näher an der Realität als das ECMWF,
jedoch in unterschiedlichen Richtungen. Die etwas konservativere Vorhersage des A-UMOS führt jedoch auch zu einer wesentlich tieferen False-Alarm-Rate, die beim A-UMOS mit 29.6% markant tiefer
liegt als die der Referenzmodelle (46.9%/ 58.3%).
Ebenfalls konnte die Verfügbarkeit durch das A-UMOS stark gesteigert werden. Mit 99.3% sind nur
wenige fehlende Vorhersagen vorhanden. Die Tatsache, dass das ECMWF eine Verfügbarkeit unter
100% hat, basiert auf einem Software-Bug. Dieser wurde erst nach den Verifikationsläufen behoben,
die Korrekturen konnten leider nicht mehr in die Auswertungen einfliessen.
54
Verifikation pop4 (Wahrscheinlichkeit für Niederschlag mindestens 10mm): Grafik
ROC Diagramm
1
1
A−UMOS
AUSTROMOS2
0.8
Hit−Rate (HIT)
Reliability
0.8
0.6
0.4
0.2
0.6
0.4
0.2
nmin: 100
0
0
0.5
0
1
0.5
1
ROC Flaeche
4
x 10
15
1
0.8
10
10
5
Flaeche
5
x 10 Paediktant: pop4, 12UTC−run
0
0.6
0.4
5
0.2
0
0
0.2
0.4
0.6
0.8
1
0
0
+0h
+24h +48h +72h +96h 120h +144h
15351
5883
72.3%
FAR(0)
FAR(1)
−2
1.
3%
1%
7%
4.
2.
12
−6
HIT(1)
1.3%
21.8%
21105
HIT(0)
FAR(1)
1626353
99.1%
84.4%
OBS(1)
FCST(0)
3006
FAR(0)
OBS(0)
FCST(1)
16207
HIT(1)
1.0%
34.8%
5623
HIT(0)
FAR(1)
580042
97.3%
50.2%
OBS(1)
FCST(0)
4864
FAR(0)
ECMWF
OBS(0)
FCST(1)
4895
HIT(1)
1.5%
17.9%
22320
HIT(0)
1451702
99.7%
FCST(0)
AUSTROMOS2
OBS(1)
FCST(1)
A−UMOS
OBS(0)
Availability:
84.98 %
Availability:
34.31 %
Availability:
95.62 %
Percent Correct:
98.17 %
Percent Correct:
96.39 %
Percent Correct:
97.82 %
Brier−Score:
0.016
Brier−Score:
0.034
Abbildung 2.16: Verifikation des Prädiktanten pop4, Wahrscheinlichkeit für Niederschlag ≥ 10mm. Eine allgemeine Erklärung der hier gezeigten Graphen befindet sich unter dem Abschnitt 2.7.6, genauere Erläuterungen zu
2.7 Verifikation
55
Verifikation pop4 (Wahrscheinlichkeit für Niederschlag mindestens 10mm): Erläuterungen
Die folgenden Erklärungen gelten der Abbildung 2.16 auf Seite 54. Interessant an dieser Auswertung
ist der Vergleich mit jener der Klasse pop1 auf Seite 52 (s. Abbildung 2.16), da pop4 dieselbe Vorhersagegrösse darstellt, jedoch für einen wesentlich höheren Schwellwert von ≥ 10mm gilt. Ereignisse
mit mehr als ≥ 10mm sind wesentlich seltener als Ereignisse mit Niederschlagsmengen ≥ 0.1mm. Aufgrund der geringen Stichprobengrösse sind diese Events durch die statistischen Modelle schwieriger
vorherzusagen.
Reliability
Analog zur Klasse „Wahrscheinlichkeit für Niederschlag ≥ 0.1mm“ (siehe Seite 52) zeigt sich die starke
Verbesserung der Reliability im Vergleich zum AUSTROMOS2. Es zeigt sich jedoch eine starke Untervorhersage durch das A-UMOS bereits ab einer Vorhersagewahrscheinlichkeit von > 20%. Dies hängt
damit zusammen, dass das Ereignis wesentlich seltener ist und dadurch in den Trainingsdatensätzen
nicht sehr häufig vorkommt. Das A-UMOS hat deshalb mehr Mühe, diese Ereignisse korrekt zu klassifizieren. Dies ist zum Teil ein Problem des „updateable“ Verfahrens des A-UMOS. Nach einer gewissen
Zeit wird der Trainingsdatensatz der Vorgängerversion nicht mehr berücksichtigt, wodurch ein Teil der
historischen Daten verloren geht.
ROC Fläche
Wie Anhand des ROC Diagramms zu erwarten, ist die Fläche unterhalb der ROC Kurve relativ niedrig.
Der schlechteste zu erwartende Wert dieser Fläche liegt bei 0.5.
Kontingenztabelle
Analog zur Auswertung für „Wahrscheinlichkeit für Niederschlag ≥ 0.1mm“ist die Verfügbarkeit des
A-UMOS wesentlich höher als jene des AUSTROMOS2. Es zeigen sich jedoch auch wieder dieselben
Probleme. Durch die etwas konservative Vorhersage des A-UMOS ist die Gesamttrefferquote besser, bei
der Vorhersage für „pop4“ liegt die Hit-Rate jedoch mit lediglich 17.9% unter jener des AUSTROMOS2
(34.8%) und jener des ECMWF (21.8%). Die Stärke des konservativen Verhaltens zeigt sich in der
False-Alarm-Rate, welche beim A-UMOS mit 50.2% mehr als 20% unter jenen der anderen beiden
Modelle liegt.
Das Ratio des A-UMOS ist erneut < 0%, was einer Untervorhersage entspricht. Den besten Score
liefert hier das ECMWF mit einer Untervorhersage von lediglich 21.3% währen das AUSTROMOS2
mehr als doppelt so viele Vorhersagen für „Wahrscheinlichkeit für Niederschlag ≥ 10mm“ liefert, wie
die Beobachtungen widergeben.
56
Verifikation wfesns (Wahrscheinlichkeit für festen Niederschlag): Grafik
ROC Diagramm
Praediktant: wfesns, 12UTC−run
1
1
A−UMOS
AUSTROMOS2
0.8
Hit−Rate (HIT)
Reliability
0.8
0.6
0.4
0.2
0.6
0.4
0.2
nmin: 100
0
0.5
0
1
4
x 10 Paediktant: wfesns, 12UTC−run
8000
6
6000
4
4000
2
0
0.2
0.5
1
1
0.8
2000
0
0
ROC Flaeche
Flaeche
0
0.4
0.6
0.8
1
0.6
0.4
0.2
0
0
+0h
+24h +48h +72h +96h 120h +144h
0
0
NaN%
FAR(0)
FAR(1)
%
%
.8
aN
N
21
9%
0.
−1
HIT(1)
NaN%
NaN%
FAR(1)
0
HIT(0)
55.2%
0
NaN%
6704
OBS(1)
FCST(0)
8252
FAR(0)
OBS(0)
FCST(1)
5.2%
HIT(1)
5577
54.6%
FAR(1)
100902
HIT(0)
35.5%
OBS(1)
92.4%
12366
OBS(0)
FCST(0)
6811
FAR(0)
ECMWF
FCST(1)
8.9%
HIT(1)
9167
57.4%
93438
HIT(0)
OBS(1)
93.2%
OBS(0)
FCST(0)
AUSTROMOS2
FCST(1)
A−UMOS
Availability:
11.48 %
Availability:
17.07 %
Availability:
0.00 %
Percent Correct:
86.88 %
Percent Correct:
88.61 %
Percent Correct:
NaN %
Brier−Score:
0.089
Brier−Score:
0.080
Abbildung 2.17: Verifikation des Prädiktanten wfesns, Wahrscheinlichkeit für festen Niederschlag. N aN Werte
bedeuten, dass die entsprechenden Werte aufgrund fehlender Fälle nicht berechnet werden konnten. Eine allgemeine Erklärung der hier gezeigten Graphen befindet sich unter dem Abschnitt 2.7.6, genauere Erläuterungen zu
2.7 Verifikation
57
Verifikation wfesns (Wahrscheinlichkeit für festen Niederschlag): Erläuterungen
Die auf dieser Seite folgenden Erläuterungen gehören zur Auswertung in Abbildung 2.17 auf Seite 56
und beschreiben die Verifikation für die Wahrscheinlichkeit für festen Niederschlag. Als fester Niederschlag gilt neben Schnee auch Graupel, Hagel oder gefrierender Sprühregen (engl. „Drizzle“).
Reliability
Erneut zeigt sich die Stärke der verwendeten statistischen Methode. Das A-UMOS liefert eine stärkere
und konsistentere Reliability als das Referenzsystem (AUSTROMOS2). Aufgrund der Tatsache, dass
fester Niederschlag bei tiefer gelegenen Stationen ein eher seltenes Ereignis ist (betrachtet über das
gesamte Jahr) erklärt sich die Schwierigkeit des A-UMOS, hohe Wahrscheinlichkeiten genügend oft
vorherzusagen. Es zeigt sich eine Untervorhersage ab Wahrscheinlichkeiten von > 60%, welche bei
höheren Wahrscheinlichkeiten noch zunimmt.
ROC Diagram
Die beiden Kurven des A-UMOS und des AUSTROMOS2 sind hier beinahe deckungsgleich, jedoch
nimmt die Hit-Rate des A-UMOS etwas rascher zu, während die False-Alarm-Rate des A-UMOS bis auf
den letzten Wert bei 90% leicht unter jenen des AUSTROMOS2 liegt.
Kontingenztabelle
Im Gegensatz zu pop4 (Niederschlag ≥ 10mm) ist fester Niederschlag kein „extremes“ Ereignis und ist
deshalb einfacher vorhersagbar. Dies zeigt sich vor allem in den Ratios der beiden MOS Systeme. Während das eher konservative A-UMOS eine leichte Untervorhersage von 10.9% aufweist, liefert das AUSTROMOS mit +20.8% eine Übervorhersage. Betrachtet man die Absolutwerte der Ratios, so schneidet
das A-UMOS besser ab als das Referenzsystem. Dasselbe gilt für die Hit-Rate und die False-Alarm-Rate,
jedoch nicht für die Verfügbarkeit. Die tiefe Verfügbarkeit von lediglich 11.48% lässt sich auf die Anzahl der Beobachtungen zurückführen. Nur wenige Stationen liefern diese Information, wordurch der
Grossteil der Trainingsdatensätze gar keine oder nicht genügend Fälle besitzen, um die LMDA anzuwenden. Durch das „updateable“ System werden die historischen Daten alter Modellversionen nach
einer gewissen Zeit ignoriert (siehe Abschnitt 1.3), wodurch die Anzahl der Fälle in den Trainingsdatensätzen nicht stetig ansteigt. Dies ist der Vorteil des AUSTROMOS2 mit einem Trainingsdatensatz
über mehr als 6 Jahre und entsprechend mehr Beobachtungen in den Trainingsdatensätzen.
58
Verifikation aktww7 (Wahrscheinlichkeit für Regen): Grafik
Praediktant: aktww7, 12UTC−run
1
A−UMOS
ROC Diagramm
1
0.8
Hit−Rate (HIT)
Reliability
0.8
0.6
0.4
0.2
0.6
0.4
0.2
nmin: 100
0
0
0.5
0
1
Paediktant: aktww7, 12UTC−run
Flaeche
0.8
0.5
10000
0
5000
−0.5
0.2
0.4
0.6
0.8
1
1
15000
0
0.5
ROC Flaeche
1
0
0
1
0.6
0.4
0.2
−1
0
+0h
+24h +48h +72h +96h 120h +144h
0
0
NaN%
FAR(0)
FAR(1)
%
aN
N
0%
%
aN
N
5.
−6
HIT(1)
NaN%
NaN%
FAR(1)
0
HIT(0)
NaN%
0
NaN%
0
OBS(1)
FCST(0)
0
FAR(0)
OBS(0)
FCST(1)
NaN%
HIT(1)
0
NaN%
FAR(1)
0
HIT(0)
36.9%
OBS(1)
NaN%
1241
OBS(0)
FCST(0)
726
FAR(0)
ECMWF
FCST(1)
15.3%
HIT(1)
4384
22.1%
24202
HIT(0)
OBS(1)
97.1%
OBS(0)
FCST(0)
AUSTROMOS2
FCST(1)
A−UMOS
Availability:
2.32 %
Availability:
0.00 %
Availability:
0.00 %
Percent Correct:
83.27 %
Percent Correct:
NaN %
Percent Correct:
NaN %
Brier−Score:
0.114
Brier−Score:
NaN
Abbildung 2.18: Verifikation des Prädiktanten wfesns, Wahrscheinlichkeit für Regen. N aN Werte bedeuten, dass
die entsprechenden Werte aufgrund fehlender Fälle nicht berechnet werden konnten. Eine allgemeine Erklärung
der hier gezeigten Graphen befindet sich unter dem Abschnitt 2.7.6, genauere Erläuterungen zu dieser Abbildung
auf der nächsten Seite.
2.7 Verifikation
59
Verifikation aktww7 (Wahrscheinlichkeit für Regen): Erläuterungen
In der Meteorologie werden beobachtete Ereignisse im sogenannten SYNOP-Code verschlüsselt. Der
Code umfasst insgesamt 10 verschiedene Ereignisklassen zur Beschreibung des aktuellen Wetters, welche im A-UMOS durch die aktww Prädiktanten vorhergesagt werden. Die Prädiktantenklasse aktww7
steht dabei für das „aktuelle Wetter 6“ oder das Ereignis „Regen“. Ereignis „aktww7 Ja“ steht also für
Regen, wobei irrelevant ist, wie viel Niederschlag fällt (es geht also nicht um die Niederschlagsmenge). Andere Klassen für “aktuelles Wetter“ wären beispielsweise Schauer, Schnee, Nieseln oder Dunst
(s. Tabelle 2.1). Diese Daten werden durch einen Beobachter erhoben (optische Klassifizierung des
aktuellen Wetters). Die folgenden Erläuterungen gehören zu Abbildung 2.18 auf Seite 58.
Kontingenztabelle
Zu Beginn sei hier die Kontingenztabelle erläutert. Was auffällt ist die sehr tiefe Verfügbarkeit. Das
Problem der heutigen Zeit ist, dass es sehr teuer geworden ist einen Beobachter zu beschäftigen.
Deshalb wurden die Beobachtungen an vielen Standorten eingestellt. Standorte, welche zuverlässig
Beobachtungen durchführen, sind heute vor allem noch Flughäfen, da diese Daten für die Piloten von
hoher Wichtigkeit sind. Die Ratio zeigt wieder die bekannte konservative Haltung des A-UMOS und
die daraus resultierende Untervorhersage des Ereignisses. Die Hit-Rate und False-Alarm-Rate ist mit
den Auswertungen auf den vorherigen Seiten vergleichbar. Leider fehlen hier die Referenzsysteme, da
das AUSTROMOS2 keine Vorhersagen für „Aktuelles Wetter“ liefert und das ECMWF ebenfalls keine
Vorhersagegrösse beinhaltet, welche die Klassifikation möglich machen würde.
ROC Diagram
Aufgrund der fehlenden Referenz lässt sich darüber leider nur wenig sagen. Es ist jedoch erkennbar,
dass die False-Alarm-Rate nie über 50% ansteigt, die Hit-Rate hingegen bis über 90%.
ROC Fläche
Hier zeigt sich das Problem der fehlenden Beobachtungen. Ein Unterbruch in der Kurve zeigt einen
Vorhersagezeitschritt, bei welchem keine ROC Analyse durchgeführt werden konnte, da keine Paare
Vorhersage/Beobachtung vorhanden waren. Diese Lücken befinden sich ausschliesslich bei Vorhersagezeitschritten von (n · 24h + 12h), also bei +12h, +36h, +60h, .... Da diese Analyse für den 12Z
ECMWF Modellauf gilt, wiederspiegeln diese Vorhersagezeitschritte jeweils die Nachtphasen. Wie es
scheint, sind die Beobachter an den wenigen noch besetzten Stationen zu normalen Arbeitszeiten von
Sonnenaufgang bis Sonnenuntergang angestellt, wodurch während der Nacht keine Beobachtungen
gemacht werden. Dieses Problem zeigt sich im A-UMOS für beinahe alle Beobachtunge, die durch
einen Beobachter aufgenommen und nicht durch automatische Systeme abgeleitet werden können.
60
2.7.7 lineare multiple Diskriminantenanalyse: Übersichtstabelle
Es folgt Tabelle 2.10, welche die relativen Änderungen der Gesamttrefferquote („Percent Correct, PC“)
und des Brier-Scores zeigen. Die Tabelle 2.14 mit den detaillierten Verifikationsmassen befindet sich
aus platztechnischen Gründen im Anhang auf Seite 82
Gesamttrefferquote
Prädiktant/Lauf
ECMWF
A2
AU
Verb.
EMCWF
Brier-Score
A2
A2
AU
Verb.
A2
pop1 00UTC
67.0
—
81.5
14.48
—
—
0.133
—
pop2 00UTC
82.2
—
89.4
7.23
—
—
0.084
—
pop3 00UTC
94.1
—
96.1
2.00
—
—
0.034
—
pop4 00UTC
97.8
—
98.2
0.35
—
—
0.017
—
pop5 00UTC
99.5
—
99.3
-0.28
—
—
0.007
—
wconv 00UTC
—
—
91.0
—
—
—
0.066
—
wfesns 00UTC
—
—
86.7
—
—
—
0.090
—
wgew 00UTC
—
—
97.2
—
—
—
0.024
—
wsp1 00UTC
95.4
—
97.1
1.78
—
—
0.024
—
wsp2 00UTC
99.2
—
98.1
-1.12
—
—
0.017
—
wsp3 00UTC
99.8
—
98.5
-1.33
—
—
0.013
—
Mittelwert 00UTC
91.9
—
89.9
2.89
—
—
0.068
—
pop1 12UTC
67.0
78.0
81.7
14.67
3.73
0.159
0.132
16.8
pop2 12UTC
82.4
85.3
89.4
7.01
4.17
0.104
0.083
20.5
pop3 12UTC
94.0
—
96.1
2.02
—
—
0.033
—
pop4 12UTC
97.8
96.4
98.2
0.35
1.78
0.034
0.016
52.9
pop5 12UTC
99.6
—
99.3
-0.26
—
—
0.007
—
wconv 12UTC
—
82.2
91.0
—
8.83
0.131
0.066
49.7
wfesns 12UTC
—
88.6
86.9
—
-1.73
0.080
0.090
-11.7
wgew 12UTC
—
92.4
97.2
—
4.77
0.061
0.024
60.8
wsp1 12UTC
95.4
93.4
97.2
1.75
3.82
0.053
0.024
55.2
wsp2 12UTC
99.2
—
98.1
-1.09
—
—
0.016
—
wsp3 12UTC
99.8
—
98.5
-1.31
—
—
0.013
—
Mittelwert 12UTC
91.9
88.0
90.0
2.89
3.62
0.089
0.068
34.9
Tabelle 2.10: zeigt die Gesamttrefferquote (PC in [%]) sowie den Brier-Score (BS in [0 − 1]) der Modelle.
Aus Platzgründen abgekürzt: AU = A-UMOS, A2 = AUSTROMOS2, Verb.= Verbesserung gegenüber den Modellen. Vergleich für PC gegen ECMWF und AUSTROMOS2 möglich, wobei Verb(PC)= P CA−U M OS − P C EC M W F
bez. Verbesserung= P CA−U M OS − P CAUST ROM OS2 . Vergleich beim Brier-Score nur gegen AUSTROMOS2 möglich.
Verb(BS)= 1 − BSA−U M OS /BSAUST ROM OS2 angegeben in [%]. Prädiktant aktww ist nicht aufgeführt da, keine äquivalenten Vorhersagen aus den Referenzmodellen vorhanden sind.
2.8 Diskussion
2.8
61
Diskussion
Das Ziel des Austrian Updateable Model Output Statistics (A-UMOS) Projektes war das Entwickeln
eines MOS Systems um das bestehende AUSTROMOS2 der ZAMG abzulösen. Dies bedingt natürlich,
dass die Performance des neuen Systems über jener des alten Modells liegt.
Das System als Ganzes läuft seit Anfang 2011 operationell, seit August 2011 in der finalen Version und
dies bis heute ohne erkennbare Fehler. Das schlanke Design ermöglicht einen Betrieb des kompletten
A-UMOS auf einem herkömmlichen Desktop-PC. Ein 2.6GHz Dual-Core Rechner auf einer 64bi t Linux Architektur mit 8GB Arbeitsspeicher und 200GB Harddisk (exkl. Backup) liefert die Vorhersage
aller Prädiktanten und Stationen in weniger als 90 Minuten pro Vorhersagelauf. Die reduzierte Information in den SSCPs ermöglicht jedoch nur die Verwendung einiger weniger statistischen Methoden.
Betrachtet man die Scores der MLR, so sind die Vorteile des Softwaredesigns sicher stärker als die Nachteile durch die SSCP-Form der Trainingsdaten. Beim Klassifizierungsalgorithmus (LMDA) sind einige
Probleme erkennbar, möglicherweise könnte die Qualität des A-UMOS noch durch andere statistische
Methoden gesteigert werden, zur Entscheidung müsste der Einfluss des „updateable“-Schemas noch
genau untersucht werden. Ein ebenfalls markantes Problem sind kleine Stichprobengrössen, besonders bei seltenen Ereignissen (z.B. in der höchsten Niederschlagsklasse). In solchen Fällen kann das
statistische Modelle nicht angewendet werden. Eine mögliche Variante, diese Probleme zu umgehen,
wäre die Verwendung eines Reforecast Datensatzes (Hamill et al. 2006). Aufgrund der Tatsache, dass
nur eine Modellversion des numerischen Modells über 30 Jahre Trainingsdaten liefert führt dazu, dass
das updateable-Schema komplett überflüssig wird. Zudem können die Beobachtungen (falls vorhanden) aus über 30 Jahren verwendet werden, wodurch die Stichprobenzahl in den Trainingsdaten stark
erhöht werden könnte.
Für die statistischen Methoden wurde jeweils ein Subset von insgesamt 145 Stationen aus dem AUMOS über einen Zeitraum von 546 Tagen zwischen dem 01.01.2010 und dem 31.07.2011 ausgewertet. Es ist zu beachten, dass die Vorhersagen bis zum 07.01.2011 auf einem Testdatensatz gerechnet
wurden, welcher nicht unabhängig vom Trainingsdatensatz war. Die Vorhersagen nach dem 07.01.2011
stammen aus dem operationellen System und basieren somit auf einem unabhängigen Trainingsdatensatz. Aufgrund des Umfangs der ausgewerteten Daten sind die Verifikationsmasse aber dennoch
aussagekräftig.
Die MLR liefert im A-UMOS insgesamt 16 deterministische Vorhersagegrössen (s. Tabelle 2.1), welche
gegen den direkte Modelloutput des numerischen Modells (DMO) des ECMWF Modells sowie gegen
das Referenzsystem AUSTROMOS2 ausgewertet wurden. Die detaillierten Auswertungen befinden sich
in der Tabelle 2.13. Tabelle 2.8 liefert die relative Änderung des RMSE (Root Mean Square Error oder
Quadratischer Fehler) gegen die beiden Referenzsysteme.
Der RMSE konnte bei allen deterministischen Grössen gegenüber beiden Referenzsystemen reduziert
werden. Im Durchschnitt um 43% gegenüber dem ECMWF und 25% gegenüber dem AUSTROMOS2.
Bei den „Temperatur-Prädiktanten“ (namentlich spot, t5cm, tdrh, tmax, tmin) liegt der RMSE im AUMOS im Mittel bei 2.32◦ C und konnte gegenüber dem ECMWF um 50% reduziert werden. Dies ist
vergleichbar mit anderen MOS Systemen. Die Abbildungen 2.19 und 2.20 zeigen den RMSE der 2m
Temperatur eines MOS Systems der Universität Basel (Müller 2011), welches auf einem Regionalmodell mit 3km bzw. einer Version mit 12km horizontaler Auflösung basiert. Die Auswertung zeigt eine
Reduktion des RMSE um rund 30 − 35% bei einer Auswertung über alle 1150 europäischen Stationen
(s. Abbildung 2.19) und bei rund 40 − 50% (s. Abbildung 2.20) bei einer Auswertung der Stationen in
komplexem Terrain (180 Stationen). Die Verifikation des A-UMOS basiert auf den 145 Stationen der
Validierungs-Stationsliste, welche alle in Österreich und somit ebenfalls mehrheitlich in komplexem
62
Terrain liegen (s. Abbildung 2.9). Die beiden MOS Systeme verbessern den RMSE gegenüber dem verwendeten DMO etwa gleich stark. Der DMO weist bei allen Prädiktanten einen Tagesgang auf, welcher
in der Korrelation, dem MAE sowie dem Bias sichtbar ist. Dieser kann durch das A-UMOS nicht entfernt werden, wird jedoch meist stark gedämpft. Interessant ist die Änderung des MAE im A-UMOS.
Während bei einigen Prädiktanten eine Zunahme mit fortschreitender Vorhersagezeit sichtbar ist (spot,
pre, rhtd, s. Abbildungen 2.10, 2.12, 2.13), weisen andere Prädiktanten dieses Verhalten nicht auf
(ff10, glo, s. Abbildungen 2.11, 2.14). Letztere scheinen sich stärker am Vehalten der äquivalenten
Vorhersagegrösse aus dem ECMWF zu orientieren, was den Schluss zulässt, dass dieses Verhalten stark
von der Wahl der Prädiktoren abhängig ist. Eine genauere Analyse wurde bisher jedoch noch nicht
durchgeführt.
Abbildung 2.19: RMSE-Vergleich zwischen dem DMO eines Regionalmodells und drei MOS-Varianten der Universität Basel für die Temperatur in 2m über Grund (Fig. 12 Müller 2011, P. 1634). Aufgrund fehlender Verifikationszahlen lässt sich die Reduktion des RMSE gegenüber dem Regionalmodell lediglich schätzen und beträgt rund
30 − 35%.
Abbildung 2.20: RMSE-Vergleich zwischen dem DMO eines Regionalmodells mit 3km und einmal mit 12km
Horizontalauflösung gegen eine und MOS-Varianten der Universität Basel für die Temperatur 2m über Grund (Fig.
14 Müller 2011, P. 1635) basierend auf dem 3km Regionalmodell für 180 Stationen in komplexer Umgebung in
Europa. Aufgrund fehlender Verifikationszahlen lässt sich die Reduktion des RMSE gegenüber dem Regionalmodell
lediglich schätzen und beträgt in komplexem Terrain rund 45 − 50%.
Die Verfügbarkeit der Vorhersagen bei allen vollautomatisch gemessenen Grössen liegt bei ≥ 95%.
Ausgenommen davon sind glo und ssd, da nicht alle Standorte die entsprechenden Messinstrumente
besitzen. Einige Grössen (Bewölkung total/mittelhoch, tclo/mclotclo; Sichtweite, siw) werden durch
einen Beobachter am Stationsstandort erstellt. Da nicht mehr bei jeder Station ein Beobachter seinen
Dienst leistet, sind die Verfügbarkeiten dort entsprechend gering. Speziell in der Nacht fehlen die
Beobachtungen meistens ganz, weshalb die Verfügbarkeit in der Nacht auf nahezu 0% reduziert wird.
2.8 Diskussion
Abbildung 2.21: Reliability Diagramm
aus dem UMOS für „Wahrscheinlichkeit
für Niederschlag“ (Fig. 8 Wilson and
63
Das zweite statistische Verfahren (LMDA) liefert probabilistische Grössen für 6 verschiedene Vorhersagegrössen in insgesamt 26 unterschiedlichen Klassen. Betrachtet man die Durchschnittliche Verbesserung des A-UMOS gegenüber den beiden
Referenzsystemen in Tabelle 2.10, so ist eine Verbesserung
in der Gesamttrefferquote um 2.9% gegenüber dem ECMWF
und einer Verbesserung um 3.62% gegenüber dem AUSTROMOS2 erkennbar. Ebenfalls konnte der Brier-Score im Mittel
um 35% reduziert (verbessert) werden.
Betrachtet man sich die Auswertungen der einzelnen Prädiktanten in Tabelle 2.10, fallen einige Vorhersagegrössen auf,
bei welchen weder Gesamttrefferquote noch der Brier-Score
verbessert werden konnte. Dieses Problem tritt vorwiegend
bei der Klassifizierung von seltenen Ereignissen auf. Dies liegt
auch daran, dass durch das im A-UMOS verwendete upda-
teable Schema bei einer Modellumstellung die historischen
Daten der „alten“ Modellversion nach einer gewissen Zeit
gilt für die 6 − h Vorhersage von +42h
nicht mehr berücksichtigt werden. Bei seltenen Ereignissen
bis +46h im Sommer, 12UTC Lauf. PPM
bedeutet dies, dass sie dadurch in den Trainingsdatensätzen
= Perfect Prog Vergleichssystem.
noch seltener auftreten. Das „updateable“ Konzept könnte also einen negativen Einfluss auf die Klassifizierung seltener
Ereignisse haben, einen expliziten Beweis dieser Hypothese
kann jedoch an dieser Stelle nicht mitgeliefert werden. Ein
Ausweg aus diesem Problem stellt die Arbeit von (Hamill et al.
2006) dar. Durch den generierten GFS Reforecast Datensatz
kann ein Trainingsdatensatz auf ein und derselben Modellversion erstellt werden, der bei entsprechenden Beobachtungen über 30 Jahre Daten beinhält. Dadurch kann die Stichprobengrösse besonders bei „seltenen“ Ereignissen stark erAbbildung 2.22: Percent Correct für alhöht werden, wordurch der Skill von Klassifizierungsmethole 6 UMOS Wahrscheinlichkeitsklassen
den stark gesteigert werden kann. Ebenfalls verbreitet sind
der Windgeschwindigkeit (Fig. 17 Wildie sogenannten logistischen Regressionen, welche ebenfalls
son and Vallée 2003, P. 299). Wintervorprobabilistische Vorhersagen liefern (Wilks (2009) Schmeits
hersagen 00UTC-Lauf. Links für +6h,
et al. (2008)). Es handelt sich dabei nicht mehr um einen
rechts für +18h. PPM = Perfect Prog
Klassifizierungsalgorithmus sondern um eine Spezialform der
Vergleichssystem; UMO und UMB sind
Varianten des UMOS.
Regressionen. Fraglich ist, ob diese das Problem der geringen Stichprobengrösse „extremer“ Ereignisse besser handhaben als die verwendete LMDA. Dies konnte nicht getestet werden, da die logistische Regression mit der reduzierten Information aus den SSCPs nicht umgesetzt werden kann.
Vergleicht man die Verifikation des A-UMOS mit den Auswertungen des UMOS (Wilson and Vallée
2003), so zeigen sich ähnliche Resultate im A-UMOS. Abbildung 2.21 zeigt das Reliabilitydiagramm
Vallée 2003, P. 296). Die Auswertung
aus der Arbeit von Wilson and Vallée für „Wahrscheinlichkeit für Niederschlag (+42h bis +46h)“ und
ist somit vergleichbar mit der Auswertung in Abbildung 2.15. Gut erkennbar ist die starke Reliability in den beiden Abbildungen sowie die Verteilung der „verwendeten Fälle“. Genau wie das A-UMOS
scheint auch das UMOS etwas konservative Vorhersagen zu generieren, was zu einer Untervorhersage
der höheren Wahrsheinlichkeiten führt. Die Abbildung 2.22 zeigt die Gesamttrefferquote für die Wahr-
64
scheinlichkeiten der Windgeschwindigkeit aus dem UMOS. Im Mittel lieferte das UMOS aus dem Jahre
2003 eine Gesamttrefferquote von rund 52 − 55% und damit deutlich tiefer als die Gesamttrefferquote
des A-UMOS mit rund 98% gemittelt über beide Läufe sowie wsp1, wsp2 und wsp3. Dies resultiert zum
Teil aus den starken Weiterentwicklungen der numerischen Modelle seit jener Zeit. Interessant wäre
der Vergleich der Hit- sowie False-Alarm-Rate zwischen dem A-UMOS und dem UMOS, entsprechende
Informationen konnten dem Artikel jedoch nicht entnommen werden (Wilson and Vallée 2003).
Abkürzungsverzeichnis
DMO direkte Modelloutput des numerischen Modells
DMO direkten Modelloutput des numerischen Modells
ZAMG Zentralanstalt für Meteorologie und Geodynamik
IMGI Institut für Meteorologie und Geophysik der Universität Innsbruck
NOAA National Oceanic and Atmospheric Administration der U.S.A.
USAF United States Air Force
ECMWF European Centre for Medium-Range Weather Forecasts
GFS Global Forecast System
NCEP National Center for Environmental Prediction
LAM Local Area Model, ein Regionalmodell
VSZ Vorhersagezeitschritt
MAE Mittlerer absolute Fehler
VAR Varianz
COV Kovarianz
COR Korrelation
OLS kleinsten Quadrateschätzer
RMSE Root Mean Square Error oder Quadratischer Fehler
MLR multiple lineare Regression
MDA multiple Diskriminantenanalyse
LMDA lineare multiple Diskriminantenanalyse
SSCPs Trainingsdatensätze
SSCP Trainingsdatensatz
PP
Perfect Prog
UMOS Canadian Updateable Model Output Statistics
A-UMOS Austrian Updateable Model Output Statistics
MOS Model Output Statistics
65
66
Abbildungsverzeichnis
1.1 Darstellung eines orthogonalen Gitters mit 48 Gitterpunkten entlang der Breitengrade
und 40 entlang des Längengrade, ergibt insgesamt 1920 Gitterpunkte (Fig. 1 Tribbia
and Anthes 1987, P. 494). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5
1.2 Der Lorenz-Attraktor. (a) und (b) zeigen die Originallabildungen (Fig. 2 Lorenz 1963, P.
137), (c) eine modernere und besser bekannte Darstellung (Wikimol 2006). . . . . . . .
6
1.3 Konzeptioneller Ablauf des updateable-Ansatzes. Achtung: alle Werte sind lediglich exemplarisch! . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
12
2.1 Konzeptioneller Aufbau des Austrian Updateable Model Output Statistics (A-UMOS)
Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
15
2.2 Graphische Übersicht der im A-UMOS verwendeten Stationen. Links: Gesamte Stationsliste mit 1041 Stationen; Mitte: SYNOP Stationen; Rechts: TAWES Stationen. Diese
teilautomatischen Wetterstationen (TAWES) der ZAMG stehen verteilt über ganz Österreich. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
18
2.3 Konzept einer linearen Regression, lediglich 2-Dimensional. (a) zeigt die Daten im Trainingsdatensatz, welche die Basis für die Regression (b) sind. Die Regression führt zusammen mit dem DMO zur MOS Vorhersage (c). . . . . . . . . . . . . . . . . . . . . . . . . .
20
2.4 Konzept einer linearen Diskriminantenanalyse, lediglich 2-Dimensional. (a) zeigt den
Trainingsdatensatz, wobei beide Klassen getrennt gespeichert sind. Durch die Diskriminantenanalyse erhält man die Klassengrenze (b), welche für die MOS-Vorhersage verwendet wird. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
25
2.5 Diese Grafik zeigt einen Selektionsprozess für ein Prädiktorenset aus dem A-UMOS für
die lineare multiple Diskriminantenanalyse (LMDA) (Klassifizierungsalgorithmus). Grau
(gestrichelt) stellt die Anzahl der gewählten Prädiktoren dar (skaliert mit Faktor 50 zur
Darstellung auf derselben Ordinate). Grün (gepunktet) das Quadrat der MahalanobisDistanz des jeweiligen Test-Sets und Rot (ausgezogen) diejenige der jeweils beste Kombination. Seitlich rechts mit T bezeichnet ist das totale Quadrat der Mahalanobis-Distanz
für das Set mit 5 Prädiktoren dargestellt. Markiert mit I (Improvement) die Verbesserung durch den zuletzt gewählten Prädiktor. Fällt TI unter einen Schwellwert s, so wird
dieser wieder eliminiert. Im Beispiel ist das bei Prädiktor 5 der Fall - die Selektion endet
hier also mit K − 1 = 4 Prädiktoren. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
27
67
68
ABBILDUNGSVERZEICHNIS
2.6 Schematische Darstellung der Grenzwertüberprüfung. Die Vorhersagen ŷi haben einen
zulässigen Wertebereich zwischen Gu und Go . Manche Prädiktanten besitzen zusätzlich
einen Korrekturbereich K. Liegt ŷi innerhalb K, so wird ŷi auf die nächstgelegene Grenze Gu oder Go korrigiert. Liegt ŷi ausserhalb K und ausserhalb des zulässigen Wertebereiches, so wird die Vorhersage verworfen. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
29
2.7 Gewichtungsschema zwischen der „kalten“ und „warmen“ Saison. In blau (einfarbig) ist
die „kalte“-Saison, in rot (schraffiert) die „warme“-Saison abgebildet. Die Gewichtung
wechselt von 1.0/0.0 über 0.33/0.67, 0.5/0.5, 0.67/0.33 zu 0.0/1.0. Dies einmal im
Frühling und einmal im Herbst. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
32
2.8 Beispiel der relativen Faktoren ωneu und ωal t . Schattiert ist die Übergangsphase
zwischen zwei Modellversionen, begrenzt durch die Schwellwerte So und Su . Achtung: Beispiel gilt für Su = 50, So = 300, Nal t = 600 und ωma x = 1.66. ωneu =
f (So , Su , Nneu , ωma x ) und ωol d = g(ωneu , Nal t ). Die Funktionen f (•) und g(•) besitzen
je 4 − 5 Freiheitsgrade, weshalb nicht der komplette Funktionsbereich für ωal t und ωneu
abgebildet werden kann. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
35
2.9 Stationen aus der für die Verifikation verwendeten Stationsliste. Insgesamt 145 Stationen, davon 2 reine TAWES Stationen und 5 reine SYNOP Stationen. . . . . . . . . . . . . .
37
2.10 Verifikation Lufttemperatur 2m über Grund (spot in 1/10◦ C). Eine allgemeine Erklärung
der Graphen befindet sich in Abschnitt 2.7.3. . . . . . . . . . . . . . . . . . . . . . . . . . . .
40
2.11 Verifikation der Windgeschwindigkeit 10m über Grund (ff10 in 1/10 m s−1 ). Eine allgemeine Erklärung der Graphen befindet sich in Abschnitt 2.7.3. . . . . . . . . . . . . . . . .
41
2.12 Verifikation der Niederschlagsmenge (spot in 1/10 mm m−2 ). Eine allgemeine Erklärung
der Graphen befindet sich in Abschnitt 2.7.3. . . . . . . . . . . . . . . . . . . . . . . . . . . .
43
2.13 Verifikation der relative Feuchte (rhtd in %). Eine allgemeine Erklärung der Graphen
befindet sich in Abschnitt 2.7.3. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
44
2.14 Verifikation der Globalstrahlung (glo in W m2 ). Eine allgemeine Erklärung der Graphen
befindet sich in Abschnitt 2.7.3. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
45
2.15 Verifikation des Prädiktanten pop1, Wahrscheinlichkeit für Niederschlag ≥ 0.1mm. Eine
allgemeine Erklärung der hier gezeigten Graphen befindet sich unter dem Abschnitt
2.7.6, genauere Erläuterungen zu dieser Abbildung auf der nächsten Seite. . . . . . . . .
52
2.16 Verifikation des Prädiktanten pop4, Wahrscheinlichkeit für Niederschlag ≥ 10mm. Eine
allgemeine Erklärung der hier gezeigten Graphen befindet sich unter dem Abschnitt
2.7.6, genauere Erläuterungen zu dieser Abbildung auf der nächsten Seite. . . . . . . . .
54
2.17 Verifikation des Prädiktanten wfesns, Wahrscheinlichkeit für festen Niederschlag. N aN
Werte bedeuten, dass die entsprechenden Werte aufgrund fehlender Fälle nicht berechnet werden konnten. Eine allgemeine Erklärung der hier gezeigten Graphen befindet
sich unter dem Abschnitt 2.7.6, genauere Erläuterungen zu dieser Abbildung auf der
nächsten Seite. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
56
2.18 Verifikation des Prädiktanten wfesns, Wahrscheinlichkeit für Regen. N aN Werte bedeuten, dass die entsprechenden Werte aufgrund fehlender Fälle nicht berechnet werden
konnten. Eine allgemeine Erklärung der hier gezeigten Graphen befindet sich unter dem
Abschnitt 2.7.6, genauere Erläuterungen zu dieser Abbildung auf der nächsten Seite. . .
58
2.19 RMSE-Vergleich zwischen dem DMO eines Regionalmodells und drei MOS-Varianten der
Universität Basel für die Temperatur in 2m über Grund (Fig. 12 Müller 2011, P. 1634).
Aufgrund fehlender Verifikationszahlen lässt sich die Reduktion des RMSE gegenüber
dem Regionalmodell lediglich schätzen und beträgt rund 30 − 35%. . . . . . . . . . . . .
62
2.20 RMSE-Vergleich zwischen dem DMO eines Regionalmodells mit 3km und einmal mit
12km Horizontalauflösung gegen eine und MOS-Varianten der Universität Basel für die
Temperatur 2m über Grund (Fig. 14 Müller 2011, P. 1635) basierend auf dem 3km Regionalmodell für 180 Stationen in komplexer Umgebung in Europa. Aufgrund fehlender
Verifikationszahlen lässt sich die Reduktion des RMSE gegenüber dem Regionalmodell
lediglich schätzen und beträgt in komplexem Terrain rund 45 − 50%. . . . . . . . . . . .
62
2.21 Reliability Diagramm aus dem UMOS für „Wahrscheinlichkeit für Niederschlag“ (Fig. 8
Wilson and Vallée 2003, P. 296). Die Auswertung gilt für die 6 − h Vorhersage von +42h
bis +46h im Sommer, 12UTC Lauf. PPM = Perfect Prog Vergleichssystem. . . . . . . . . .
63
2.22 Percent Correct für alle 6 UMOS Wahrscheinlichkeitsklassen der Windgeschwindigkeit
(Fig. 17 Wilson and Vallée 2003, P. 299). Wintervorhersagen 00UTC-Lauf. Links für +6h,
rechts für +18h. PPM = Perfect Prog Vergleichssystem; UMO und UMB sind Varianten
des UMOS. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
63
69
70
ABBILDUNGSVERZEICHNIS
Tabellenverzeichnis
2.1 Liste aller im A-UMOS enthaltenen Prädiktanten. Typ: gibt an, mit welcher Methode
der Prädiktant gerechnet wird; Stat-Typ: zugrunde liegende Stationsliste (S=Synop,
T=Tawes); die drei LMDA Prädiktanten wconv, wfesns, wgew werden jeweils in zwei
Klassen vorhergesagt, wobei die Klasse 0 jeweils „Ereignis Nein“ und die Klasse 1 „Ereignis Ja“ repräsentiert. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
17
2.2 Übersicht der Vorhersagezeitschritt (VSZ) der einzelnen Prädiktanten. A: erster VSZ;
∆1 : Zeitschrittintervall bis B, ∆2 : Zeitschrittintervall bis C; C: letzter VSZ; in blau-kursiv:
„spezielle“ VSZ-Intervalle. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
19
2.3 Häufigkeit [%], mit welcher eine gewisse Anzahl an Prädiktoren (1 − 10) gewählt wurde. Die maximal erlaubte Anzahl Prädiktoren Kma x = 10, wodurch maximal 10 verschiedene Prädiktoren gewählt werden können. Diese Auswertung gilt für den 19.10.2011.
Datengrundlage: Gleichungssatz beider Saisonen, beider Modellstartzeiten und aller
Vorhersagezeitschritte. Die Tabelle 2.1 enthällt die Beschreibung der hier abgebildeten
Prädiktanten. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
23
2.4 Liste der abgeleiteten Prädiktanten. Typ A steht für abgeleitete Prädiktanten, K für kombinierte Prädiktanten. Eine Kombination von A und K ist ebenso möglich. . . . . . . . . .
29
2.5 Grenzwerte für die Grenzwertüberprüfung. Abgebildet sind die Grenzwerte Gu , Go sowie
K. Die Tabelle 2.1 beinhaltet die vollständige Beschreibungen der Prädiktanten . . . . . .
30
2.6 Bedingungen für den Konsistenzcheck der MLR Prädiktanten. Bei den Prädiktanten der
LMDA (pop, wsp) wurde eine bedingte Abhängigkeit definiert. Die Klasse mit dem höheren Schwellwert darf keine höhere Wahrscheinlichkeit besitzen als die Klassen mit den
tieferen Schwellwerten. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
31
2.7 Die Tabelle zeigt die Abstufung der Gewichtungsfunktion der beiden Jahreszeiten im
des A-UMOS in Zahlen (äquivalent zu Abbildung 2.7). Erste Zeile: Gültigkeitsbereich
(in julianischen Tagen) der Gewichtungsfaktoren (GF); zweite Zeile: GF für die kalte
Jahreszeit; dritte Zeile: GF für die warme Jahreszeit; letzte Zeile: Anzahl Tage des Gültigkeitsbereiches. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
32
2.8 zeigt die Verifikation des RMSE sowie die Verbesserung (Verb) des A-UMOS relativ zu
den anderen Modellen. Verb(RMSE)= 1 − RM S EA−U M OS /RM S E EC M W F beziehungsweise
Verb(RMSE)= 1 − RM S EA−U M OS /RM S EAUST ROM OS2 angegeben in [%]. Die Prädiktanten
ffx, siw, glo und dd10uv sind nicht aufgeführt, da keine äquivalenten Vorhersagen aus
den Referenzmodellen vorhanden sind. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
47
71
72
TABELLENVERZEICHNIS
2.10 zeigt die Gesamttrefferquote (PC in [%]) sowie den Brier-Score (BS in [0 − 1])
der Modelle. Aus Platzgründen abgekürzt: AU = A-UMOS, A2 = AUSTROMOS2,
Verb.= Verbesserung gegenüber den Modellen. Vergleich für PC gegen ECMWF und
AUSTROMOS2 möglich, wobei Verb(PC)= P CA−U M OS − P C EC M W F bez. Verbesserung=
P CA−U M OS − P CAUST ROM OS2 . Vergleich beim Brier-Score nur gegen AUSTROMOS2 möglich. Verb(BS)= 1 − BSA−U M OS /BSAUST ROM OS2 angegeben in [%]. Prädiktant aktww ist
nicht aufgeführt da, keine äquivalenten Vorhersagen aus den Referenzmodellen vorhanden sind. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
60
2.11 Verwendete Schwellwerte für die Prädiktorenselektion (s. Abschnitt 2.3.1) sowie für den
updateable Prozess (s. Abschnitt 2.6.2) der MLR Prädiktanten. s(I(CORR)) = Schwellwert (s) für Korrelation (s. Selektionsprozess); Ssng l = minimale Stichprobengrösse die
in der „alten“ MOS Modellversion vorhanden sein muss um im updateable Prozess berücksichtigt zu werden; Su /So = Schwellwerte für den updateable Prozess. . . . . . . . .
75
2.12 Verwendete Schwellwerte für die Prädiktorenselektion (s. Abschnitt 2.3.2) sowie für den
updateable Prozess (s. Abschnitt 2.6.2) der LMDA Prädiktanten. s(I(D2 )) = Schwellwert
(s) für Mahalanobis-Distanz (D2 , s. Selektionsprozess); nmin = minimale Stichprobengrösse der LMDA Gruppen (ist dies nicht gegeben wird die LMDA aus Stabilitätsgründen
nicht gerechnet); Ssng l = minimale Stichprobengrösse die in der „alten“ MOS Modellversion vorhanden sein muss um im updateable Prozess berücksichtigt zu werden; Su /So =
Schwellwerte für den updateable Prozess. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
76
2.13 Übersichtstabelle aller Verifikationsmasse der MLR Prädiktanten. Gehört zu Abschnitt
2.7.4 auf Seite 47. Die Erste Spalte gibt an, um welchen Prädiktanten sowie welchen
Lauf es sich handelt. Darauf folgt der Name des verifizierten Modells, danach Standardabweichung der Vorhersage sowie Standardabweichung der Beobachtung (σ ŷ ; σo , s.
Gleichung 2.27), BIAS = Bias (s. Gleichung 2.26), MAE = mittlerer absoluter Fehler (s.
Gleichung 2.28), RMSE = mittlerer quadratischer Fehler (s. Gleichung 2.29) sowie AVAIL
= Verfügbarkeit der Vorhersagen (s. Gleichung 2.25). Eine Erklärung zu den hier verwendeten Abkürzungen der Prädiktanten sowie deren Einheiten befindet sich in Tabelle
2.1. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
79
2.14 Übersicht aller Verifikationen der mittels LMDA klassifizierten Prädiktanten. Gehšrt zu
Abschnitt 2.7.7 auf Seite 60 Die erste Spalte gibt an, um welchen Prädiktanten sowie um
welchen Modellauf es sich handelt. Danach folgen: Avail = Verfügbarkeit, N = Anzahl
der Fälle die in den Score eingeflossen sind, PC = Gesamttrefferquote (s. Gleichung
2.43), BS = Brier Score (s. Gleichung 2.44), HIT = Hit-Rate „Ereignis Ja“ (s. Gleichung
2.39), FAR = False-Alarm-Rate „Ereignis JA“ (s. Gleichung 2.41) und Ratio = Verhältnis
zwischen Vorhersage „Ereignis Ja“ und Beobachtung „Ereignis Ja“ (s. Gleichung 2.42).
Eine Erklärung zu den hier verwendeten Abkürzungen der Prädiktanten befindet sich in
Tabelle 2.1. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
82
Literaturverzeichnis
Bjerknes, V., 1900: The dynamic principle of the circulatory movements in the atmosphere. Monthly
Weather Review, 28, 434.
Carter, G., 1986: Moving towards a more responsive statistical guidance system((for weather forecasting)). Conference on Weather Forecasting and Analysis.
Charney, J. G., R. FJÖRTOFT, and J. Neumann, 1950: Numerical integration of the barotropic vorticity
equation. Tellus, 2 (4), 237–254.
Glahn, H. R. and D. A. Lowry, 1972: The use of model output statistics (mos) in objective weather
forecasting. Journal of Applied Meteorology.
Hamill, T., J. S. Whitaker, and S. L. Mullen, 2006: Reforecasts. an important dataset for improving
weather predictions. Bull. Amer. Meteor. Soc., 87, 33–46.
Hastie, T., R. Tibshirani, and J. Friedman, 2003: The Elements of Statistical Learning: Data Mining,
Inference, and Prediction.
Klein, W., B. Lewis, and I. Enger, 1959: Objective prediction of five-day mean temperatures during
winter. Journal of Atmospheric Sciences, 16, 672–682.
Lorenz, E. N., 1963: Deterministic nonperiodic flow. Journal of Atmospheric Sciences, 20, 130.
Lorenz, E. N., 1972: Does the flap of a butterfly’s wings in brazil set off a tornado in texas? American
Association for the Advancement of Science, (139th meeting).
Müller, M. D., 2011: Effects of model resolution and statistical postprocessing on shelter temperature
and wind forecasts. J. Appl. Meteor. Climatol., 50 (8), 1627–1636.
Richardson, L. F., 1965: Weather Prediction by Numerical Process.
Schmeits, M. J., K. J. Kok, D. H. P. Vogelezang, and R. M. van Westrhenen, 2008: Probabilistic forecasts
of (severe) thunderstorms for the purpose of issuing a weather alarm in the netherlands. Weather
and forecasting, 23, 1253.
top500.org, 2011: Online 04.11.2011. Top 500 supercomputer sites. URL http://www.top500.
org/, URL http://www.top500.org/.
Tribbia, J. J. and R. A. Anthes, 1987: Scientific basis of modern weather prediction. Science, 237, 493.
Vannitsem, S., 2009: A unified linear model output statistics scheme for both deterministic and ensemble forecasts. Quarterly Journal of the Royal Meteorological Society, 135 (644), 1801–1815.
Vislocky, R. and G. Young, 1989: The use of perfect prog forecasts to improve model output statistics
forecasts of precipitation probability. Weather and forecasting.
73
74
LITERATURVERZEICHNIS
Wikimol, 2006: Online: 21.10.2011. Lorenz attractor – Wikipedia, the free encyclopedia. URL http:
//de.wikipedia.org/wiki/Lorenz-Attraktor, URL http://de.wikipedia.org/wiki/
Lorenz-Attraktor.
Wilks, D. D., 2006: Statistical Methods in the Atmospheric Sciences. 627+ pp.
Wilks, D. S., 2009: Extending logistic regression to provide full-probability-distribution mos forecasts.
Meteorological Applications, 16, 361.
Wilson, L. J. and M. Vallée, 2002: The canadian updateable model output statistics (UMOS) system:
Design and development tests. Weather and forecasting.
Wilson, L. J. and M. Vallée, 2003: The canadian updateable model output statistics (UMOS) system:
Validation against perfect prog. Weather and forecasting.
Anhang
Der Anhang enthält einige zusätzliche Informationen in Tabellenform. Entsprechende Verweise befinden sich im Hauptteil der Arbeit beziehungsweise in der Beschreibung der Tabelle.
Schwellwerte der MLR Prädiktorrenselektion
Prädiktant
S(I(CORR))
Ssng l
Su
So
spot
0.5%
300
50
300
rh
0.5%
300
50
300
mclo
1.0%
300
50
300
u10
1.0%
300
50
300
v10
1.0%
300
50
300
tclo
1.0%
300
50
300
ff10
1.0%
300
50
300
ffx
1.0%
300
50
300
td
0.5%
300
50
300
tmin
0.5%
300
50
300
tmax
0.5%
300
50
300
pre
1.0%
300
50
300
t5cm
0.5%
300
50
300
glo
1.0%
300
50
300
ssd
1.0%
300
50
300
siw
1.0 %
300
50
300
ssd
1.0%
300
50
300
Tabelle 2.11: Verwendete Schwellwerte für die Prädiktorenselektion (s. Abschnitt 2.3.1) sowie für den updateable
Prozess (s. Abschnitt 2.6.2) der MLR Prädiktanten. s(I(CORR)) = Schwellwert (s) für Korrelation (s. Selektionsprozess); Ssng l = minimale Stichprobengrösse die in der „alten“ MOS Modellversion vorhanden sein muss um im
updateable Prozess berücksichtigt zu werden; Su /So = Schwellwerte für den updateable Prozess.
Schwellwerte LMDA Prädiktorrenselektion/updateable Prozess
Prädiktant
I(D2 )
nmin
Ssng l
Su
Su
pop1
20%
5
200
100
200
pop2
20%
5
200
100
200
pop3
20%
5
200
100
200
pop4
20%
5
200
100
200
75
76
Prädiktant
I(D2 )
nmin
Ssng l
Su
Su
pop5
20%
5
200
100
200
aktww1
20%
5
200
100
200
aktww2
20%
5
200
100
200
aktww3
20%
5
200
100
200
aktww4
20%
5
200
100
200
aktww5
5%
5
200
100
200
aktww6
5%
5
200
100
200
aktww7
20%
5
200
100
200
aktww8
20%
5
200
100
200
aktww9
20%
5
200
100
200
aktww10
20%
5
200
100
200
wsp1
20%
5
200
100
200
wsp2
20%
5
200
100
200
wsp3
20%
5
200
100
200
wconv
15%
5
200
100
200
wfesns
20%
5
200
100
200
wgew
20%
5
200
100
200
Tabelle 2.12: Verwendete Schwellwerte für die Prädiktorenselektion (s. Abschnitt 2.3.2) sowie für den updateable
Prozess (s. Abschnitt 2.6.2) der LMDA Prädiktanten. s(I(D2 )) = Schwellwert (s) für Mahalanobis-Distanz (D2 , s.
Selektionsprozess); nmin = minimale Stichprobengrösse der LMDA Gruppen (ist dies nicht gegeben wird die LMDA
aus Stabilitätsgründen nicht gerechnet); Ssng l = minimale Stichprobengrösse die in der „alten“ MOS Modellversion vorhanden sein muss um im updateable Prozess berücksichtigt zu werden; Su /So = Schwellwerte für den
updateable Prozess.
77
Detaillierte Verifikationsmasse der MLR Prädiktanten
Prädiktant/Lauf
Modell
σ ŷ
σo
BIAS
MAE
RMSE
CORR
AVAIL
A-UMOS
—
—
—
—
—
—
—
dd10uv 00Z
AUSTROMOS2
—
—
—
—
—
—
—
[0 − 359◦ ]
ECMWF
—
—
—
—
—
—
—
A-UMOS
17.86
21.78
0.12
8.63
12.80
0.81
98.90
—
—
—
—
—
—
—
ff10 00Z
AUSTROMOS2
[1/10 m s−1 ]
ECMWF
39.51
21.76
61.33
62.26
72.04
0.35
100.00
A-UMOS
33.76
40.57
0.50
16.97
23.45
0.82
98.60
ffx 00Z
AUSTROMOS2
—
—
—
—
—
—
—
[1/10 m s−1 ]
ECMWF
—
—
—
—
—
—
—
A-UMOS
213.50
239.77
-0.86
59.57
106.04
0.90
59.70
glo 00Z
AUSTROMOS2
—
—
—
—
—
—
—
[W m−2 ]
ECMWF
—
—
—
—
—
—
—
A-UMOS
1.87
2.92
-0.23
1.82
2.29
0.63
11.80
—
—
—
—
—
—
—
mclotclo 00Z
AUSTROMOS2
[0/8 − 8/8]
ECMWF
3.16
2.95
-1.55
2.85
3.84
0.34
100.00
A-UMOS
14.56
25.60
0.25
8.71
21.91
0.52
95.20
—
—
—
—
—
—
—
pre 00Z
AUSTROMOS2
[1/10 mm]
ECMWF
22.41
25.78
2.25
9.54
26.60
0.40
96.10
A-UMOS
14.41
17.40
-0.14
7.33
9.93
0.82
98.90
—
—
—
—
—
—
—
rhtd 00Z
AUSTROMOS2
[0 − 100%]
ECMWF
16.82
17.39
-1.96
11.24
15.05
0.62
100.00
A-UMOS
25.50
129.78
176.78
3.69
86.73
121.46
0.73
siw 00Z
AUSTROMOS2
—
—
—
—
—
—
—
[1/10 km]
ECMWF
—
—
—
—
—
—
—
A-UMOS
91.03
93.69
0.65
15.54
20.78
0.98
98.90
—
—
—
—
—
—
—
spot 00Z
AUSTROMOS2
[1/10 ◦ C]
ECMWF
93.42
93.70
-15.80
31.09
39.95
0.92
100.00
A-UMOS
12.03
15.08
0.12
5.59
8.86
0.81
68.40
—
—
—
—
—
—
—
ssd 00Z
AUSTROMOS2
[1/10 h]
ECMWF
15.21
13.73
1.53
5.01
10.42
0.75
100.00
A-UMOS
102.53
106.63
0.26
21.82
31.10
0.96
85.20
—
—
—
—
—
—
—
t5cm 00Z
AUSTROMOS2
[1/10 ◦ C]
ECMWF
106.11
106.93
-36.81
46.05
61.79
0.89
100.00
A-UMOS
1.92
2.85
-0.05
1.60
2.10
0.67
14.40
—
—
—
—
—
—
—
tclo 00Z
AUSTROMOS2
[0/8 − 8/8]
ECMWF
3.23
2.86
-0.31
1.98
2.94
0.54
100.00
A-UMOS
81.48
83.61
-0.23
14.52
19.77
0.97
98.80
—
—
—
—
—
—
—
tdrh 00Z
AUSTROMOS2
[1/10 ◦ C]
ECMWF
88.12
83.65
-17.80
29.45
38.37
0.92
100.00
A-UMOS
95.99
98.26
3.40
16.80
22.60
0.97
98.90
—
—
—
—
—
—
—
tmax 00Z
AUSTROMOS2
[1/10 ◦ C]
ECMWF
96.04
98.29
-35.48
43.94
54.17
0.91
100.00
A-UMOS
83.35
85.49
-1.60
14.80
20.11
0.97
98.90
—
—
—
—
—
—
—
tmin 00Z
AUSTROMOS2
[1/10 ◦ C]
ECMWF
89.49
85.47
-0.64
31.07
39.50
0.90
100.00
A-UMOS
17.29
22.22
0.12
9.44
13.92
0.78
98.60
—
—
—
—
—
—
—
u10 00Z
AUSTROMOS2
78
Prädiktant/Lauf
Modell
σ ŷ
σo
BIAS
MAE
RMSE
CORR
AVAIL
[1/10 m s−1 ]
ECMWF
20.27
22.19
1.93
15.85
21.97
0.47
100.00
A-UMOS
15.81
20.44
0.12
8.30
12.91
0.78
98.40
—
—
—
—
—
—
—
v10 00Z
AUSTROMOS2
[1/10 m s−1 ]
ECMWF
22.38
20.39
-1.05
17.21
23.21
0.42
100.00
A-UMOS
—
—
—
—
—
—
—
dd10uv 12Z
AUSTROMOS2
—
—
—
—
—
—
—
[0 − 359◦ ]
ECMWF
—
—
—
—
—
—
—
98.90
A-UMOS
17.91
21.78
0.16
8.73
12.99
0.80
ff10 12Z
AUSTROMOS2
21.57
21.70
2.25
13.43
21.64
0.51
29.00
[1/10 m s−1 ]
ECMWF
39.53
21.76
61.05
62.00
71.81
0.35
100.00
A-UMOS
33.90
40.57
0.62
17.16
23.76
0.81
98.60
ffx 12Z
AUSTROMOS2
—
—
—
—
—
—
—
[1/10 m s−1 ]
ECMWF
—
—
—
—
—
—
—
A-UMOS
213.22
239.83
-0.82
60.82
107.65
0.89
59.80
glo 12Z
AUSTROMOS2
—
—
—
—
—
—
—
[W m−2 ]
ECMWF
—
—
—
—
—
—
—
11.90
A-UMOS
1.88
2.92
-0.22
1.83
2.30
0.62
mclotclo 12Z
AUSTROMOS2
2.93
2.94
-1.82
2.59
3.60
0.44
12.10
[0/8 − 8/8]
ECMWF
3.15
2.95
-1.58
2.88
3.87
0.33
100.00
94.70
A-UMOS
13.70
25.55
0.73
8.26
21.24
0.56
pre 12Z
AUSTROMOS2
36.27
25.21
10.16
15.67
39.08
0.29
44.20
[1/10 mm]
ECMWF
22.44
25.87
2.21
9.48
26.41
0.41
95.70
98.90
A-UMOS
14.53
17.40
-0.27
7.44
10.08
0.82
rhtd 12Z
AUSTROMOS2
16.25
17.59
-0.27
9.17
12.50
0.73
28.90
[0 − 100%]
ECMWF
16.86
17.40
-1.80
11.20
15.02
0.62
100.00
A-UMOS
129.93
176.57
5.18
88.10
122.96
0.72
25.50
siw 12Z
AUSTROMOS2
131.02
181.29
-29.95
102.58
148.75
0.61
12.20
[1/10 km]
ECMWF
—
—
—
—
—
—
—
98.90
A-UMOS
91.06
93.65
0.90
15.77
21.25
0.97
spot 12Z
AUSTROMOS2
87.30
92.75
6.28
18.06
24.45
0.97
28.90
[1/10 ◦ C]
ECMWF
93.31
93.67
-16.07
31.18
40.01
0.92
100.00
A-UMOS
12.10
15.08
0.18
5.62
8.89
0.81
68.50
—
—
—
—
—
—
—
ssd 12Z
AUSTROMOS2
[1/10 h]
ECMWF
15.28
13.73
1.57
5.03
10.45
0.75
100.00
A-UMOS
103.12
106.63
0.02
22.57
32.49
0.95
85.30
—
—
—
—
—
—
—
t5cm 12Z
AUSTROMOS2
[1/10 ◦ C]
ECMWF
105.80
106.91
-36.74
45.93
61.68
0.89
100.00
14.30
A-UMOS
1.92
2.85
-0.05
1.60
2.11
0.67
tclo 12Z
AUSTROMOS2
2.79
2.86
-0.44
1.85
2.68
0.56
13.00
[0/8 − 8/8]
ECMWF
3.23
2.87
-0.30
2.00
2.96
0.54
100.00
98.70
A-UMOS
81.76
83.54
-0.17
14.62
20.12
0.97
tdrh 12Z
AUSTROMOS2
79.86
82.15
7.62
19.81
28.41
0.94
28.90
[1/10 ◦ C]
ECMWF
88.41
83.61
-17.77
29.29
38.20
0.92
100.00
99.00
A-UMOS
96.17
98.46
3.53
16.60
22.49
0.97
tmax 12Z
AUSTROMOS2
93.58
100.09
8.77
21.20
28.14
0.96
25.60
[1/10 ◦ C]
ECMWF
95.96
98.48
-37.34
45.26
55.36
0.91
100.00
A-UMOS
83.48
86.63
-1.61
15.47
21.06
0.97
99.00
AUSTROMOS2
74.76
80.91
4.06
17.26
23.57
0.96
20.40
tmin 12Z
79
Prädiktant/Lauf
Modell
σ ŷ
σo
BIAS
MAE
RMSE
CORR
AVAIL
[1/10 ◦ C]
ECMWF
89.47
86.61
-3.04
30.94
39.37
0.90
100.00
A-UMOS
17.25
22.21
0.10
9.44
13.94
0.78
98.60
—
—
—
—
—
—
—
u10 12Z
AUSTROMOS2
[1/10 m s−1 ]
ECMWF
20.14
22.19
1.77
15.77
21.89
0.47
100.00
A-UMOS
15.83
20.44
0.10
8.28
12.89
0.78
98.40
—
—
—
—
—
—
—
22.43
20.39
-1.15
17.21
23.22
0.42
100.00
v10 12Z
AUSTROMOS2
[1/10 m s−1 ]
ECMWF
Tabelle 2.13: Übersichtstabelle aller Verifikationsmasse der MLR Prädiktanten. Gehört zu Abschnitt 2.7.4 auf
Seite 47. Die Erste Spalte gibt an, um welchen Prädiktanten sowie welchen Lauf es sich handelt. Darauf folgt
der Name des verifizierten Modells, danach Standardabweichung der Vorhersage sowie Standardabweichung der
Beobachtung (σ ŷ ; σo , s. Gleichung 2.27), BIAS = Bias (s. Gleichung 2.26), MAE = mittlerer absoluter Fehler (s.
Gleichung 2.28), RMSE = mittlerer quadratischer Fehler (s. Gleichung 2.29) sowie AVAIL = Verfügbarkeit der
Vorhersagen (s. Gleichung 2.25). Eine Erklärung zu den hier verwendeten Abkürzungen der Prädiktanten sowie
deren Einheiten befindet sich in Tabelle 2.1.
Detaillierte Verifikationsmasse der LMDA Prädiktanten
Prädiktant/Lauf
pop1 00UTC
pop2 00UTC
pop3 00UTC
pop4 00UTC
pop5 00UTC
aktww1 00UTC
aktww2 00UTC
aktww3 00UTC
aktww4 00UTC
Modell
Avail
N
PC
BS
HIT
FAR
Ratio
A-UMOS
99.27
1748193
81.52
0.1333
39.80
29.37
-43.65
AUSTROMOS2
0.00
0
—
—
—
—
—
ECMWF
96.07
1680155
67.04
—
84.86
58.37
103.82
A-UMOS
99.26
1748007
89.42
0.0835
26.94
34.11
-59.12
AUSTROMOS2
0.00
0
—
—
—
—
—
ECMWF
96.07
1680185
82.19
—
62.45
62.74
67.61
A-UMOS
98.74
1738727
96.05
0.0340
21.14
45.26
-61.37
AUSTROMOS2
0.00
0
—
—
—
—
—
ECMWF
96.07
1680480
94.05
—
34.98
68.62
11.45
A-UMOS
83.64
1460774
98.15
0.0168
13.05
49.52
-74.15
AUSTROMOS2
0.00
0
—
—
—
—
—
ECMWF
96.07
1678168
97.80
—
20.22
73.83
-22.72
A-UMOS
44.14
757160
99.26
0.0072
0.86
61.90
-97.73
AUSTROMOS2
0.00
0
—
—
—
—
—
ECMWF
96.07
1668951
99.54
—
5.97
83.95
-62.82
A-UMOS
0.00
0
—
—
—
—
—
AUSTROMOS2
0.00
0
—
—
—
—
—
ECMWF
0.00
0
—
—
—
—
—
A-UMOS
0.00
0
—
—
—
—
—
AUSTROMOS2
0.00
0
—
—
—
—
—
ECMWF
0.00
0
—
—
—
—
—
A-UMOS
0.00
0
—
—
—
—
—
AUSTROMOS2
0.00
0
—
—
—
—
—
ECMWF
0.00
0
—
—
—
—
—
A-UMOS
1.56
21758
94.12
0.0455
17.83
43.33
-68.54
AUSTROMOS2
0.00
0
—
—
—
—
—
ECMWF
0.00
0
—
—
—
—
—
80
Prädiktant/Lauf
aktww5 00UTC
aktww6 00UTC
aktww7 00UTC
aktww8 00UTC
aktww9 00UTC
aktww10 00UTC
wsp1 00UTC
wsp2 00UTC
wsp3 00UTC
wgew 00UTC
wconv 00UTC
wfesns 00UTC
pop1 12UTC
pop2 12UTC
pop3 12UTC
pop4 12UTC
Modell
Avail
N
PC
BS
HIT
FAR
Ratio
A-UMOS
2.31
30510
58.14
0.2276
23.39
28.51
-67.28
AUSTROMOS2
0.00
0
—
—
—
—
—
ECMWF
0.00
0
—
—
—
—
—
A-UMOS
2.10
28629
95.14
0.0430
2.01
49.09
-96.05
AUSTROMOS2
0.00
0
—
—
—
—
—
ECMWF
0.00
0
—
—
—
—
—
A-UMOS
2.32
30616
83.36
0.1128
21.12
37.38
-66.27
AUSTROMOS2
0.00
0
—
—
—
—
—
ECMWF
0.00
0
—
—
—
—
—
A-UMOS
2.32
30603
75.87
0.1452
27.85
23.17
-63.75
AUSTROMOS2
0.00
0
—
—
—
—
—
ECMWF
0.00
0
—
—
—
—
—
A-UMOS
2.31
30580
81.71
0.1289
16.00
38.24
-74.09
AUSTROMOS2
0.00
0
—
—
—
—
—
ECMWF
0.00
0
—
—
—
—
—
A-UMOS
1.34
18186
97.63
0.0213
1.18
70.59
-95.99
AUSTROMOS2
0.00
0
—
—
—
—
—
ECMWF
0.00
0
—
—
—
—
—
A-UMOS
63.97
1729218
97.14
0.0238
42.74
35.68
-33.56
AUSTROMOS2
0.00
0
—
—
—
—
—
ECMWF
100.00
2710302
95.36
—
30.67
81.63
66.92
A-UMOS
21.52
568960
98.08
0.0165
37.57
31.77
-44.94
AUSTROMOS2
0.00
0
—
—
—
—
—
ECMWF
100.00
2683305
99.20
—
8.07
88.98
-26.79
A-UMOS
8.55
225036
98.51
0.0132
39.25
42.48
-31.77
AUSTROMOS2
0.00
0
—
—
—
—
—
ECMWF
100.00
2677483
99.84
—
1.85
87.52
-85.20
A-UMOS
7.86
83175
97.18
0.0240
11.99
52.73
-74.64
AUSTROMOS2
0.00
0
—
—
—
—
—
ECMWF
0.00
0
—
—
—
—
—
A-UMOS
15.20
252539
91.01
0.0661
23.03
44.22
-58.72
AUSTROMOS2
0.00
0
—
—
—
—
—
ECMWF
0.00
0
—
—
—
—
—
A-UMOS
11.45
121568
86.74
0.0901
57.76
35.72
-10.14
AUSTROMOS2
0.00
0
—
—
—
—
—
ECMWF
0.00
0
—
—
—
—
—
A-UMOS
99.27
1747191
81.68
0.1322
41.27
29.64
-41.34
AUSTROMOS2
34.56
608704
77.95
0.1588
71.27
46.92
34.26
ECMWF
95.62
1671077
67.01
—
84.71
58.35
103.37
A-UMOS
99.25
1746857
89.43
0.0826
28.96
35.46
-55.14
AUSTROMOS2
34.34
604885
85.26
0.1039
59.38
58.14
41.85
ECMWF
95.62
1671098
82.42
—
62.75
62.19
65.96
A-UMOS
98.78
1738503
96.06
0.0334
23.03
45.40
-57.82
AUSTROMOS2
0.00
0
—
—
—
—
—
ECMWF
95.62
1671360
94.04
—
35.65
68.33
12.58
A-UMOS
84.98
1483781
98.17
0.0162
17.89
50.16
-64.10
AUSTROMOS2
34.31
604878
96.39
0.0344
34.84
84.35
122.66
ECMWF
95.62
1668692
97.82
—
21.80
72.29
-21.32
A-UMOS
51.27
888261
99.29
0.0068
3.54
56.35
-91.90
81
Prädiktant/Lauf
Modell
Avail
N
PC
BS
HIT
FAR
Ratio
pop5 12UTC
AUSTROMOS2
0.00
0
—
—
—
—
—
ECMWF
95.62
1659052
99.55
—
7.25
79.83
-64.03
A-UMOS
0.00
0
—
—
—
—
—
AUSTROMOS2
0.00
0
—
—
—
—
—
ECMWF
0.00
0
—
—
—
—
—
A-UMOS
0.00
0
—
—
—
—
—
AUSTROMOS2
0.00
0
—
—
—
—
—
ECMWF
0.00
0
—
—
—
—
—
A-UMOS
0.00
0
—
—
—
—
—
AUSTROMOS2
0.00
0
—
—
—
—
—
ECMWF
0.00
0
—
—
—
—
—
A-UMOS
1.55
21616
94.15
0.0455
18.24
42.52
-68.27
AUSTROMOS2
0.00
0
—
—
—
—
—
ECMWF
0.00
0
—
—
—
—
—
A-UMOS
2.31
30424
59.32
0.2238
25.20
25.87
-66.01
AUSTROMOS2
0.00
0
—
—
—
—
—
ECMWF
0.00
0
—
—
—
—
—
A-UMOS
2.10
28600
95.08
0.0439
3.10
41.33
-94.72
AUSTROMOS2
0.00
0
—
—
—
—
—
ECMWF
0.00
0
—
—
—
—
—
A-UMOS
2.32
30553
83.27
0.1141
22.06
36.91
-65.03
AUSTROMOS2
0.00
0
—
—
—
—
—
ECMWF
0.00
0
—
—
—
—
—
A-UMOS
2.32
30535
75.76
0.1445
27.47
24.05
-63.82
AUSTROMOS2
0.00
0
—
—
—
—
—
ECMWF
0.00
0
—
—
—
—
—
A-UMOS
2.32
30535
81.68
0.1299
15.97
37.75
-74.35
AUSTROMOS2
0.00
0
—
—
—
—
—
ECMWF
0.00
0
—
—
—
—
—
A-UMOS
1.36
18405
97.67
0.0209
3.75
51.52
-92.27
AUSTROMOS2
0.00
0
—
—
—
—
—
aktww1 12UTC
aktww2 12UTC
aktww3 12UTC
aktww4 12UTC
aktww5 12UTC
aktww6 12UTC
aktww7 12UTC
aktww8 12UTC
aktww9 12UTC
aktww10 12UTC
wsp1 12UTC
wsp2 12UTC
wsp3 12UTC
wgew 12UTC
wconv 12UTC
wfesns 12UTC
ECMWF
0.00
0
—
—
—
—
—
A-UMOS
64.20
1734032
97.17
0.0236
42.84
35.13
-33.96
AUSTROMOS2
21.87
592561
93.35
0.0527
65.99
77.25
190.10
ECMWF
100.00
2708096
95.42
—
30.80
81.25
64.29
A-UMOS
21.64
572377
98.12
0.0162
38.09
31.31
-44.54
AUSTROMOS2
0.00
0
—
—
—
—
—
ECMWF
100.00
2683012
99.21
—
7.85
89.09
-28.10
A-UMOS
8.61
226684
98.53
0.0130
39.43
42.41
-31.52
AUSTROMOS2
0.00
0
—
—
—
—
—
ECMWF
100.00
2676106
99.84
—
1.64
89.11
-84.94
A-UMOS
7.87
83293
97.15
0.0240
13.15
54.35
-71.19
AUSTROMOS2
3.47
29796
92.38
0.0613
20.88
89.81
104.99
ECMWF
0.00
0
—
—
—
—
—
A-UMOS
15.21
252571
90.98
0.0659
22.56
44.54
-59.33
AUSTROMOS2
9.87
120980
82.15
0.1311
51.76
80.40
164.08
ECMWF
0.00
0
—
—
—
—
—
A-UMOS
11.48
121782
86.88
0.0895
57.43
35.52
-10.94
AUSTROMOS2
17.07
121435
88.61
0.0801
54.59
55.18
21.78
82
Prädiktant/Lauf
Modell
Avail
N
PC
BS
HIT
FAR
Ratio
ECMWF
0.00
0
—
—
—
—
—
Tabelle 2.14: Übersicht aller Verifikationen der mittels LMDA klassifizierten Prädiktanten. Gehšrt zu Abschnitt
2.7.7 auf Seite 60 Die erste Spalte gibt an, um welchen Prädiktanten sowie um welchen Modellauf es sich handelt.
Danach folgen: Avail = Verfügbarkeit, N = Anzahl der Fälle die in den Score eingeflossen sind, PC = Gesamttrefferquote (s. Gleichung 2.43), BS = Brier Score (s. Gleichung 2.44), HIT = Hit-Rate „Ereignis Ja“ (s. Gleichung 2.39),
FAR = False-Alarm-Rate „Ereignis JA“ (s. Gleichung 2.41) und Ratio = Verhältnis zwischen Vorhersage „Ereignis
Ja“ und Beobachtung „Ereignis Ja“ (s. Gleichung 2.42). Eine Erklärung zu den hier verwendeten Abkürzungen der
Prädiktanten befindet sich in Tabelle 2.1.
83
84
Danksagung
Ich bin kein Freund grosser Worte, eine Danksagung ist an dieser Stelle aber definitiv angebracht.
Zuerst möchte ich mich bei meinem Betreuer Georg Mayr und meinem Projektmittarbeiter Johannes
Vergeiner herzlichst bedanken, die mich im Jahre 2009 an Bord des Projektes geholt haben. Als noch
„unerfahrener“ Meteorologe und Programmierer ist dies nicht selbstverständlich!
Obwohl - oder eben weil der Weg bis zu dieser Arbeit oft sehr arbeitsintensiv und aufreibend war, durfte
und konnte ich sehr viel dabei lernen. Ein spezielles Dankeschön gilt hier vor allem dem Team aus dem
„9. Stock“ (namentlich Felix, Georg, Jakob, Jo und Susanne), welche mich fachlich und mental immer
supportet haben. Ohne eine solch nette Arbeitsatmosphäre wären das Ganze nicht denkbar gewesen.
Ebenso gilt das Dankeschön natürlich meiner Familie, meinen KollegInnen und MitstudentInnen, die
mir den Rücken in so manch einer Situation frei gehalten haben und mit welchen über die vergangenen
zwei Jahre der eine oder andere Sack gerösteter Kaffeebohnen seiner Bestimmung zugeführt wurde.

- ACINN - Universität Innsbruck

Transcription

Similar documents

2005-658 „Entwicklung von Mess-und Berechnungsverfahren zur

Clusterbildung von seismischen Signalen mittels Principal

Folder - Kulturvermittlung Steiermark

Leadframe-Bearbeitung - PINK GmbH Thermosysteme