So funktioniert unser Polarlicht-Score

Wie wir ihn entwickelt haben

Allsky-Kameras in Kilpisjärvi und Sodankylä in Finnland und in Abisko in Schweden haben mehr als zehn Winter lang den Himmel fotografiert. Das Finnische Meteorologische Institut betreibt die Kamera in Kilpisjärvi, das Geophysikalische Observatorium Sodankylä der Universität Oulu die beiden anderen. Das Finnische Meteorologische Institut hat veröffentlicht, wie hell die Polarlichter in diesen Aufnahmen waren, gemittelt über den Himmel oberhalb jeder Kamera. Aus diesen Aufnahmen haben wir ermittelt, wie viel Polarlicht du bei jeder Mischung aus Polarlichtaktivität, Dunkelheit und Mondlicht sehen kannst.

Für die Bewölkung haben wir archivierte Vorhersagen von MET Norway aus mehreren Jahren mit dem verglichen, was die Allsky-Kameras in Tromsø und Skibotn in 818 Nächten gesehen haben. So sehen wir, wie oft Polarlichter noch zu sehen sind, wenn die Vorhersage zum Beispiel tiefe Wolken über der Hälfte des Himmels meldet.

Im Score berechnet das Modell zuerst deine Chance, in dieser Stunde Polarlichter mit eigenen Augen zu sehen. Dann rechnet der Score ein, wie hell sie sein dürften. Um die Methode zu prüfen, haben wir diese Chance getestet. Wir haben das Modell elfmal neu berechnet, jedes Mal ohne einen Winter, und es dann die dunklen, mondlosen Stunden dieses Winters vorhersagen lassen. Verglichen haben wir es mit der einfachsten Vorhersage, die uns einfiel, einer festen Zahl. In den übrigen Wintern sahen die Kameras in etwa der Hälfte der dunklen, mondlosen Stunden Polarlichter, also sagt diese Vorhersage für jede Stunde „etwa 50 %“. Der Fehler des Modells, gemessen als Log-Loss (das übliche Maß für Vorhersagen von Wahrscheinlichkeiten), war 36 % geringer als der dieser festen Zahl. Auf je 100 Polarlichtstunden, die das Modell erwartet hatte, zeichneten die Kameras 93 auf.

Spitzbergen liegt unter der Polkappe, wo sich Polarlichter anders verhalten und in der Polarnacht auch mittags leuchten können. Dort hat der Score eine eigene Kurve, auf Grundlage von Kameraaufnahmen aus Spitzbergen. Alle Quellen, die wir genutzt haben, stehen auf unserer Seite zu den Datenquellen (auf Englisch).

Warum Kp allein nicht reicht

Nordnorwegen liegt unter dem Polarlichtoval, der üblichen Bahn der Polarlichter, deshalb können sie schon bei Kp 1 oder 2 direkt über dir stehen. Ob du sie siehst, hängt öfter von Bewölkung, Dunkelheit, Mondlicht und Lichtverschmutzung ab als vom Kp-Wert, und derselbe Kp ergibt an verschiedenen Spots sehr unterschiedliche Scores. Hier sind unsere Scores an drei Spots, mit dem Kp als einzigem Maß für die Polarlichtaktivität. Die Nacht ist klar und dunkel, ohne Mondlicht, Mitte Dezember um 22:30 Uhr norwegischer Zeit:

• Finnvikdalen bei Tromsø kommt auf etwa 24 bei Kp 1, 82 bei Kp 3 und 95 bei Kp 5.
• Tromsø-Zentrum, mit der Lichtverschmutzung der Stadt, kommt auf etwa 24 bei Kp 3 und 49 bei Kp 5.
• Løpsmarka bei Bodø, weiter südlich, kommt auf etwa 4 bei Kp 1 und 70 bei Kp 3.

Bei unseren Nachrechnungen an den Allsky-Kameras traf die Bewölkung allein die Stunde mit Polarlichtern etwa so oft wie die Polarlichtaktivität allein, in 78 und 77 von 100 Fällen. Der Kp-Wert allein schaffte das in 71 von 100 Fällen. Das Modell, das beides abwägt, schaffte das in 89 von 100 Fällen.

Wie er im Vergleich abschneidet

Wir haben vergangene Winter an Allsky-Kameras in Finnland, Schweden und Norwegen nachgerechnet, mit den Daten, die der Score damals gehabt hätte. Dann haben wir das Modell mit einfacheren Arten verglichen, Polarlichter vorherzusagen. Für jeden Winter haben wir das Modell und jede einfachere Vorhersage ohne diesen Winter neu berechnet und sie dann diesen Winter vorhersagen lassen. Die meisten Vergleiche unten nutzen wie die Prüfung oben die Chance des Modells, Polarlichter zu sehen. Die Benachrichtigungen nutzen den Score selbst.

• Welche Nächte sich zum Rausgehen lohnen. Wir haben 787 Nächte aus sieben Wintern an drei der Kameras ausgewertet. Jede Methode bewertete jede Nacht mit dem, was sie um 18:00 Uhr wusste. Dann haben wir gezählt, wie oft die Kameras in den am höchsten bewerteten Nächten Polarlichter sahen. Insgesamt sahen die Kameras in etwa einer von vier Nächten Polarlichter. Von den Nächten im obersten Fünftel des Modells sahen sie in 54 % Polarlichter, im obersten Zehntel in 64 %. Von den Nächten im obersten Fünftel der Kp-Vorhersage der NOAA sahen sie in 25 % Polarlichter, etwa so oft wie in einer beliebigen Nacht. Eine Regel aus Kp und der Wolkenvorhersage von MET Norway kam mit 50 % näher an das Modell heran. Für die Nächte vor dem Frühjahr 2022 haben wir die Vorhersage der NOAA aus ihren bekannten Fehlern nachgebildet, weil wir kein Archiv der damals ausgegebenen Vorhersagen gefunden haben.
• Im Vergleich zu Kp allein. Wir haben das Modell mit einer Vorhersage aus Kp-Index und Uhrzeit verglichen. Über 6.716 klare Stunden in 1.072 Nächten war der Fehler des Modells (Log-Loss) etwa 30 % geringer (0,33 gegenüber 0,48), und das in jedem der 12 Winter. Etwa zwei Drittel dieses Gewinns kamen von der aktuellen Messung der Magnetometer, der Rest davon, wie das Modell Mondlicht und Dämmerung behandelt. In dunklen, mondlosen Stunden war der Fehler des Modells etwa 24 % geringer, und etwa 95 % dieses Gewinns kamen von den Magnetometern. Sie stehen bei den Kameras oder in ihrer Nähe, deshalb kann der Gewinn an einem weiter entfernten Spot kleiner sein.
• Wo Kp danebenliegt. Bei Kp 1 oder weniger sahen die Kameras in 11 % der Stunden Polarlichter. Die Vorhersage nur aus dem Kp gab im Schnitt 28 %, unser Modell 21 %. Mit einem hellen Mond hoch am Himmel sahen die Kameras in 32 % der Stunden Polarlichter. Die Kp-Vorhersage gab 50 %, unser Modell 35 %. Bei hoher Aktivität, ab Kp 4, sahen die Kameras in 98 % der Stunden Polarlichter. Die Kp-Vorhersage gab 86 %, unser Modell 95 %.
• Im Vergleich zu Kp und Wolkenvorhersage. Wenn wir eine Stunde mit sichtbaren Polarlichtern und eine ohne nahmen, stufte das Modell die richtige Stunde in 89 von 100 Fällen höher ein. Eine Vorhersage aus Kp und derselben Wolkenvorhersage schaffte das in 83 von 100 Fällen (AUC 0,890 gegenüber 0,825, über 13.693 Stunden). Das Modell schnitt in jedem der 7 Winter mit archivierten Wolkenvorhersagen besser ab. Ohne die Magnetometer erkannte das Modell immer noch besser, in welchen Stunden Polarlichter am wahrscheinlichsten waren. Die Chancen, die es als Zahlen angab, waren aber ungenauer als die der einfacheren Vorhersage.
• Benachrichtigungen. Dieser Vergleich nutzt Winter, mit denen der Score entwickelt wurde, und lässt den Score deshalb besser aussehen. Bei der Nachrechnung an der Allsky-Kamera in Tromsø kam „Gute Chancen heute Nacht“ (ein Score von 60 oder mehr) etwa 27-mal pro Saison. Auf 9 von 10 dieser Benachrichtigungen folgten Polarlichter auf der Kamera, in derselben Stunde oder den zwei Stunden danach. Einfachere Regeln lagen seltener richtig. „Kp 3 oder mehr, mit tiefen und mittelhohen Wolken unter 50 %“ lag in 7 von 10 Fällen richtig und „Kp 4 oder mehr“ in 8 von 10. Eine Benachrichtigung, die nur auf Monat und Uhrzeit schaut, lag in 4 von 10 Fällen richtig. In zwei von drei Nächten, in denen die Kamera in einer dunklen, klaren Stunde Polarlichter sah, kam keine Benachrichtigung. Die Kamera nimmt schwächere Polarlichter auf, als deine Augen sehen können.
• Bewölkung. So wie der Score die Wolkenvorhersage von MET Norway liest, findet er klare Stunden besser als der Gesamtbedeckungsgrad der Vorhersage (AUC 0,803 gegenüber 0,738). Das haben wir über etwa 150.000 dunkle Stunden an sieben Flughäfen und drei Kamerastandorten geprüft. Der Gewinn kommt vor allem davon, wie er dünne hohe Wolken behandelt. Nachts verzeichnen Wettermeldungen dünne hohe Wolken nur selten. Ein Teil dieses Gewinns könnte deshalb daran liegen, wie die Meldungen entstehen. In Stunden mit wenigen hohen Wolken lagen die beiden nah beieinander (0,806 gegenüber 0,797).
• Im Vergleich zum OVATION-Modell der NOAA. Viele Polarlicht-Apps zeigen die Chance aus OVATION, dass Polarlichter direkt über dir stehen. Diesen Vergleich konnten wir nicht nachrechnen, weil die NOAA die früheren OVATION-Werte nicht aufbewahrt und in öffentlichen Archiven nur wenige Dateien ab 2020 erhalten sind. Der Test in diesem Winter zieht diesen Vergleich Stunde für Stunde, in klaren, dunklen, mondlosen Stunden, mit dem OVATION-Wert, den der Score in der jeweiligen Stunde gelesen hat.

Zwei Teile haben wir nicht für jeden Winter neu berechnet. Die Teile für Mond und Dämmerung wurden an denselben Kameras angepasst, die Auswertung der Wolkenvorhersage an zwei anderen Kameras in denselben Wintern. Ohne den jeweiligen Winter neu berechnet, ergab die Auswertung der Wolkenvorhersage dasselbe Ergebnis. Der Test in diesem Winter bleibt das fairste Maß.

Wie wir ihn testen

Wir haben den Testplan vor der Saison 2026/27 festgehalten, mit Zeitstempeln, die jeder prüfen kann. Der Test läuft von der Nacht des 10. Oktober 2026 bis zur Nacht des 30. April 2027. Die Modellparameter bleiben in dieser Zeit unverändert, abgesehen von Korrekturen, die der Plan im Voraus erlaubt. Die Vorhersagen werden weiter mit neuen Daten aktualisiert.

Der Test nutzt die Allsky-Kameras in Kilpisjärvi und Abisko, zwei der drei, mit denen das Modell entwickelt wurde. Er prüft das Modell also in neuen Nächten an denselben Orten. Die kalibrierte Kamera in Sodankylä, die dritte, wurde 2021 außer Betrieb genommen. Er vergleicht die Chance des Modells, Polarlichter zu sehen, mit einer Vorhersage nur aus dem Kp, für die aktuelle Stunde und die nächsten 12 Stunden, und mit einer Vorhersage aus Kp und Wolkenvorhersage. Außerdem prüft er, was das Modell zum OVATION-Wert der NOAA selbst beiträgt. Schließlich vergleicht er unsere Vorhersagen für die nächsten drei Nächte mit einer einfacheren Vorhersage und unsere Benachrichtigungen mit einer Regel aus Kp und Bewölkung.

Wir veröffentlichen die Ergebnisse, ob gut oder schlecht. Berichte folgen im April 2027 für die Nächte bis zum 31. März und bis zum 31. Mai 2027 für den Rest der Saison. Den Plan selbst veröffentlichen wir mit dem Bericht im April. Die Vergleiche mit den Kameras folgen, sobald das Finnische Meteorologische Institut die Kameradaten dieses Winters freigibt.