Jak działa nasz wynik zorzy

Jak go zbudowaliśmy

Kamery całego nieba w Kilpisjärvi i Sodankylä w Finlandii oraz w Abisko w Szwecji fotografowały niebo przez ponad dziesięć zim. Kamerę w Kilpisjärvi prowadzi Fiński Instytut Meteorologiczny, a dwie pozostałe Obserwatorium Geofizyczne w Sodankylä Uniwersytetu w Oulu. Fiński Instytut Meteorologiczny opublikował jasność zorzy w tych zapisach, uśrednioną dla nieba nad każdą kamerą. Na podstawie tych zapisów obliczyliśmy, ile zorzy można zobaczyć przy każdym połączeniu aktywności zorzy, ciemności i światła księżyca.

W przypadku zachmurzenia porównaliśmy archiwalne prognozy MET Norway z wielu lat z tym, co kamery całego nieba w Tromsø i Skibotn zarejestrowały w ciągu 818 nocy. Pokazuje to, jak często zorza jest nadal widoczna, gdy prognoza mówi na przykład, że niskie chmury zakrywają połowę nieba.

Wewnątrz wyniku model najpierw oblicza twoją szansę na zobaczenie zorzy na własne oczy w danej godzinie. Potem wynik dodaje, jak jasna powinna być zorza. Pierwszy test sprawdzał tę szansę na zapisach kamer, na których zbudowaliśmy model. Zbudowaliśmy model od nowa jedenaście razy, za każdym razem bez jednej zimy, i kazaliśmy mu, bez bieżącego odczytu magnetometrów, przewidzieć ciemne, bezksiężycowe godziny tej zimy. Porównaliśmy go z najprostszą prognozą, jaką mogliśmy wymyślić, czyli jedną stałą liczbą. W pozostałych zimach kamery widziały zorzę w mniej więcej połowie ciemnych, bezksiężycowych godzin, więc ta prognoza podaje „około 50%” dla każdej godziny. Błąd modelu, mierzony jako strata logarytmiczna (log loss, zwykła miara dla prognoz prawdopodobieństwa), był o 36% mniejszy niż błąd tej stałej liczby. We wszystkich tych godzinach kamery zarejestrowały 93 godziny ze zorzą na każde 100, których model się spodziewał.

Svalbard leży pod czapą polarną, gdzie zorza zachowuje się inaczej i w czasie nocy polarnej może świecić w południe. Wynik ma tam własną krzywą, zbudowaną na zapisach kamer ze Svalbardu. Wszystkie źródła, z których korzystaliśmy, są na naszej stronie źródeł danych (po angielsku).

Dlaczego sam Kp nie wystarcza

Północna Norwegia leży pod owalem zorzowym, zwykłym torem zorzy, więc zorza może być nad głową przy Kp 1 lub 2. To, czy ją zobaczysz, częściej zależy od zachmurzenia, ciemności, światła księżyca i zanieczyszczenia światłem niż od Kp, a ten sam Kp daje bardzo różne wyniki w różnych miejscach. Oto nasze wyniki w trzech miejscach, gdy jedyną miarą aktywności zorzy jest Kp. Noc jest bezchmurna i ciemna, bez światła księżyca, o 22:30 czasu norweskiego w połowie grudnia:

• Finnvikdalen koło Tromsø ma wynik około 24 przy Kp 1, 82 przy Kp 3 i 95 przy Kp 5.
• Centrum Tromsø, ze światłem miasta, ma wynik około 24 przy Kp 3 i 49 przy Kp 5.
• Løpsmarka koło Bodø, dalej na południe, ma wynik około 4 przy Kp 1 i 70 przy Kp 3.

W naszych odtworzeniach z kamer samo zachmurzenie wskazywało godzinę ze zorzą mniej więcej tak samo często jak sama aktywność zorzy, 78 i 77 razy na 100. Sam Kp zrobił to 71 razy na 100. Model, który bierze pod uwagę jedno i drugie, zrobił to 89 razy na 100.

Nasza strona o indeksie Kp podaje Kp, który często wystarcza w każdym regionie.

Jak wypada w porównaniu

Niezależnie od pierwszego testu odtworzyliśmy minione zimy przy kamerach całego nieba w Finlandii, Szwecji i Norwegii, z danymi wejściowymi odtworzonymi tak, jak wynik miałby je wtedy, łącznie z bieżącym odczytem magnetometrów. Potem porównaliśmy model z prostszymi sposobami prognozowania zorzy. Dla każdej zimy zbudowaliśmy od nowa model i każdą prostszą prognozę bez tej zimy i kazaliśmy im ją przewidzieć. Większość porównań poniżej korzysta z szansy modelu na zobaczenie zorzy, tak jak w pierwszym teście. Alerty korzystają z samego wyniku.

• W które noce wyjść. Wzięliśmy 787 nocy z siedmiu zim przy trzech kamerach. Każda metoda oceniła każdą noc na podstawie tego, co wiedziała o 18:00, a my policzyliśmy, jak często kamery widziały zorzę w noce ocenione najwyżej. Licząc wszystkie noce, kamery widziały zorzę mniej więcej w co czwartą. Spośród nocy w górnych 20% według modelu kamery widziały zorzę w 54%, a spośród nocy w górnych 10% w 64%. Spośród nocy w górnych 20% według prognozy Kp agencji NOAA widziały zorzę w 25%, mniej więcej tak często jak w przeciętną noc. Reguła oparta na Kp i prognozie zachmurzenia MET Norway zbliżyła się do modelu, z wynikiem 50%. Dla nocy sprzed wiosny 2022 odtworzyliśmy prognozę NOAA na podstawie jej znanych błędów, bo nie znaleźliśmy archiwum wydanych prognoz.
• W porównaniu z samym Kp. Porównaliśmy model z prognozą opartą na indeksie Kp i porze nocy. W 6716 bezchmurnych godzinach z 1072 nocy błąd modelu (log loss) był o około 30% mniejszy (0,33 wobec 0,48) i mniejszy w każdej z 12 zim. Mniej więcej dwie trzecie tej poprawy dał bieżący odczyt magnetometrów, a resztę sposób, w jaki model traktuje światło księżyca i zmierzch. W ciemnych, bezksiężycowych godzinach błąd modelu był mniejszy o około 24%, a około 95% tej poprawy dały magnetometry. Stoją one przy kamerach lub blisko nich, więc w miejscu położonym dalej poprawa może być mniejsza.
• Gdzie Kp się myli. Gdy Kp wynosił 1 lub mniej, kamery widziały zorzę w 11% godzin. Prognoza oparta tylko na Kp dawała średnio 28%, a nasz model 21%. Przy jasnym księżycu wysoko na niebie kamery widziały zorzę w 32% godzin. Prognoza oparta tylko na Kp dawała 50%, a nasz model 35%. Przy wysokiej aktywności, od Kp 4 wzwyż, kamery widziały zorzę w 98% godzin. Prognoza oparta tylko na Kp dawała 86%, a nasz model 95%.
• W porównaniu z Kp i prognozą zachmurzenia. Gdy wzięliśmy jedną godzinę z widoczną zorzą i jedną bez niej, model ocenił właściwą godzinę wyżej 89 razy na 100. Prognoza oparta na Kp i tej samej prognozie zachmurzenia zrobiła to 83 razy na 100 (AUC 0,890 wobec 0,825, w 13 693 godzinach). Model wypadł lepiej w każdej z 7 zim z archiwalnymi prognozami zachmurzenia. Bez magnetometrów model nadal lepiej wskazywał, w których godzinach zorza była najbardziej prawdopodobna. Ale szanse, które podawał jako liczby, były mniej trafne niż w prostszej prognozie.
• Alerty. To porównanie korzysta z zim, na których zbudowano wynik, więc wypada dla wyniku zbyt korzystnie. W odtworzeniu przy kamerze całego nieba w Tromsø alert „Dobra szansa tej nocy” (wynik 60 lub więcej) był wysyłany około 27 razy w sezonie. Po 9 na 10 takich alertów kamera zarejestrowała zorzę w tej samej godzinie lub w dwóch następnych. Prostsze reguły trafiały rzadziej. Reguła „Kp 3 lub więcej, niskie i średnie chmury poniżej 50%” trafiała 7 razy na 10, a „Kp 4 lub więcej” 8 razy na 10. Alert, który bierze pod uwagę tylko miesiąc i porę nocy, trafiał 4 razy na 10. W dwie na trzy noce, w które kamera widziała zorzę w ciemnej, bezchmurnej godzinie, nie wysłano żadnego alertu. Kamera rejestruje słabszą zorzę, niż widzą twoje oczy.
• Zachmurzenie. Sposób, w jaki wynik odczytuje prognozę zachmurzenia MET Norway, lepiej wskazuje bezchmurne godziny niż całkowite zachmurzenie z prognozy (AUC 0,803 wobec 0,738). Sprawdziliśmy to na około 150 000 ciemnych godzinach na siedmiu lotniskach i w trzech miejscach z kamerami. Poprawa wynika głównie z tego, jak wynik traktuje cienkie wysokie chmury. Nocne obserwacje rzadko odnotowują cienkie wysokie chmury, więc część tej poprawy może wynikać ze sposobu prowadzenia obserwacji. W godzinach z niewielką ilością wysokich chmur oba sposoby dawały podobne wyniki (0,806 wobec 0,797).
• W porównaniu z modelem OVATION agencji NOAA. OVATION podaje szansę na zorzę nad głową. Nie mogliśmy odtworzyć tego porównania, bo NOAA nie przechowuje dawnych wyników OVATION, a w publicznych archiwach zachowało się tylko kilka plików z 2020 roku i późniejszych. Test tej zimy przeprowadza to porównanie godzina po godzinie, w bezchmurnych, ciemnych, bezksiężycowych godzinach, z wartością OVATION, którą wynik odczytał w danej chwili.

Dwie części nie zostały zbudowane od nowa dla każdej zimy. Człony księżyca i zmierzchu dopasowaliśmy do danych z tych samych kamer, a odczyt zachmurzenia do danych z dwóch innych kamer z tych samych zim. Gdy budowaliśmy odczyt zachmurzenia od nowa, za każdym razem bez jednej zimy, dawał ten sam wynik. Najbardziej rzetelną miarą pozostaje test tej zimy.

Jak go testujemy

Plan testu zapisaliśmy przed sezonem 2026–2027, ze znacznikami czasu, które każdy może sprawdzić. Test trwa od nocy 10 października 2026 do nocy 30 kwietnia 2027. Parametry modelu pozostają w tym czasie stałe, poza poprawkami, na które plan pozwala z góry. Prognozy są stale aktualizowane w miarę napływu nowych danych.

Test korzysta z kamer całego nieba w Kilpisjärvi i Abisko, dwóch z trzech, na których zbudowano model, więc sprawdza model na nowych nocach w tych samych miejscach. Skalibrowana kamera w Sodankylä, trzecia, została wycofana z użytku w 2021 roku. Test porównuje szansę modelu na zobaczenie zorzy z prognozą opartą tylko na Kp, dla bieżącej godziny i kolejnych 12 godzin, oraz z prognozą opartą na Kp i prognozie zachmurzenia. Sprawdza też, co model dodaje do wartości OVATION samej agencji NOAA. Na koniec porównuje nasze prognozy na kolejne trzy noce z prostszą prognozą, a nasze alerty z regułą opartą na Kp i zachmurzeniu.

Opublikujemy wyniki, dobre czy złe. Raporty pojawią się w kwietniu 2027 dla nocy do 31 marca i do 31 maja 2027 dla reszty sezonu. Sam plan opublikujemy razem z raportem kwietniowym. Porównania z kamerami pojawią się, gdy Fiński Instytut Meteorologiczny udostępni dane z kamer z tej zimy.