Slik fungerer nordlysscoren vår

Slik laget vi den

Himmelkameraer i Kilpisjärvi og Sodankylä i Finland og i Abisko i Sverige tok bilder av himmelen gjennom mer enn ti vintre. Det finske meteorologiske institutt driver kameraet i Kilpisjärvi, og Sodankylä geofysiske observatorium ved Universitetet i Oulu driver de to andre. Det finske meteorologiske institutt har publisert hvor sterkt nordlyset var i disse opptakene, som et gjennomsnitt for himmelen over hvert kamera. Med disse opptakene fant vi ut hvor mye nordlys du kan se med hver kombinasjon av nordlysaktivitet, mørke og måneskinn.

For skyene sammenlignet vi værvarsler fra Meteorologisk institutt, lagret over flere år, med det himmelkameraene i Tromsø og Skibotn så på 818 netter. Slik ser vi hvor ofte nordlyset likevel er synlig når varselet for eksempel sier at lave skyer dekker halve himmelen.

Inne i scoren regner modellen først ut sjansen for at du ser nordlys med egne øyne den timen. Så legger scoren til hvor sterkt nordlyset trolig blir. For å sjekke metoden testet vi den sjansen. Vi laget modellen på nytt elleve ganger, hver gang uten én vinter, og lot den forutsi de mørke timene uten måne i den vinteren. Vi sammenlignet den med det enkleste varselet vi kunne tenke oss, ett fast tall. I de andre vintrene så kameraene nordlys i omtrent halvparten av de mørke timene uten måne, så det varselet sier «omtrent 50 %» for hver time. Feilen til modellen, målt som log loss (det vanlige målet for sannsynlighetsvarsler), var 36 % lavere enn for det faste tallet. Over alle disse timene registrerte kameraene 93 timer med nordlys for hver 100 modellen forventet.

Svalbard ligger innenfor polarkalotten, der nordlyset oppfører seg annerledes og kan lyse midt på dagen i mørketiden. Der har scoren sin egen kurve, bygd på kameraopptak fra Svalbard. Alle kildene vi har brukt, står på siden om datakilder (på engelsk).

Hvorfor Kp alene ikke er nok

Nord-Norge ligger under nordlysovalen, beltet der nordlyset vanligvis er, så nordlyset kan stå rett over hodet ved Kp 1 eller 2. Om du ser det, avhenger oftere av skyer, mørke, måneskinn og lysforurensning enn av Kp, og samme Kp gir svært ulik score på ulike steder. Her er scorene våre på tre steder, med Kp som eneste mål på nordlysaktiviteten. Natten er klar og mørk, uten måneskinn, kl. 22:30 norsk tid midt i desember:

• Finnvikdalen nær Tromsø får omtrent 24 ved Kp 1, 82 ved Kp 3 og 95 ved Kp 5.
• Tromsø sentrum, med lysforurensningen fra byen, får omtrent 24 ved Kp 3 og 49 ved Kp 5.
• Løpsmarka nær Bodø, lenger sør, får omtrent 4 ved Kp 1 og 70 ved Kp 3.

I testene våre på historiske data fra himmelkameraene pekte skyene alene ut timen med nordlys omtrent like ofte som nordlysaktiviteten alene, 78 og 77 av 100 ganger. Kp alene klarte det 71 av 100 ganger. Modellen, som veier begge deler, klarte det 89 av 100 ganger.

Hvordan den står seg

Vi testet modellen på historiske data fra himmelkameraer i Finland, Sverige og Norge. Vi brukte bare data som scoren ville hatt på hvert tidspunkt. Så sammenlignet vi modellen med enklere måter å varsle nordlys på. Vi laget modellen og hvert av de enklere varslene på nytt, hver gang uten én vinter, og lot dem forutsi den vinteren. De fleste sammenligningene nedenfor bruker modellens sjanse for å se nordlys, som i sjekken ovenfor. Varslingene bruker selve scoren.

• Hvilke netter du bør gå ut. Vi brukte 787 netter fra sju vintre ved tre av kameraene. Hver metode vurderte hver natt ut fra det den visste kl. 18:00. Så telte vi hvor ofte kameraene så nordlys de nettene metoden vurderte høyest. Over alle nettene så kameraene nordlys omtrent én natt av fire. Av den femtedelen av nettene som modellen vurderte høyest, så kameraene nordlys i 54 %. Av tidelen den vurderte høyest, var det 64 %. Av femtedelen som NOAAs Kp-varsel vurderte høyest, var det 25 %, omtrent som for alle nettene under ett. En regel ut fra Kp og skyvarselet fra Meteorologisk institutt kom nærmere modellen, med 50 %. For nettene før våren 2022 fant vi ikke noe arkiv med varslene NOAA sendte ut. Derfor gjenskapte vi varselet ut fra de kjente feilene i det.
• Mot Kp alene. Vi sammenlignet modellen med et varsel ut fra Kp-indeksen og tidspunktet på natten. Over 6 716 klare timer på 1 072 netter var feilen til modellen (log loss) omtrent 30 % lavere (0,33 mot 0,48). Feilen var lavere i hver av de 12 vintrene. Omtrent to tredjedeler av den gevinsten kom fra at modellen leser magnetometrene i sanntid, og resten fra måten den behandler måneskinn og skumring på. I mørke timer uten måne var feilen til modellen omtrent 24 % lavere, og omtrent 95 % av den gevinsten kom fra magnetometrene. Magnetometrene står ved eller nær kameraene, så på et sted lenger unna kan gevinsten være mindre.
• Der Kp tar feil. Når Kp var 1 eller lavere, så kameraene nordlys i 11 % av timene. Varselet basert bare på Kp ga i snitt 28 %, og modellen vår 21 %. Med lys måne høyt på himmelen så kameraene nordlys i 32 % av timene. Varselet basert bare på Kp ga 50 %, og modellen vår 35 %. Når aktiviteten var høy, med Kp 4 eller mer, så kameraene nordlys i 98 % av timene. Varselet basert bare på Kp ga 86 %, og modellen vår 95 %.
• Mot Kp og skyvarselet. Når vi tok én time med synlig nordlys og én uten, rangerte modellen den riktige timen høyest 89 av 100 ganger. Et varsel ut fra Kp og det samme skyvarselet klarte det 83 av 100 ganger (AUC 0,890 mot 0,825, over 13 693 timer). Modellen gjorde det bedre i hver av de 7 vintrene med lagrede skyvarsler. Uten magnetometrene var modellen fortsatt bedre til å finne timene der nordlys var mest sannsynlig. Men sjansene den oppga som tall, var mindre treffsikre enn i det enklere varselet.
• Varslinger. Denne sammenligningen bruker vintre som scoren også ble bygd på, så den får scoren til å se bedre ut enn den er. Da vi testet varslingene på historiske data fra himmelkameraet i Tromsø, gikk «God sjanse i kveld» (en score på 60 eller mer) ut omtrent 27 ganger i sesongen. Ni av ti av disse varslingene ble fulgt av nordlys på kameraet samme time eller de to neste. Enklere regler traff sjeldnere. «Kp 3 eller mer, med lave og middels høye skyer under 50 %» traff 7 av 10 ganger, og «Kp 4 eller mer» 8 av 10. En varsling som bare ser på måneden og tidspunktet på natten, traff 4 av 10 ganger. To av tre netter da kameraet så nordlys i en mørk, klar time, gikk det ingen varsling. Kameraet fanger opp svakere nordlys enn øynene dine kan se.
• Skyer. Måten scoren leser skyvarselet fra Meteorologisk institutt på, finner klare timer bedre enn det totale skydekket i varselet (AUC 0,803 mot 0,738). Vi sjekket dette over omtrent 150 000 mørke timer ved sju flyplasser og tre kamerasteder. Gevinsten kommer mest fra måten den behandler tynne, høye skyer på. Værobservasjonene om natten registrerer sjelden tynne, høye skyer, så en del av gevinsten kan komme av hvordan observasjonene gjøres. I timer med få høye skyer var de to nesten like gode (0,806 mot 0,797).
• Mot OVATION-modellen fra NOAA. Mange nordlysapper viser OVATIONs sjanse for nordlys rett over hodet. Vi kunne ikke gjøre denne sammenligningen på historiske data. NOAA tar ikke vare på tidligere data fra OVATION, og bare noen få filer fra 2020 og senere er bevart i offentlige arkiver. Testen i vinter gjør sammenligningen time for time, i klare, mørke timer uten måne, mot OVATION-verdien som scoren leste på det tidspunktet.

To deler ble ikke laget på nytt for hver vinter. Delen for måne og skumring ble tilpasset opptak fra de samme kameraene. Delen som leser skyvarselet, ble tilpasset opptak fra to andre kameraer i de samme vintrene. Da vi laget den på nytt, hver gang uten én vinter, ga den samme resultat. Testen i vinter er fortsatt det mest rettferdige målet.

Slik tester vi den

Vi skrev ned testplanen før sesongen 2026/27 og tidsstemplet den, så alle kan sjekke den. Testen gjelder nettene fra og med 10. oktober 2026 til og med 30. april 2027. Modellens parametere ligger fast i den perioden, bortsett fra rettelser som planen har tillatt på forhånd. Varslene oppdateres hele tiden når nye data kommer inn.

Testen bruker himmelkameraene i Kilpisjärvi og Abisko, to av de tre som modellen ble bygd på, så den sjekker modellen på nye netter på de samme stedene. Det kalibrerte kameraet i Sodankylä, det tredje, ble tatt ut av drift i 2021. Den sammenligner modellens sjanse for å se nordlys med et varsel basert bare på Kp, for den gjeldende timen og de neste 12 timene, og med et varsel basert på Kp og skyvarselet. Den sjekker også hva modellen tilfører NOAAs egen OVATION-verdi. Til slutt sammenligner den varslene våre for de neste tre nettene med et enklere varsel, og varslingene våre med en regel basert på Kp og skyer.

Vi publiserer resultatene, enten de er gode eller dårlige. Rapportene kommer i april 2027 for nettene fram til 31. mars, og innen 31. mai 2027 for resten av sesongen. Selve planen publiserer vi sammen med rapporten i april. Sammenligningene med kameraene kommer når Det finske meteorologiske institutt frigir kameradataene fra denne vinteren.