Zo werkt onze noorderlichtscore

Hoe we de score hebben gemaakt

Allsky-camera's in Kilpisjärvi en Sodankylä in Finland en in Abisko in Zweden hebben meer dan tien winters lang de hemel gefotografeerd. Het Fins Meteorologisch Instituut beheert de camera in Kilpisjärvi, het Geofysisch Observatorium Sodankylä van de Universiteit van Oulu de andere twee. Het Fins Meteorologisch Instituut publiceerde hoe fel het noorderlicht in die opnamen was, gemiddeld over de hemel boven elke camera. Uit die opnamen hebben we afgeleid hoeveel noorderlicht je ziet bij elke combinatie van noorderlichtactiviteit, duisternis en maanlicht.

Voor de bewolking hebben we jaren aan gearchiveerde verwachtingen van MET Norway vergeleken met wat de allsky-camera's in Tromsø en Skibotn in 818 nachten zagen. Zo zien we hoe vaak noorderlicht toch te zien is als de verwachting bijvoorbeeld zegt dat lage bewolking de halve lucht bedekt.

Binnen de score berekent het model eerst je kans om in dat uur met je eigen ogen noorderlicht te zien. Daarna telt de score mee hoe fel het noorderlicht waarschijnlijk is. Om de methode te controleren, hebben we die kans getest. We hebben het model elf keer opnieuw gemaakt, steeds zonder één winter, en het dan de donkere, maanloze uren van die winter laten voorspellen. We vergeleken het met de eenvoudigste verwachting die we konden bedenken, één vast getal. In de andere winters zagen de camera's in ongeveer de helft van de donkere, maanloze uren noorderlicht, dus die verwachting zegt voor elk uur ‘ongeveer 50%’. De fout van het model, gemeten als log loss (de gebruikelijke maat voor kansverwachtingen), was 36% kleiner dan die van dat vaste getal. Over al die uren legden de camera's 93 uur met noorderlicht vast op elke 100 die het model verwachtte.

Spitsbergen ligt onder de poolkap, waar het noorderlicht zich anders gedraagt en in de poolnacht ook midden op de dag kan schijnen. De score heeft daar een eigen curve, gebaseerd op camerabeelden van Spitsbergen. Alle bronnen die we gebruikten, staan op onze pagina met databronnen (in het Engels).

Waarom Kp alleen niet genoeg is

Noord-Noorwegen ligt onder de noorderlichtovaal, de gebruikelijke baan van het noorderlicht, dus het kan al bij Kp 1 of 2 recht boven je staan. Of je het ziet, hangt vaker af van bewolking, duisternis, maanlicht en lichtvervuiling dan van de Kp, en dezelfde Kp geeft op verschillende spots heel verschillende scores. Hier zijn onze scores op drie spots, met de Kp als enige maat voor de noorderlichtactiviteit. Het is een heldere, donkere nacht zonder maanlicht, half december om 22:30 Noorse tijd:

• Finnvikdalen bij Tromsø scoort ongeveer 24 bij Kp 1, 82 bij Kp 3 en 95 bij Kp 5.
• Het centrum van Tromsø, met de lichtvervuiling van de stad, scoort ongeveer 24 bij Kp 3 en 49 bij Kp 5.
• Løpsmarka bij Bodø, verder naar het zuiden, scoort ongeveer 4 bij Kp 1 en 70 bij Kp 3.

Toen we vorige winters bij de camera's naspeelden, koos de bewolking alleen ongeveer even vaak het uur met noorderlicht als de noorderlichtactiviteit alleen, 78 en 77 van de 100 keer. De Kp alleen deed dat 71 van de 100 keer. Het model, dat beide meeweegt, deed dat 89 van de 100 keer.

De score vergeleken

We hebben vorige winters nagespeeld bij allsky-camera's in Finland, Zweden en Noorwegen, met de gegevens die de score op dat moment zou hebben gehad. Daarna vergeleken we het model met eenvoudigere manieren om noorderlicht te voorspellen. Voor elke winter maakten we het model en elke eenvoudigere verwachting opnieuw zonder die winter, en lieten we ze die winter voorspellen. De meeste vergelijkingen hieronder gebruiken de kans van het model om noorderlicht te zien, net als bij de controle hierboven. De meldingen gebruiken de score zelf.

• Op welke nachten je naar buiten gaat. We namen 787 nachten uit zeven winters bij drie van de camera's. Elke methode beoordeelde elke nacht met wat ze om 18:00 wist. Daarna telden we hoe vaak de camera's noorderlicht zagen in de nachten die de methode het hoogst inschatte. Over alle nachten genomen zagen de camera's in ongeveer één op de vier nachten noorderlicht. Van de nachten die bij het model in het hoogste vijfde vielen, zagen ze in 54% noorderlicht. Bij het hoogste tiende was dat 64%. Bij het hoogste vijfde van de Kp-verwachting van NOAA was dat 25%, ongeveer even vaak als op een willekeurige nacht. Een regel op basis van de Kp en de wolkenverwachting van MET Norway kwam met 50% dichter bij het model. Van de verwachtingen die NOAA vóór het voorjaar van 2022 uitgaf, vonden we geen archief. Voor die nachten hebben we de verwachting van NOAA daarom nagebootst op basis van de bekende fouten ervan.
• Tegenover alleen de Kp. We vergeleken het model met een verwachting op basis van de Kp-index en het tijdstip van de nacht. Over 6.716 heldere uren in 1.072 nachten was de fout van het model (log loss) ongeveer 30% kleiner (0,33 tegenover 0,48), en in elk van de 12 winters kleiner. Ongeveer twee derde van die winst kwam van de actuele metingen van de magnetometers, en de rest van hoe het model met maanlicht en schemering omgaat. In donkere, maanloze uren was de fout van het model ongeveer 24% kleiner, en ongeveer 95% van die winst kwam van de magnetometers. Die staan bij of vlak bij de camera's, dus op een spot verder weg kan de winst kleiner zijn.
• Waar de Kp de mist ingaat. Bij Kp 1 of lager zagen de camera's in 11% van de uren noorderlicht. De verwachting op basis van alleen de Kp gaf gemiddeld 28%, ons model 21%. Met een felle maan hoog aan de hemel zagen de camera's in 32% van de uren noorderlicht. De Kp-verwachting gaf 50%, ons model 35%. Bij hoge activiteit, vanaf Kp 4, zagen de camera's in 98% van de uren noorderlicht. De Kp-verwachting gaf 86%, ons model 95%.
• Tegenover Kp plus de wolkenverwachting. Als we één uur met zichtbaar noorderlicht en één uur zonder namen, zette het model het juiste uur 89 van de 100 keer hoger. Een verwachting op basis van de Kp en dezelfde wolkenverwachting deed dat 83 van de 100 keer (AUC 0,890 tegenover 0,825, over 13.693 uur). Het model deed het beter in elk van de 7 winters met gearchiveerde wolkenverwachtingen. Zonder de magnetometers zag het model nog steeds beter welke uren de meeste kans op noorderlicht gaven. Maar de kansen die het in cijfers gaf, waren minder nauwkeurig dan die van de eenvoudigere verwachting.
• Meldingen. Deze vergelijking gebruikt winters waarop de score is gebaseerd, dus geeft ze een te gunstig beeld van de score. Bij het naspelen bij de allsky-camera in Tromsø ging ‘Goede kans op noorderlicht vanavond’ (een score van 60 of meer) ongeveer 27 keer per seizoen uit. Op 9 van de 10 van die meldingen volgde noorderlicht op de camera, in hetzelfde uur of de twee uur daarna. Eenvoudigere regels zaten er vaker naast. ‘Kp 3 of meer, met lage en middelhoge bewolking onder 50%’ klopte 7 van de 10 keer en ‘Kp 4 of meer’ 8 van de 10 keer. Een melding die alleen naar de maand en het tijdstip kijkt, klopte 4 van de 10 keer. In twee van de drie nachten waarin de camera in een donker, helder uur noorderlicht zag, ging er geen melding uit. De camera ziet zwakker noorderlicht dan je ogen kunnen zien.
• Bewolking. Zoals de score de wolkenverwachting van MET Norway leest, herkent hij heldere uren beter dan de totale bewolking in de verwachting (AUC 0,803 tegenover 0,738). Dat controleerden we over ongeveer 150.000 donkere uren bij zeven vliegvelden en drie cameralocaties. De winst komt vooral van hoe hij met dunne hoge bewolking omgaat. Nachtelijke waarnemingen noteren dunne hoge bewolking zelden, dus een deel van die winst kan komen door hoe de waarnemingen worden gedaan. In uren met weinig hoge bewolking lagen de twee dicht bij elkaar (0,806 tegenover 0,797).
• Tegenover het OVATION-model van NOAA. Veel noorderlichtapps tonen de kans van OVATION op noorderlicht recht boven je. Deze vergelijking konden we niet naspelen, omdat NOAA de eerdere uitvoer van OVATION niet bewaart en alleen een paar bestanden van 2020 en later in openbare archieven bewaard zijn gebleven. De test van deze winter maakt die vergelijking uur voor uur, in heldere, donkere, maanloze uren, met de OVATION-waarde die de score op dat moment las.

Twee onderdelen hebben we niet voor elke winter opnieuw gemaakt. Het onderdeel voor maanlicht en schemering is afgestemd op dezelfde camera's, en dat voor de bewolking op twee andere camera's in dezelfde winters. Toen we het onderdeel voor de bewolking opnieuw maakten, steeds zonder één winter, gaf het hetzelfde resultaat. De test van deze winter blijft de eerlijkste maat.

Hoe we de score testen

We hebben het testplan vóór het seizoen 2026/27 vastgelegd, met tijdstempels die iedereen kan controleren. De test loopt van de nacht van 10 oktober 2026 tot de nacht van 30 april 2027. De parameters van het model liggen in die tijd vast, behalve correcties die het plan vooraf toestaat. De verwachtingen worden gewoon bijgewerkt als er nieuwe gegevens binnenkomen.

De test gebruikt de allsky-camera's in Kilpisjärvi en Abisko, twee van de drie waarop het model is gebaseerd. Hij controleert het model dus op nieuwe nachten op dezelfde plekken. De gekalibreerde camera in Sodankylä, de derde, is in 2021 buiten gebruik gesteld. Hij vergelijkt de kans van het model om noorderlicht te zien met een verwachting op basis van alleen de Kp, voor het huidige uur en de komende 12 uur, en met een verwachting op basis van de Kp en de wolkenverwachting. Ook kijkt hij wat het model toevoegt aan de OVATION-waarde van NOAA zelf. Tot slot vergelijkt hij onze verwachtingen voor de komende drie nachten met een eenvoudigere verwachting, en onze meldingen met een regel op basis van Kp en bewolking.

We publiceren de resultaten, goed of slecht. In april 2027 volgt een rapport over de nachten tot 31 maart, en uiterlijk 31 mei 2027 een rapport over de rest van het seizoen. Het plan zelf publiceren we met het rapport van april. De vergelijkingen met de camera's volgen zodra het Fins Meteorologisch Instituut de cameragegevens van deze winter vrijgeeft.