Come funziona il nostro punteggio aurorale

Come l'abbiamo costruito

Le camere all-sky di Kilpisjärvi e Sodankylä, in Finlandia, e di Abisko, in Svezia, hanno fotografato il cielo per più di dieci inverni. L'Istituto meteorologico finlandese gestisce la camera di Kilpisjärvi, e l'Osservatorio geofisico di Sodankylä dell'Università di Oulu le altre due. L'Istituto meteorologico finlandese ha pubblicato la luminosità dell'aurora in queste registrazioni, come media sul cielo sopra ogni camera. Da queste registrazioni abbiamo calcolato quanta aurora puoi vedere con ogni combinazione di attività aurorale, buio e luce della luna.

Per le nuvole, abbiamo confrontato anni di previsioni archiviate di MET Norway con ciò che le camere all-sky di Tromsø e Skibotn hanno visto in 818 notti. Così vediamo quanto spesso l'aurora si vede ancora quando la previsione dice, per esempio, che le nuvole basse coprono metà del cielo.

All'interno del punteggio, il modello calcola prima la tua probabilità di vedere l'aurora a occhio nudo in quell'ora. Poi il punteggio aggiunge quanto dovrebbe essere luminosa l'aurora. La nostra prima verifica ha messo alla prova questa probabilità sulle registrazioni delle camere con cui abbiamo costruito il modello. Abbiamo ricostruito il modello undici volte, ogni volta senza un inverno, e gli abbiamo fatto prevedere le ore buie e senza luna di quell'inverno, senza la lettura in tempo reale dei magnetometri. Lo abbiamo confrontato con la previsione più semplice che ci è venuta in mente, un numero fisso. Negli altri inverni le camere hanno visto l'aurora in circa la metà delle ore buie e senza luna, quindi quella previsione dice «circa 50%» per ogni ora. L'errore del modello, misurato come log loss (la misura usuale per le previsioni di probabilità), è stato più basso del 36% rispetto a quello del numero fisso. Su tutte quelle ore, le camere hanno registrato 93 ore con l'aurora ogni 100 previste dal modello.

Le Svalbard si trovano sotto la calotta polare, dove l'aurora si comporta in modo diverso e può brillare a mezzogiorno durante la notte polare. Lì il punteggio ha una sua curva, costruita su registrazioni di camere delle Svalbard. Tutte le fonti che abbiamo usato sono nella nostra pagina delle fonti dei dati (in inglese).

Perché il Kp da solo non basta

La Norvegia settentrionale si trova sotto l'ovale aurorale, il percorso abituale dell'aurora, quindi l'aurora può essere sopra la testa con Kp 1 o 2. Il fatto di vederla dipende più spesso da nuvole, buio, luce della luna e inquinamento luminoso che dal Kp, e lo stesso Kp dà punteggi molto diversi in luoghi diversi. Ecco i nostri punteggi in tre punti di osservazione, con il Kp come unica misura dell'attività aurorale. La notte è serena e buia, senza luna, alle 22:30 ora norvegese, a metà dicembre:

• Finnvikdalen, vicino a Tromsø, ha un punteggio di circa 24 con Kp 1, 82 con Kp 3 e 95 con Kp 5.
• Il centro di Tromsø, con l'inquinamento luminoso della città, ha un punteggio di circa 24 con Kp 3 e 49 con Kp 5.
• Løpsmarka, vicino a Bodø, più a sud, ha un punteggio di circa 4 con Kp 1 e 70 con Kp 3.

Nelle nostre simulazioni con le camere, le sole nuvole hanno indicato l'ora con l'aurora più o meno con la stessa frequenza della sola attività aurorale, 78 e 77 volte su 100. Il solo Kp ci è riuscito 71 volte su 100. Il modello, che considera entrambe, ci è riuscito 89 volte su 100.

La nostra pagina sull'indice Kp dà il Kp che spesso basta in ogni regione.

Il confronto con altre previsioni

Separatamente dalla nostra prima verifica, abbiamo simulato inverni passati con camere all-sky in Finlandia, Svezia e Norvegia, con i dati ricostruiti come il punteggio li avrebbe avuti in quel momento, compresa la lettura in tempo reale dei magnetometri. Poi abbiamo confrontato il modello con modi più semplici di prevedere l'aurora. Per ogni inverno abbiamo ricostruito il modello e ogni previsione più semplice senza quell'inverno, e abbiamo fatto prevedere loro quell'inverno. Come nella nostra prima verifica, la maggior parte dei confronti qui sotto usa la probabilità di vedere l'aurora secondo il modello. Gli avvisi usano il punteggio stesso.

• In quali notti uscire. Abbiamo preso 787 notti da sette inverni in tre delle camere. Ogni metodo ha valutato ogni notte con ciò che sapeva alle 18:00, e abbiamo contato quanto spesso le camere hanno visto l'aurora nelle notti a cui il metodo dava i valori più alti. Su tutte le notti, le camere hanno visto l'aurora in circa una su quattro. Nel quinto delle notti con i valori più alti secondo il modello l'hanno vista nel 54% dei casi, e nel decimo più alto nel 64%. Nel quinto più alto secondo la previsione del Kp della NOAA l'hanno vista nel 25% dei casi, più o meno come in una notte qualsiasi. Una regola basata sul Kp e sulla previsione della nuvolosità di MET Norway si è avvicinata di più al modello, con il 50%. Per le notti prima della primavera 2022 abbiamo ricostruito la previsione della NOAA dai suoi errori noti, perché non abbiamo trovato un archivio delle previsioni che ha emesso.
• Contro il solo Kp. Abbiamo confrontato il modello con una previsione basata sull'indice Kp e sull'ora della notte. Su 6.716 ore serene in 1.072 notti, l'errore del modello (log loss) è stato più basso del 30% circa (0,33 contro 0,48), e più basso in ognuno dei 12 inverni. Circa due terzi di questo miglioramento sono venuti dalla lettura in tempo reale dei magnetometri, il resto dal modo in cui il modello tratta la luce della luna e il crepuscolo. Nelle ore buie e senza luna l'errore del modello è stato più basso del 24% circa, e circa il 95% di questo miglioramento è venuto dai magnetometri. I magnetometri si trovano presso le camere o vicino a esse, quindi in un punto più lontano il miglioramento può essere minore.
• Dove il Kp sbaglia. Quando il Kp era 1 o meno, le camere hanno visto l'aurora nell'11% delle ore. La previsione basata solo sul Kp dava in media il 28%, il nostro modello il 21%. Con una luna luminosa alta nel cielo, le camere hanno visto l'aurora nel 32% delle ore. La previsione basata solo sul Kp dava il 50%, il nostro modello il 35%. Con attività alta, a Kp 4 o più, le camere hanno visto l'aurora nel 98% delle ore. La previsione basata solo sul Kp dava l'86%, il nostro modello il 95%.
• Contro il Kp e la previsione della nuvolosità. Prendendo un'ora con l'aurora visibile e una senza, il modello ha messo più in alto l'ora giusta 89 volte su 100. Una previsione basata sul Kp e sulla stessa previsione della nuvolosità ci è riuscita 83 volte su 100 (AUC 0,890 contro 0,825, su 13.693 ore). Il modello ha fatto meglio in ognuno dei 7 inverni con previsioni della nuvolosità archiviate. Senza i magnetometri, il modello distingueva comunque meglio le ore con più probabilità di aurora. Ma le probabilità che dava, come numeri, erano meno precise di quelle della previsione più semplice.
• Avvisi. Questo confronto riusa inverni con cui è stato costruito il punteggio, quindi lo favorisce. Nella simulazione con la camera all-sky di Tromsø, l'avviso «Buone probabilità stanotte» (un punteggio di 60 o più) è partito circa 27 volte a stagione. In 9 casi su 10, l'avviso è stato seguito dall'aurora sulla camera nella stessa ora o nelle due successive. Le regole più semplici hanno avuto ragione meno spesso. «Kp 3 o più, con nuvole basse e medie sotto il 50%» ha avuto ragione 7 volte su 10 e «Kp 4 o più» 8 volte su 10. Un avviso che guarda solo il mese e l'ora della notte ha avuto ragione 4 volte su 10. In due notti su tre in cui la camera ha visto l'aurora in un'ora buia e serena, non è partito nessun avviso. La camera coglie aurore più deboli di quelle che vedono i tuoi occhi.
• Nuvole. Il modo in cui il punteggio legge la previsione della nuvolosità di MET Norway individua le ore serene meglio della copertura nuvolosa totale della previsione (AUC 0,803 contro 0,738). Lo abbiamo verificato su circa 150.000 ore buie in sette aeroporti e tre siti con camere. Il miglioramento viene soprattutto dal modo in cui tratta le nuvole alte e sottili. Le osservazioni notturne registrano di rado le nuvole alte e sottili, quindi parte di questo miglioramento può dipendere da come vengono fatte le osservazioni. Nelle ore con poche nuvole alte i due metodi erano vicini (0,806 contro 0,797).
• Contro il modello OVATION della NOAA. OVATION dà una probabilità di aurora sopra la testa. Non abbiamo potuto simulare questo confronto, perché la NOAA non conserva i risultati passati di OVATION e negli archivi pubblici restano solo pochi file dal 2020 in poi. Il test di quest'inverno lo fa ora per ora, nelle ore serene, buie e senza luna, rispetto al valore OVATION che il punteggio ha letto in quel momento.

Due parti non sono state ricostruite per ogni inverno. I termini della luna e del crepuscolo sono stati calibrati sulle stesse camere, e la lettura delle nuvole su altre due camere negli stessi inverni. Ricostruita senza ciascun inverno, la lettura delle nuvole ha dato lo stesso risultato. Il test di quest'inverno resta la misura più equa.

Come lo mettiamo alla prova

Abbiamo registrato il piano del test prima della stagione 2026–2027, con marche temporali che chiunque può verificare. Il test va dalla notte del 10 ottobre 2026 alla notte del 30 aprile 2027. I parametri del modello restano fissi per tutto questo periodo, salvo le correzioni che il piano prevede in anticipo. Le previsioni continuano ad aggiornarsi man mano che arrivano nuovi dati.

Il test usa le camere all-sky di Kilpisjärvi e Abisko, due delle tre con cui è stato costruito il modello, quindi verifica il modello su notti nuove negli stessi luoghi. La camera calibrata di Sodankylä, la terza, è stata messa fuori servizio nel 2021. Il test confronta la probabilità di vedere l'aurora secondo il modello con una previsione basata solo sul Kp, per l'ora in corso e le 12 ore successive, e con una previsione basata sul Kp e sulla previsione della nuvolosità. Verifica anche che cosa aggiunge il modello al valore OVATION della NOAA. Infine confronta le nostre previsioni per le tre notti successive con una previsione più semplice, e i nostri avvisi con una regola basata su Kp e nuvole.

Pubblicheremo i risultati, buoni o cattivi. I resoconti arriveranno ad aprile 2027 per le notti fino al 31 marzo, ed entro il 31 maggio 2027 per il resto della stagione. Pubblicheremo il piano stesso con il resoconto di aprile. I confronti con le camere seguiranno quando l'Istituto meteorologico finlandese renderà disponibili i dati delle camere di quest'inverno.