Confrontiamo la previsione con 5.447 segnalazioni di campo indipendenti e pubblichiamo il risultato per intero — compresa la parte che mostra come gran parte del nostro punteggio venga dal calendario e non dal meteo.
Prendiamo 5.447 segnalazioni da GBIF, la banca dati internazionale sulla biodiversità alimentata da erbari, istituti e naturalisti dilettanti. Nessuno le ha raccolte per noi, ed è tutto il punto: un modello verificato sui dati raccolti dai suoi stessi autori non è verificato affatto.
Per ogni segnalazione calcoliamo il nostro indice in quel giorno e in quel posto, e poi in altri giorni nello stesso posto. Se il modello ha ragione sui tempi, il giorno del ritrovamento reale deve stare sopra a un giorno qualsiasi. Delle 5.447 segnalazioni, 709 avevano il meteo disponibile per il confronto.
Chiedere «la previsione è buona» produce un numero che nasconde quale parte del modello se lo sia guadagnato. Quindi chiediamo due volte: abbiamo preso la settimana, e abbiamo preso il mese. La seconda è molto più facile, e separarle è ciò che rende il risultato leggibile.
Sulla settimana — il modello ha messo il giorno del ritrovamento sopra un altro giorno nello stesso posto — il punteggio è 0,610, dove 0,5 è testa o croce. L'intervallo di confidenza va da 0,556 a 0,655, su 7.187 confronti.
Sul mese il punteggio è 0,847, intervallo da 0,812 a 0,882. Alto, e adesso sappiamo perché: è il calendario stagionale a fare il lavoro, non il modello meteo.
In parole povere: siamo bravi sul mese e non ancora bravi sulla settimana. Avevamo messo l'asticella a 0,750 prima della prova, e 0,610 non ci arriva. Non lo chiameremo «accurato al 61%»: sarebbe un'affermazione diversa e più lusinghiera di quella che i dati sostengono.
Per scoprire quanto contribuisca davvero il meteo, abbiamo ripetuto la stessa prova altre due volte: una con le date mescolate tra le segnalazioni, e una con date estratte a caso.
| Prova | Settimana | Mese |
|---|---|---|
| Come sta | 0,610 | 0,847 |
| Date mescolate | 0,576 | 0,798 |
| Date casuali | 0,496 | 0,488 |
Più alto è meglio; 0,5 è il caso. L'ultima riga è il controllo.
L'ultima riga è la buona notizia: su date casuali la misura dà 0,496 contro un atteso di 0,5. Lo strumento di misura è onesto.
Le prime due righe sono la cattiva. Tra «come sta» e «date mescolate» la differenza è 0,034, e gli intervalli di confidenza si sovrappongono. La quota va contata su ciò che abbiamo SOPRA il testa o croce: 0,5 è il caso, quindi di nostro c'è 0,610 − 0,5 = 0,110. Di quel margine il calendario spiega 0,076, cioè circa il 69%. Il resto non possiamo attribuirlo al meteo: 0,034 sta dentro gli intervalli di confidenza, e su questi dati il suo contributo non si distingue da zero.
Perché una previsione che non dice mai dov'è debole non è una previsione. Calcolare un numero lo sanno fare tutti; mostrare il numero che sta sotto la soglia che ti sei dato è la parte che non fa nessuno, ed è l'unica ragione per credere ai numeri che invece sembrano buoni.
Ed è una lista di lavoro, non una confessione. Sapere che il contributo del meteo è piccolo ci dice esattamente da dove deve arrivare il prossimo miglioramento, e l'onesto 0,610 è la base che qualunque modifica dovrà battere.