Allora, immaginate questa scena: state cercando di montare un mobile IKEA (lo so, tutti ci siamo passati). Avete il foglio delle istruzioni, che sembra scritto in sanscrito antico, e una miriade di viti, chiodini e pannelli che sembrano tutti tremendamente simili. Il vostro obiettivo è chiaro: ottenere un mobile che assomigli, più o meno, alla foto sulla scatola. Iniziate a fissare le cose, un po' a sentimento, un po' seguendo le figure stilizzate che sembrano sempre più confusi man mano che procedete. Alla fine, dopo ore di imprecazioni sottovoce e qualche graffio sulla mano, tiratevi indietro per ammirare il vostro capolavoro.
E lì lo vedete. Non è esattamente come quello della foto, vero? C'è un pannello che sporge un po', una porta che non si chiude dritta, magari una delle gambe è leggermente più corta delle altre. Ecco, in questo momento, state facendo un'esperienza pratica di quello che, in termini tecnici (e decisamente meno divertenti), chiamiamo scarto quadratico medio. Che nome altisonante, vero? Sembra quasi una formula magica per evocare la disperazione in un flat-pack.
Ma non temete! Oggi non vi trasformerò in matematici da strapazzo, promesso. Cercheremo invece di capire, con un linguaggio il più possibile terra terra (e con qualche battuta, speriamo), di cosa si tratta questo benedetto scarto quadratico medio (spesso abbreviato in SQM, o MSE per i più anglofoni) e perché, anche se non ve ne rendete conto, vi capita di incontrarlo più spesso di quanto pensiate.
Pensateci: ogni volta che confrontate qualcosa con un "ideale", un "previsto" o un "obiettivo", state misurando una sorta di "errore" o "differenza". Che sia il vostro primo tentativo di fare una torta seguendo una ricetta (il risultato finale vs. la foto patinata del libro) o il vostro sforzo per arrivare puntuali a un appuntamento (l'ora prevista vs. l'ora reale di arrivo), c'è sempre un divario. Lo scarto quadratico medio è semplicemente un modo matematico per quantificare, in maniera un po' più robusta, questo divario.
Ma allora, cosa diavolo è 'sto scarto quadratico medio?
Immaginate di avere un insieme di punti (che nella vita reale potrebbero essere le misure delle vostre viti IKEA, o le temperature registrate da un termometro, o i risultati di un sondaggio). E avete anche un'idea di quale dovrebbe essere il valore "giusto" o "medio" per questi punti (il mobile perfetto, la temperatura ideale, la media delle opinioni).
Il nostro amico SQM fa una cosa semplice, ma efficace:
1. Calcola la differenza: Per ogni punto, si guarda quanto è lontano dal valore di riferimento (il "vero" valore, o la previsione). Questa è la differenza, o "errore".
2. La eleva al quadrato: E qui viene il "quadratico". Perché lo fa? Ci sono due motivi principali, e sono parecchio intelligenti. Primo, in questo modo, tutte le differenze diventano positive. Che sia arrivato 5 minuti prima o 5 minuti dopo, la "distanza" dall'obiettivo è comunque 5 minuti. Questo ci evita di avere differenze positive e negative che si annullano a vicenda, creando un quadro distorto. Secondo, elevare al quadrato dà più peso agli errori più grandi. Un errore di 10 unità viene penalizzato molto di più di due errori di 5 unità ciascuno (10^2 = 100, mentre 5^2 + 5^2 = 25 + 25 = 50). Questo è utile perché, spesso, gli errori grossi sono più problematici di tanti piccoli. Pensate a un mobile IKEA: un pannello storto di 10 cm è un disastro, mentre qualche millimetro di scarto su più pannelli magari si nota meno.
3. Ne fa la media: Dopo aver elevato al quadrato tutte le differenze, si sommano e si dividono per il numero totale di punti. Ecco la "media".
Quindi, riassumendo in un tweet: SQM = quanto sono lontani i miei dati dal valore di riferimento, ma con un occhio di riguardo per gli errori più grossi.
È un po' come dire: "Okay, ho fatto un sacco di tentativi, alcuni sono venuti quasi perfetti, altri un po' così così, e qualcuno è proprio un disastro. Calcoliamo un numero che mi dica, in media, quanto è stato il mio grado di 'così così' o 'disastro', tenendo presente che i disastri sono peggio dei così così."
Dove lo incontriamo, questo SG-M(a che nome)?
Ah, bella domanda! Lo trovereste un po' ovunque, se solo ci faceste caso.
Nella Scienza dei Dati e nell'Intelligenza Artificiale (dove ci fa più comodo!)
Questo è il suo terreno di caccia preferito, diciamocelo. Quando costruiamo dei modelli predittivi (ad esempio, un modello che cerca di prevedere il prezzo di una casa in base alla sua metratura, alla posizione, etc., o un modello che cerca di prevedere quanti clienti compreranno un certo prodotto), vogliamo che le previsioni del modello siano il più possibile vicine ai valori reali.
Immaginate di aver addestrato un modello per prevedere il prezzo delle case. Il modello vi dice che una casa dovrebbe costare 300.000€. In realtà, quella casa è stata venduta a 310.000€. La differenza è 10.000€.
Un altro modello, per un'altra casa, prevede 250.000€, ma viene venduta a 230.000€. La differenza è -20.000€.
Ecco, lo scarto quadratico medio ci aiuta a valutare quanto è bravo il nostro modello in generale. Se il nostro modello predittivo genera previsioni con uno SQM basso, significa che, in media, le sue previsioni sono molto vicine ai valori reali. Se lo SQM è alto, beh, forse dobbiamo rivedere un po' le impostazioni del nostro modello, o magari i dati che gli abbiamo dato in pasto non erano poi così indicativi.
Pensate allo SQM come al punteggio di errore di un modello. Più basso è, meglio è. È come in un videogioco: il vostro punteggio di errore è basso? Complimenti, siete dei campioni! È alto? Forse è il caso di fare un'altra partita (o, nel nostro caso, riaddestrare il modello).
È uno strumento fondamentale per capire se il modello sta facendo un buon lavoro nel catturare la "verità" sottostante nei dati. E questo è cruciale, perché un modello che sbaglia di grosso può portare a decisioni completamente sbagliate.
Nell'Economia
Anche in economia, dove le previsioni sono pane quotidiano (e spesso fonte di dibattiti accesi), lo SQM trova spazio. Si usa per valutare la performance di modelli economici che cercano di prevedere variabili come l'inflazione, il PIL, o i tassi di interesse. Un basso SQM in questi casi significa che le previsioni degli economisti sono state, in media, abbastanza accurate. Ovviamente, se l'economista previsto un'inflazione del 2% e poi è stata del 10%, beh, quello è un errore che si fa sentire! E lo SQM lo catturerebbe bene.
Nella Statistica
La statistica è la casa madre di queste misure, quindi non ci stupisce. Viene usato in tanti contesti, ad esempio per confrontare diversi metodi di stima, o per valutare la bontà di un'approssimazione. Se stai cercando di approssimare una serie di dati con una linea o una curva, lo SQM ti dice quanto bene quella linea o curva "sta vicina" ai tuoi dati.
Anche nella vita di tutti i giorni (senza che ce ne rendiamo conto)
Ricordate il mobile IKEA? Anche se non state facendo calcoli matematici, la vostra "sensazione" di quanto sia venuto bene o male è una sorta di valutazione dello "scarto". Se la porta non si chiude, lo scarto è evidente e fastidioso (un errore grande). Se un pannello è leggermente più in dentro di un altro, è uno scarto minore. La vostra mente, in modo non esplicito, sta pesando questi errori.
Pensate a quando cercate di replicare una ricetta che avete visto online. La foto mostra una torta perfetta, dorata e soffice. La vostra torta ha un colore un po' spento, è leggermente bruciacchiata ai bordi e un po' sgonfia al centro. Ecco, avete generato dei "piccoli" scarti quadratici medi rispetto alla foto dell'ispirazione. L'obiettivo era la foto perfetta, la realtà è stata la vostra torta casalinga. E lo SQM ci direbbe, in modo matematico, quanto è stata grande la "distanza" tra le due.
Perché non usarne semplicemente la differenza?
Ottima domanda! Se sommassimo semplicemente le differenze tra il valore previsto e quello reale, potremmo avere un problema: le differenze positive (quando la previsione è troppo alta) e quelle negative (quando è troppo bassa) potrebbero annullarsi a vicenda.
Immaginate che il nostro modello preveda 100€ per un oggetto, ma costa 110€ (differenza +10€). Poi, per un altro oggetto, prevede 50€ ma costa 40€ (differenza -10€). Se sommassimo le differenze, avremmo +10€ + (-10€) = 0€. Sembrerebbe che il modello sia perfetto, ma non è così! Abbiamo fatto un errore di 10€ in un caso e di 10€ nell'altro.
Elevando al quadrato, come abbiamo detto prima, tutte le differenze diventano positive: (10€)^2 = 100 e (-10€)^2 = 100. La somma delle differenze al quadrato è 100 + 100 = 200. Dividendo per 2 (per fare la media), otteniamo uno scarto quadratico medio di 100. Questo numero ci dice che, in media, i nostri errori sono stati significativi, e non si sono annullati a vicenda.
Insomma, il quadrato ci rende tutti gli errori "visibili" e importanti.
Quali sono i limiti di questo SQM?
Nessuna misura è perfetta, e anche il nostro amico SQM ha qualche piccolo difetto, o meglio, delle caratteristiche che vanno comprese.
* Sensibilità agli outlier: Come abbiamo detto, dare più peso agli errori grandi significa che uno o due valori estremamente lontani dalla media (gli "outlier") possono gonfiare enormemente lo SQM. Questo può essere un problema se quei valori sono dovuti a errori di misurazione o a circostanze eccezionali, e non rappresentano la performance tipica del modello. È un po' come se un singolo errore catastrofico in un mobile IKEA facesse risultare l'intero montaggio un disastro, anche se il resto è venuto decentemente.
* Unità di misura "strana": Lo SQM ha unità di misura che sono il quadrato dell'unità originale. Se state misurando distanze in metri, lo SQM sarà in metri quadrati. Se state misurando temperature in gradi Celsius, lo SQM sarà in gradi Celsius al quadrato. Questo può rendere difficile l'interpretazione diretta del valore. Spesso, per questo motivo, si preferisce usare la radice quadrata dello scarto quadratico medio, che è l'Errore Quadratico Medio (RMSE, o Root Mean Squared Error). Questo ci riporta alle unità di misura originali, rendendolo più intuitivo. È come se, invece di dire "ho perso 10 metri quadrati di spazio", dicessi "ho perso 3.16 metri di lunghezza", che è forse più facile da visualizzare.
Quindi, la prossima volta che sentite parlare di "scarto quadratico medio", pensate a quella fatica per montare un mobile, o a quella volta che la vostra torta è venuta un po' diversa dalla foto. È un modo per quantificare quanto qualcosa è "fuori posto" rispetto a un ideale, dando però un peso maggiore a quegli svarioni epici che ci fanno un po' rimpiangere di aver iniziato.
E non preoccupatevi, non dovrete fare i conti con formule complesse ogni volta. L'importante è capire il concetto: stiamo misurando la "distanza" tra ciò che ci aspettavamo e ciò che è successo, con una penalità extra per gli errori più grossi. Semplice, no? Beh, quasi. 😉