Il ciclo dell'analisi dei dati
- Chiedi: fai una domanda chiara ("Gli studenti che usano il telefono fino a tardi dormono meno?").
- Raccogli i dati: sondaggi, misure, sensori, esperimenti o dati già esistenti.
- Pulisci i dati.
- Organizza / trasforma: ordina, raggruppa, fai tabelle, cambia le unità.
- Analizza: riassunti, schemi, confronti.
- Visualizza e concludi: fai un grafico, rispondi alla domanda, di' quanto sei sicuro.
Spesso la risposta fa nascere una nuova domanda, e il ciclo ricomincia. Gli strumenti vanno da carta e calcolatrice ai fogli di calcolo e ai linguaggi di programmazione come Python.
Raccogliere e pulire i dati
I dati quantitativi sono numeri (altezza 152 cm). I dati qualitativi sono parole o categorie (sport preferito). I dati primari li raccogli tu; i dati secondari li ha raccolti qualcun altro.
Un campione è il gruppo a cui chiedi davvero. Un campione più grande e scelto a caso dà risultati più giusti; se chiedi solo ai tuoi amici aggiungi un pregiudizio (bias).
Lista per pulire
- Togli i duplicati (lo stesso dato due volte).
- Correggi o togli i valori impossibili (25 ore di sonno in un giorno).
- Decidi cosa fare dei valori mancanti (spazi vuoti).
- Rendi uguali unità e scrittura (cm o m; "India" o "india").
Tenere i dati al sicuro
I dati personali richiedono il permesso, vanno conservati in modo sicuro e si possono togliere i nomi (anonimizzare) prima di condividerli.
Analizzare i dati: medie, dispersione, valori anomali
Media = somma dei valori ÷ numero dei valori. Mediana = valore centrale dopo aver ordinato (se i valori sono in numero pari, la media dei due centrali). Moda = valore più frequente. Intervallo = più grande − più piccolo; mostra quanto i dati sono sparsi.
Un valore anomalo (outlier) è un valore lontano dagli altri. Può essere un errore oppure un caso raro ma vero. La media viene spinta dai valori anomali; la mediana no, quindi la mediana è meglio per dati sbilanciati come i redditi.
L'analisi esplorativa dei dati significa guardare i dati da tanti lati (tabelle, grafici, riassunti) prima di mettere alla prova un'idea. Raggruppare (per esempio per classe o città) e unire più insiemi di dati può far emergere schemi nuovi.
Visualizzare, concludere e valutare
Scegli il grafico giusto per il compito: grafico a barre per confrontare gruppi, grafico a linee per il cambiamento nel tempo, grafico a dispersione per due variabili numeriche, grafico a torta per le parti di un intero, istogramma per come sono distribuiti i valori.
In un grafico a dispersione, punti che salgono insieme mostrano una correlazione positiva; se uno sale mentre l'altro scende c'è una correlazione negativa. Correlazione non significa causalità: le vendite di gelato e gli annegamenti aumentano entrambi in estate per il caldo, non perché uno causi l'altro.
Valuta la tua conclusione
Il campione era grande e giusto? Hai pulito gli errori? Un'altra analisi degli stessi dati potrebbe dare una risposta diversa? Dichiara i limiti con onestà. Con i big data (milioni di righe, per esempio i sensori dell'inquinamento dell'aria in una città) i computer fanno gli stessi passi più in fretta, ma serve la stessa attenzione.
Formule e definizioni chiave
- Media = somma dei valori ÷ numero dei valori
- Mediana = valore centrale dei dati ordinati (numero pari: media dei due valori centrali)
- Moda = valore più frequente
- Intervallo = massimo − minimo
- Correlazione ≠ causalità
Esempi svolti
1. Pulisci questi dati sul sonno: 7, 8, 8 (lo stesso studente due volte), 25, vuoto, 6.
Togli l'8 duplicato, il 25 impossibile e lo spazio vuoto. Dati puliti: 7, 8, 6.
2. Trova media e mediana di 6, 7, 7, 8, 8, 8, 9, 10.
Somma = 63, quantità = 8, media = 63 ÷ 8 = 7.875 ≈ 7.9. I due valori centrali sono 8 e 8, quindi mediana = 8.
3. Aggiungi un valore anomalo 24 ai dati qui sopra. Cosa succede a media e mediana?
Nuova somma = 87, quantità = 9, media = 87 ÷ 9 ≈ 9.67 (un grande salto). Ordinati, il 5° valore è 8, quindi mediana = 8 (nessun cambiamento). La mediana resiste ai valori anomali.
Errori comuni
- Saltare la pulizia. Un solo valore impossibile può rovinare una media.
- Dimenticare di ordinare i dati prima di trovare la mediana.
- Dire che una cosa causa un'altra solo perché sono correlate.
- Usare un grafico a torta per dati che non formano un intero, o un grafico a linee per delle categorie.