O ciclo da análise de dados
- Perguntar: faça uma pergunta clara ("Quem usa o celular tarde da noite dorme menos?").
- Coletar dados: pesquisas, medições, sensores, experimentos ou conjuntos de dados que já existem.
- Limpar os dados.
- Organizar / transformar: ordenar, agrupar, montar tabelas, mudar unidades.
- Analisar: resumos, padrões, comparações.
- Visualizar e concluir: fazer um gráfico, responder à pergunta e dizer o quanto você tem certeza.
Muitas vezes a resposta traz uma nova pergunta, e o ciclo recomeça. As ferramentas vão do papel e da calculadora até planilhas e linguagens de programação como Python.
Coletar e limpar os dados
Dados quantitativos são números (altura 152 cm). Dados qualitativos são palavras ou categorias (esporte favorito). Dados primários você mesmo coleta; dados secundários foram coletados por outra pessoa.
Uma amostra é o grupo que você realmente pergunta. Uma amostra maior e escolhida ao acaso dá resultados mais justos; perguntar só aos amigos cria viés (uma inclinação que distorce o resultado).
Lista de limpeza
- Tire as duplicatas (o mesmo registro duas vezes).
- Corrija ou tire os valores impossíveis (25 horas de sono em um dia).
- Decida o que fazer com os valores ausentes (vazios).
- Deixe unidades e grafia iguais (cm e m; "Índia" e "india").
Manter os dados seguros
Dados pessoais precisam de permissão e devem ser guardados com segurança. Os nomes podem ser retirados (anonimizados) antes de compartilhar.
Analisar os dados: médias, dispersão e outliers
Média = soma dos valores ÷ quantidade de valores. Mediana = valor do meio depois de ordenar (se a quantidade é par, é a média dos dois valores do meio). Moda = valor que mais aparece. Amplitude = maior − menor; mostra o quanto os dados se espalham.
Um outlier é um valor bem longe dos outros. Pode ser um erro ou um caso raro de verdade. A média é puxada pelos outliers; a mediana não, por isso a mediana é melhor para dados desiguais, como rendas.
Análise exploratória de dados é olhar os dados por vários lados (tabelas, gráficos, resumos) antes de testar uma ideia. Agrupar (por exemplo, por turma ou cidade) e juntar vários conjuntos de dados pode revelar padrões novos.
Visualizar, concluir e avaliar
Escolha o gráfico certo para cada tarefa: gráfico de barras para comparar grupos, gráfico de linhas para mudança ao longo do tempo, gráfico de dispersão para duas variáveis numéricas, gráfico de pizza para partes de um todo, histograma para ver como os valores se distribuem.
Em um gráfico de dispersão, pontos que sobem juntos mostram correlação positiva; quando um sobe e o outro desce, há correlação negativa. Correlação não é causalidade: as vendas de sorvete e os afogamentos aumentam no verão por causa do calor, e não um por causa do outro.
Avalie sua conclusão
A amostra era grande e justa? Os erros foram limpos? Outra análise dos mesmos dados poderia dar outra resposta? Diga os limites com honestidade. Com big data (milhões de linhas, como sensores de poluição do ar de uma cidade), os computadores fazem os mesmos passos mais rápido, mas o cuidado é o mesmo.
Fórmulas e definições principais
- Média = soma dos valores ÷ quantidade de valores
- Mediana = valor do meio dos dados ordenados (quantidade par: média dos dois valores do meio)
- Moda = valor mais frequente
- Amplitude = máximo − mínimo
- Correlação ≠ causalidade
Exemplos resolvidos
1. Limpe estes dados de sono: 7, 8, 8 (o mesmo aluno duas vezes), 25, vazio, 6.
Tire o 8 repetido, o 25 impossível e o vazio. Dados limpos: 7, 8, 6.
2. Calcule a média e a mediana de 6, 7, 7, 8, 8, 8, 9, 10.
Soma = 63, quantidade = 8, média = 63 ÷ 8 = 7.875 ≈ 7.9. Os dois valores do meio são 8 e 8, então a mediana = 8.
3. Acrescente um outlier 24 aos dados acima. O que acontece com a média e a mediana?
Nova soma = 87, quantidade = 9, média = 87 ÷ 9 ≈ 9.67 (um grande salto). Ordenados, o 5º valor é 8, então a mediana = 8 (não muda). A mediana resiste a outliers.
Erros comuns
- Pular a limpeza. Um único valor impossível pode estragar uma média.
- Esquecer de ordenar os dados antes de achar a mediana.
- Dizer que uma coisa causa outra só porque elas são correlacionadas.
- Usar gráfico de pizza para dados que não somam um todo, ou gráfico de linhas para categorias.