Круг анализа данных
- Спроси: задай ясный вопрос («Хуже ли спят ученики, которые поздно сидят в телефоне?»).
- Собери данные: опросы, измерения, датчики, опыты или готовые наборы данных.
- Очисти данные.
- Упорядочи и преобразуй: отсортируй, сгруппируй, составь таблицы, переведи единицы.
- Проанализируй: сводные числа, закономерности, сравнения.
- Покажи и сделай вывод: нарисуй диаграмму, ответь на вопрос, скажи, насколько ты уверен.
Часто ответ рождает новый вопрос, и круг начинается заново. Инструменты бывают разные: от бумаги и калькулятора до электронных таблиц и языков программирования, например Python.
Сбор и очистка данных
Количественные данные — это числа (рост 152 cm). Качественные данные — это слова или категории (любимый вид спорта). Первичные данные ты собираешь сам; вторичные собрал кто-то другой.
Выборка — это группа, которую ты реально опрашиваешь. Чем больше выборка и чем случайнее выбор людей, тем честнее результат. Если спрашивать только друзей, появляется предвзятость.
Список для очистки
- Убери дубликаты (одна и та же запись дважды).
- Исправь или убери невозможные значения (25 часов сна в сутки).
- Реши, что делать с пропусками (пустыми клетками).
- Приведи единицы и написание к одному виду (cm и m; «Россия» и «россия»).
Безопасность данных
Для личных данных нужно разрешение, их нужно хранить надёжно, а перед передачей другим можно убрать имена (сделать данные анонимными).
Анализ данных: среднее, разброс, выбросы
Среднее = сумма значений ÷ количество значений. Медиана = значение посередине после сортировки (если значений чётное число, это среднее двух средних). Мода = самое частое значение. Размах = наибольшее − наименьшее; он показывает разброс.
Выброс — это значение, которое далеко от остальных. Это может быть ошибка или настоящий редкий случай. Выбросы тянут среднее, а медиану нет, поэтому для «перекошенных» данных, например доходов, медиана лучше.
Разведочный анализ данных — это взгляд на данные с разных сторон (таблицы, диаграммы, сводные числа) до проверки идеи. Группировка (например, по классам или городам) и объединение нескольких наборов данных могут показать новые закономерности.
Диаграммы, выводы и оценка
Выбирай диаграмму под задачу: столбчатая — сравнить группы, линейный график — изменение во времени, диаграмма рассеяния — две числовые величины, круговая — части целого, гистограмма — как распределены значения.
На диаграмме рассеяния точки, которые растут вместе, показывают положительную корреляцию; если одна величина растёт, а другая падает, это отрицательная корреляция. Корреляция — не причинность: продажи мороженого и случаи утопления растут летом из-за жары, а не из-за друг друга.
Оцени свой вывод
Выборка была большой и честной? Ошибки очищены? Мог бы другой анализ тех же данных дать другой ответ? Честно назови ограничения. При больших данных (миллионы строк, например датчики загрязнения воздуха в городе) компьютеры делают те же шаги быстрее, но нужна та же аккуратность.
Главные формулы и определения
- Среднее = сумма значений ÷ количество значений
- Медиана = значение посередине в отсортированных данных (чётное количество: среднее двух средних значений)
- Мода = самое частое значение
- Размах = максимум − минимум
- Корреляция ≠ причинность
Разобранные примеры
1. Очисти данные о сне: 7, 8, 8 (один и тот же ученик дважды), 25, пропуск, 6.
Убираем повторное 8, невозможное 25 и пропуск. Чистые данные: 7, 8, 6.
2. Найди среднее и медиану для 6, 7, 7, 8, 8, 8, 9, 10.
Сумма = 63, количество = 8, среднее = 63 ÷ 8 = 7.875 ≈ 7.9. Два средних значения — 8 и 8, поэтому медиана = 8.
3. Добавь выброс 24 к данным выше. Что будет со средним и медианой?
Новая сумма = 87, количество = 9, среднее = 87 ÷ 9 ≈ 9.67 (большой скачок). После сортировки 5-е значение равно 8, поэтому медиана = 8 (не изменилась). Медиана устойчива к выбросам.
Частые ошибки
- Пропустить очистку. Одно невозможное значение может испортить среднее.
- Забыть отсортировать данные перед поиском медианы.
- Утверждать, что одно вызывает другое, только потому что они коррелируют.
- Использовать круговую диаграмму для данных, которые не составляют одно целое, или линейный график для категорий.