데이터 분석

데이터 분석의 순환 과정

1. 분명한 질문을 던져요 ("밤늦게 휴대폰을 쓰는 학생은 잠을 덜 잘까?").
2. 자료를 모아요. 설문, 측정, 센서, 실험, 이미 있는 자료를 쓸 수 있어요.
3. 자료를 정리해요.
4. 정돈하고 바꿔요. 줄 세우기, 묶기, 표 만들기, 단위 바꾸기를 해요.
5. 분석해요. 요약, 패턴, 비교를 해요.
6. 그래프로 보여 주고 결론을 내요. 질문에 답하고, 얼마나 확실한지도 말해요.

답을 얻고 나면 새 질문이 생기는 일이 많아서, 순환이 다시 시작돼요. 도구는 종이와 계산기부터 스프레드시트, 파이썬 같은 프로그래밍 언어까지 다양해요.

자료 모으기와 정리하기

양적 자료는 숫자예요(키 152 cm). 질적 자료는 말이나 종류예요(좋아하는 운동). 직접 자료는 내가 직접 모은 것이고, 간접 자료는 다른 사람이 모은 것이에요.

표본은 실제로 물어본 집단이에요. 더 크고 무작위로 뽑은 표본이 더 공정한 결과를 줘요. 친구들에게만 물어보면 편향이 생겨요.

정리 체크리스트

• 중복(같은 기록이 두 번)을 지워요.
• 불가능한 값(하루 25시간 수면)은 고치거나 지워요.
• 빠진 값(빈칸)을 어떻게 할지 정해요.
• 단위와 철자를 똑같이 맞춰요(cm와 m, "India"와 "india").

자료를 안전하게 지키기

개인 정보는 허락을 받아야 하고, 안전하게 보관해야 해요. 공개하기 전에 이름을 지울 수도 있어요(익명화).

자료 분석하기: 평균, 퍼짐, 이상치

평균 = 값의 합 ÷ 값의 개수. 중앙값 = 줄 세운 뒤 가운데 값(개수가 짝수이면 가운데 두 값의 평균). 최빈값 = 가장 많이 나온 값. 범위 = 가장 큰 값 − 가장 작은 값이고, 값이 얼마나 퍼져 있는지 보여 줘요.

이상치는 나머지 값에서 멀리 떨어진 값이에요. 실수일 수도 있고, 진짜 드문 경우일 수도 있어요. 평균은 이상치에 끌려가지만 중앙값은 그렇지 않아요. 그래서 소득처럼 한쪽으로 치우친 자료에는 중앙값이 더 좋아요.

탐색적 데이터 분석은 아이디어를 검증하기 전에 자료를 여러 방향에서(표, 그래프, 요약) 살펴보는 거예요. 반이나 도시별로 묶거나 여러 자료를 합치면 새로운 패턴이 보일 수 있어요.

그래프로 보여 주기, 결론 내리기, 평가하기

목적에 맞는 그래프를 골라요. 막대그래프는 집단을 비교할 때, 꺾은선그래프는 시간에 따른 변화를 볼 때, 산점도는 숫자 두 가지를 함께 볼 때, 원그래프는 전체에서 부분의 몫을 볼 때, 히스토그램은 값이 어떻게 퍼져 있는지 볼 때 써요.

산점도에서 점들이 함께 오르면 양의 상관관계예요. 하나가 오를 때 다른 하나가 내려가면 음의 상관관계예요. 상관관계는 인과관계가 아니에요. 아이스크림 판매량과 물놀이 사고는 둘 다 여름에 늘어나는데, 서로 때문이 아니라 더위 때문이에요.

결론 평가하기

표본은 충분히 크고 공정했나요? 오류는 정리했나요? 같은 자료를 다르게 분석하면 다른 답이 나올 수 있나요? 한계를 솔직하게 말하세요. 빅데이터(수백만 줄, 예를 들어 도시의 대기오염 센서)는 컴퓨터가 같은 단계를 더 빠르게 해 주지만, 똑같은 주의가 필요해요.

핵심 공식과 정의

• 평균 = 값의 합 ÷ 값의 개수
• 중앙값 = 줄 세운 자료의 가운데 값 (개수가 짝수이면 가운데 두 값의 평균)
• 최빈값 = 가장 많이 나온 값
• 범위 = 최댓값 − 최솟값
• 상관관계 ≠ 인과관계

풀이 예제

자주 하는 실수

• 정리를 건너뛰는 것. 불가능한 값 하나가 평균을 망칠 수 있어요.
• 중앙값을 구하기 전에 자료를 줄 세우는 것을 잊는 것.
• 상관관계가 있다는 이유만으로 하나가 다른 하나의 원인이라고 말하는 것.
• 합쳐서 하나의 전체가 되지 않는 자료에 원그래프를 쓰거나, 종류별 자료에 꺾은선그래프를 쓰는 것.