データ分析のサイクル
- はっきりした問いを立てる(「夜遅くまでスマホを使う生徒は睡眠が短いか?」)。
- データを集める。アンケート、測定、センサー、実験、すでにあるデータセットなどを使います。
- データをクリーニングする。
- 整理・変形する。並べ替え、グループ分け、表づくり、単位の変更をします。
- 分析する。要約、パターン、比較を行います。
- グラフにして結論を出す。問いに答え、どのくらい確かかを伝えます。
答えから新しい問いが生まれることも多く、そのときはサイクルがまた最初から始まります。道具は、紙と電卓から、表計算ソフトやPythonのようなプログラミング言語まで、さまざまです。
データを集めて、きれいにする
量的データは数で表されるデータです(身長152 cm)。質的データは言葉や種類で表されるデータです(好きなスポーツ)。自分で集めたデータを一次データ、ほかの人が集めたデータを二次データといいます。
サンプルとは、実際にたずねる人たちのグループです。大きくて、ランダムに選んだサンプルのほうが、公平な結果になります。友だちだけにたずねるとバイアス(かたより)が入ります。
クリーニングのチェックリスト
- 重複(同じ記録が2回あること)を取り除く。
- ありえない値(1日の睡眠が25時間など)を直すか、取り除く。
- 欠けている値(空欄)をどうするか決める。
- 単位や表記をそろえる(cmとm、「India」と「india」など)。
データを安全に守る
個人のデータは、許可が必要で、安全に保管します。共有する前に、名前を消す(匿名化する)こともできます。
データを分析する:平均、ばらつき、外れ値
平均値 = 値の合計 ÷ 値の個数。中央値 = 並べ替えたときの真ん中の値(個数が偶数なら、真ん中の2つの平均)。最頻値 = いちばん多く出てくる値。範囲 = 最大値 − 最小値。ばらつきの大きさを表します。
外れ値とは、ほかの値から大きく離れた値です。まちがいのこともあれば、本当にまれなケースのこともあります。平均値は外れ値に引っぱられますが、中央値は引っぱられません。そのため、収入のようにかたよったデータでは中央値のほうが向いています。
探索的データ分析とは、考えを検証する前に、表・グラフ・要約など、いろいろな角度からデータを見ることです。たとえばクラスや都市ごとにグループ分けしたり、複数のデータセットを組み合わせたりすると、新しいパターンが見えてくることがあります。
グラフにして、結論を出し、見直す
目的に合ったグラフを選びましょう。棒グラフはグループの比較、折れ線グラフは時間による変化、散布図は2つの数の関係、円グラフは全体の中の割合、ヒストグラムは値の散らばり方を見るのに使います。
散布図で、点がいっしょに右上がりになれば正の相関です。一方が増えるともう一方が減るなら負の相関です。相関は因果ではありません。アイスクリームの売り上げと水難事故はどちらも夏に増えますが、それは暑さのせいで、おたがいが原因ではありません。
結論を見直そう
サンプルは大きくて公平だったか。まちがいはクリーニングしたか。同じデータでも、別の分析をすれば違う答えが出ないか。限界は正直に書きましょう。ビッグデータ(何百万行もあるデータ。たとえば都市の大気汚染センサー)では、コンピューターが同じ手順をずっと速く行いますが、必要な注意は同じです。
重要な公式と用語
- 平均値 = 値の合計 ÷ 値の個数
- 中央値 = 並べ替えたデータの真ん中の値(個数が偶数なら、真ん中の2つの平均)
- 最頻値 = いちばん多く出てくる値
- 範囲 = 最大値 − 最小値
- 相関 ≠ 因果
例題
1. この睡眠データをクリーニングしましょう:7, 8, 8(同じ生徒が2回)、25、空欄、6。
重複している8、ありえない25、空欄を取り除きます。きれいなデータは 7, 8, 6 です。
2. 6, 7, 7, 8, 8, 8, 9, 10 の平均値と中央値を求めましょう。
合計 = 63、個数 = 8 なので、平均値 = 63 ÷ 8 = 7.875 ≈ 7.9。真ん中の2つの値は8と8なので、中央値 = 8。
3. 上のデータに外れ値24を加えます。平均値と中央値はどうなりますか?
新しい合計 = 87、個数 = 9 なので、平均値 = 87 ÷ 9 ≈ 9.67(大きく上がる)。並べ替えると5番目の値は8なので、中央値 = 8(変わらない)。中央値は外れ値に強いのです。
よくある間違い
- クリーニングを飛ばしてしまう。ありえない値が1つあるだけで、平均値がめちゃくちゃになります。
- 中央値を求める前に、データを並べ替えるのを忘れる。
- 相関があるだけで、一方がもう一方の原因だと言ってしまう。
- 合計が1つの全体にならないデータに円グラフを使う。または、種類のデータに折れ線グラフを使う。