# 探索的データ分析（EDA）の手順と方法について実データ×Pythonで理解しよう！

> 当サイト【スタビジ】の本記事では、データ分析において非常に重要な探索的データ分析（EDA）のステップと方法について解説していきます！地味に思えるかもしれませんが、非常に重要でEDAなしには精度の高いモデルは構築できませんし、意味のある意思決定はできません。実データを題材にPythonを使いながら手を動かしてEDAを学んでいきますよ。

- URL: https://toukei-lab.com/eda
- 公開: 2022.11.29 / 更新: 2026.10.28
- サイト: スタビジ（https://toukei-lab.com）

:::talk{who="umatan"}
本記事では、データ分析において非常に重要な探索的データ分析（EDA）のステップと方法について解説していきます！地味に思えるかもしれませんが、非常に重要でEDAなしには精度の高いモデルは構築できませんし、意味のある意思決定はできません。
:::

こんにちは！

データサイエンティストのウマたん([@statistics1012](https://twitter.com/statistics1012?lang=ja))です！！

データ分析において非常に重要なのですがあまり日の目を見ないステップが、**探索的データ解析（EDA）。**

どうしてもデータ分析というと機械学習の部分が注目されがちなのですが、<mark>精度の高い機械学習モデルを構築するためにはその前手のEDAが必要不可欠なんです！</mark>

そして、データ分析に費やす時間のうち9割以上は実はEDAやデータの前処理・[特徴量エンジニアリング](/variable-engineering)であるといっても過言ではありません。

:::talk{who="robotan"}
え？！そんなに時間がかかるのー！？
:::

:::talk{who="umatan"}
機械学習モデル構築をする部分の比重が高そうに見えるんだけど実はそんなことがないんだよー！
:::

この記事では、そんなEDAについて<mark>どんなことが必要になるのか解説しながら最終的に実データを使ってPythonでEDAをおこなっていきたい</mark>と思います。

それではいってみましょうー！

以下の動画でも詳しく解説していますのでチェックしてみてください！

::youtube{#FardCvqaJKg}

## 探索的データ分析（EDA）とは

![stories data](/wp-content/uploads/2021/01/Data-points-rafiki-e1612221774326.png)

まずは、EDAとは。

<mark>そもそもEDA自体なかなか聞き慣れない言葉かもしれません。</mark>

EDAとは「**Exploratory Data Analysis**」の略であり、日本語に訳すと探索的データ分析となります。

データ分析のステップには様々な工程があり、「[CRISP-DM](/crisp-dm)」と呼ばれるステップが非常に有名です。

![CRISP-DM](/wp-content/uploads/2020/07/1078px-CRISP-DM_Process_Diagram-1.png)

（出典：[Wikipedia-‘Cross-industry standard process for data mining](https://en.wikipedia.org/wiki/Cross-industry_standard_process_for_data_mining)’）

CRISP-DMとは、「**Cross-industry standard process for data mining**」の略であり、[データマイニング](/data-mining)・データサイエンス・AI開発などにおいて業界横断で標準的に使えるデータ分析プロセスになります。

このCRISP-DMには全部で6つのプロセスがあります。

:::box
**Business Understanding（ビジネス理解）**\
**Data Understanding（データ理解）**\
**Data Preparation（データ準備）**\
**Modeling（モデル構築）**\
**Evaluation（評価）**\
**Deployment（実装）**
:::

この中でEDAは**データ理解**の部分になります。

<mark>データの構造を理解して、前処理・特徴量エンジニアリングそしてモデル構築に進むための材料にします。</mark>

この部分を疎かにしてしまうと、結局意味のあるデータ分析は出来ません。

CRISP-DMの図でビジネス理解とデータ理解が行き来しているように、この工程では<mark>EDAでデータを理解しながらビジネス課題の特定と筋の良い仮説出しをおこなっていきます。</mark>

**非常に重要なステップ**だということが理解いただけたでしょうか？

CRISP-DMに関しては以下の動画や記事でも詳しく解説しているのでもう少し知りたいという方は是非見てみてください！

::youtube{#i0OhHzN6yNg}

<https://toukei-lab.com/crisp-dm>

## 探索的データ分析（EDA）のステップ

続いて、EDAの手順について見ていきましょう！

### どこにどんなデータがあるか確認する

![stories Memory storage](/wp-content/uploads/2021/01/Memory-storage-amico.png)

当たり前ですが、**どこにどんなデータがあるかまずは確認しなくてはいけません。**

ER図などを基にして必ず<mark>どこにどんなデータがどのように格納されていてどのように関連付けられているか</mark>確認しましょう！

ER図とは、データベースの設計図のことで、Entity RelationshipからER図と呼ばれています。

ER図には**様々なデータテーブルがどのように関連付けられていてどのようなカラムを持っているか**が図で記載されています。

![ER図イメージ](/wp-content/uploads/2021/03/03a2c916928e84ad8a4c6df89a3a5b39.jpg)

そして必要に応じてCRISP-DMのデータ準備の段階で<mark>それぞれのデータテーブルの情報を連結する</mark>という作業が行われます。

:::ref
例えば、**Webサイトにおける顧客の行動ログデータのテーブルと顧客の会員情報のデータは別々のテーブルで管理されている**、というような状況が考えられます。

この時、あるユーザーの購入確率みたいなものを予測する時には別々に存在する**ログデータ**と**会員情報データ**を会員IDをキーにして紐づけて予測の元となるデータを構築していきます。
:::

### データの質と量をおおざっぱに把握する

続いてデータの質と量をおおざっぱに把握していきます。

:::box
**データテーブルの行数と列数はどれくらいあるのか。**

**どんなカラムが入っているのか。**

**それぞれのカラムにはどんなデータがどんな型で格納されているのか。**
:::

ひとまずデータの質と量を確認することが大事です。

### 各種統計量を把握する

それぞれのカラムの**平均値や最大値・最小値**など基本的な統計量について確認していきましょう！

これによりデータの勘所を掴んでいきます。

### 相関関係を確認する

![stories data trend](/wp-content/uploads/2021/01/Data-Trends-bro-e1615808188513.png)

各種変数の**相関関係**を確認していきます。

仮にアイスクリームの売上を予測する際に気温を横軸に取って売上を縦軸に取った場合に<mark>気温が高ければ高いほど売上が高くなっていた場合は正の相関があるといい、相関関係は-1から1の間で表されます。</mark>

![相関関係](/wp-content/uploads/2020/06/fc81d577c78a55155bceca0bbc55097a.jpg)

ただ注意しておいてほしいのが<mark>相関関係があると分かっても因果関係があるとは言えない</mark>ということ。

AとBが原因と結果の関係になっているもので相関関係とは微妙に違います。

:::ref
例えば、耳の大きさと学力の高さに正の相関関係があったときに、実はその裏には年齢という隠された因子があるという状況が考えられます。

赤ちゃんを含む全年齢を対象とした時、年齢が高いほど耳が大きくなり年齢が高いほど学力が高くなるので、<mark>一見耳の大きさと学力の高さには相関関係が生まれるのですが、そこには直接的な因果関係がないことが分かります。</mark>
:::

このように相関関係をそのまま言葉通り鵜呑みにしてさも因果関係があるかのようにふるまうのは危険であるということはおさえておきましょう。

<https://toukei-lab.com/correlation-causal>

### 欠損値を把握する

![No data](/wp-content/uploads/2021/01/No-data-amico-e1613730436588.png)

続いて**欠損値**について確認していきましょう！

データによっては欠損値が存在する可能性があります。

<mark>欠損データをそのまま分析してしまうと様々な不都合が生じるので、欠損値に対しての対処方法はある程度おさえておくことが重要です。</mark>

欠損値については実はそれだけで1冊の書籍になってしまうのですが、ここでは簡単に確認しておきましょう！

実は欠損値には欠損の仕方によっていくつかのパターンがあります。

![欠損値](/wp-content/uploads/2017/12/448d413381babfc1c8221ca0e5009e2b.png)

そしてそんな欠損値の対処方法として欠損の生じているデータを削除してしまう方法や何らかの処理によって欠損値を埋める方法がいくつかあります。

ただ、実は[Light gbm](/light-gbm)をはじめとする[決定木モデル](/%e6%b1%ba%e5%ae%9a%e6%9c%a8)の機械学習手法では欠損値が生じていても問題なく利用できるんです。

[線形回帰モデル](/%e5%9b%9e%e5%b8%b0%e5%88%86%e6%9e%90)や[ニューラルネットワーク](/nn)を構築する場合は欠損値処理を行いましょう。

欠損値処理についてより詳しくは以下の記事で解説していますので是非チェックしてみてください！

<https://toukei-lab.com/missing-value>

### 外れ値を把握する

![Data Trends](/wp-content/uploads/2020/12/Data-Trends-amico-min-e1615808046774.png)

続いて**外れ値**を確認していきます。

<mark>外れ値があると推定精度が下がる可能性が高いので外れ値の有無を確認する作業は非常に大事です。</mark>

例えば、全く相関のないバラバラなデータがあったとき、そこに1つでも外れ値が紛れ込んでしまうと、一気に相関関係が生まれてしまうことになりかねません。

注意しましょう！

### 集計や層別を通してデータを可視化する

![stories Data-pana](/wp-content/uploads/2021/01/Data-pana-e1615808087658.png)

これ以外にもたくさんの切り口でEDAを行っていくことができます。

<mark>ある変数に注目して集計や層別を行うことが非常に重要です。</mark>

例えば、顧客の購入単価が毎年下がっていたとしても**男女の性別データでデータを層別して見てみると男性は上がっていて女性が大きく下がっているのかもしれません。**

月別に見てみると、**冬のシーズンは変わらず夏のシーズンだけ極端に購入単価が下がっているかもしれません。**

切り口を変えるとキリがないのですが、様々な観点でデータを切って可視化し比較していくクセはつけるようにしましょう！

:::talk{who="umatan"}
相関図や箱ひげ図、ヒストグラムなどを描いてみよう！
:::

## 探索的データ分析（EDA）を実データ×Pythonで実践！

![pc python](/wp-content/uploads/2019/08/Work-time-amico-min-e1613688546361-1024x875.png)

それでは早速探索的データ分析（EDA）を実践してみましょう！

### データコンペから実データを持ってこよう！

[DataDojo](https://data-dojo.org/competitions/0aedc9c6-9bb1-45a5-a4b6-a1be3002dbd3)というデータコンペプラットフォームの中の「中古マンション価格予測チャレンジ」のデータを使います。

国産データコンペのNishika（2026年3月にサービス終了）で開催されていた「中古マンション価格予測」のコンペで、今はDataDojoで同じデータを使ってコンペに参加できます。

[DataDojo](https://data-dojo.org/competitions/0aedc9c6-9bb1-45a5-a4b6-a1be3002dbd3)にGoogleアカウントでログインして、コンペの「データ」タブからtrain.zipをダウンロードしてください（※ログインしないとデータをダウンロードできません）。

train.zipを開くと中には以下のように複数のCSVファイルが入っています。

![Matplotlib](/wp-content/uploads/2021/03/1dba507671ff61d7333c3fad5739b39d.jpg)

今回はこれらをデータフレームとして結合させるところからデータの確認・可視化をおこなっていきます。

そのためにまずはライブラリをimportしてあげましょう！

```python
import glob
import pandas as pd
import matplotlib.pyplot as plt
%matplotlib inline
```

**glob**は<mark>ディレクトリに格納されたファイル名を抽出するのに便利なライブラリ</mark>で、今回は複数のファイルがtrainフォルダ内にデータとして格納されているのでそれらのファイル名を抽出するのに必要になります。

<https://toukei-lab.com/glob>

現在trainというフォルダにファイルが入っているとすると、以下のように記述することで**train内のファイル名を全て抽出**することができます。

```python
files = glob.glob("train/*.csv")
```

この時、\*は**ワイルドカード**と呼ばれ、このようにワイルドカードを指定することで全てのファイル名を該当させることができます。

filesを見てみると以下のようになっていることが分かります。

:::box
\[‘train/40.csv’,\
‘train/41.csv’,\
‘train/43.csv’,\
‘train/42.csv’,\
‘train/46.csv’,\
‘train/47.csv’,\
‘train/45.csv’,\
‘train/44.csv’,\
‘train/37.csv’,\
‘train/23.csv’,\
‘train/22.csv’,\
・・・
:::

各ファイル名がリスト形式で格納されていることが分かりますねー！

globは非常によく使うので是非覚えておいてください。

このデータフレームの中身を見てみると・・・

```python
pd.read_csv(files[0])
```

以下のようになっていることが分かります。

![Nishika data](/wp-content/uploads/2021/03/Nishika-data-min.jpg)

各ファイルそれぞれの格納されているサンプル数は違いますが、全て同じカラムになっています。

そのため、これらのデータをfor文で回して結合させ1つのデータフレームにしていきましょう！

```python
data_list = []
for file in files:
    data_list.append(pd.read_csv(file, index_col=0))
df = pd.concat(data_list)
```

これにて使うデータの準備が完了です。

<https://toukei-lab.com/append>

### データの量と質・欠損値を確認していこう！

それでは、先程の流れの通り、まずは**データの量と質**を確認していきます。

```python
df.shape
```

このように記述してあげることで、データがどれくらいの行数・列数で格納されているのかが分かります。

:::box
(637351, 27)
:::

63万行ものデータ数がありますが、実務でログデータなどを扱う場合は何千万行ものデータ数を扱うことも多いので、それほど多くはないです。

カラムの数は27個あるようです。

それぞれのカラムについて確認してみましょう！

以下のように記述してあげることで、<mark>データフレームのカラムについて確認</mark>することが可能です。

```python
df.info()
```

![Nishika data2](/wp-content/uploads/2021/03/Nishika-data2-724x1024.jpg)

カラム名の隣にNon-Null Countというのがあり、ここは<mark>欠損していないデータがどのくらいあるか</mark>が記載してあります。

よくよく見てみると、0 Non-Null Countというカラムが結構ありますねー！

実はこれは、**データが1つも入っていないゴミカラム**です。

:::talk{who="robotan"}
え？！そんな状況あり得るの！？
:::

:::talk{who="umatan"}
設計時はデータがあったけど、計測時はデータとして入ってきていないようなデータはあるあるだよー！
:::

そうなんです。実データってかなり汚いんです。

<mark>EDAをせずにそのままモデルに投入すると大変なことになる</mark>のがなんとなく分かりますね。

さらにカラムの型がObjectになっていることが分かります。

Object型とは各要素の型が異なっており、文字列のstr型や数値のInt型で格納されています。

例えば、面積（㎡）もObject型になっていますがどんなデータが格納されているのか確認してみましょう！

以下のように記述してあげることで、面積にはどんなデータが格納されているのかが分かります。

```python
pd.set_option('display.max_rows', 500)
df["面積（㎡）"].value_counts()
```

出力される行が省略されないようにpd.set_optionで最大出力を500行にしています。

出力されたデータを見てみると、実は**2000㎡以上**という文字列データが隠れていることが分かります。

このデータに関しては2000に変換してあげた方がよさそうですね。

以下のように変換してあげることで全て文字列が数値型にすることができました。

```python
df["面積（㎡）"] = df["面積（㎡）"].replace("2000㎡以上", "2000")
df["面積（㎡）"] = df["面積（㎡）"].astype(float)
```

この時、ポイントなのはfloat型に変換してあげることです。

この場合は、面積データに欠損値すなわちNull値がないのでfloatの部分をintにしてあげても問題ないのですが、Null値がある場合はint型に変換することができません。

実はNull値はfloat型として定義されているのです。

Pandasのデータフレームの型変換で数値型に変換する際はfloat型で変換するのがベターです。

### 統計量を見ていこう！

続いて**統計量**を見ていきましょう！

```python
df["面積（㎡）"].describe()
```

describeを利用することで、簡単な統計量を確認することができます。

:::box
count 637351.000000\
mean 58.663570\
std 26.712019\
min 10.000000\
25% 45.000000\
50% 65.000000\
75% 75.000000\
max 2000.000000\
Name: 面積（㎡）, dtype: float64
:::

<mark>データ数、平均値、標準偏差、最小値、4分位点、最大値</mark>などが分かります。

面積の最小値は10㎡、最大値は2000㎡となっており、平均値は58㎡ほどのようです。

面積ごとのヒストグラムを見てみましょう！

ここでデータ可視化のライブラリ[Matplotlib](/python-matplotlib)の出番です！

```python
plt.hist(df["面積（㎡）"], bins=20, range=(0,200))
```

![Nishika　ヒストグラム](/wp-content/uploads/2021/03/6dee285996f5a74f60da6a9bc91c680d.png)

200㎡以上は非常に少数になっているので200㎡以下でX軸を切っています。

50㎡〜80㎡あたりが家族世帯でのボリュームゾーンになっていて、25㎡部分が一人暮らし需要によりボリュームゾーンになっていることが見て取れますね。

### 相関関係を見ていこう！

続いて、これらの面積と不動産の売上の**相関関係**について見ていきましょう！

```python
df[["取引価格（総額）_log", "面積（㎡）"]].corr()
```

相関係数を計算してみると・・・

**0.382755**

であり小〜中程度の相関があることが分かります。

また、以下のように散布図を見てみると・・・

```python
plt.scatter(x="取引価格（総額）_log", y="面積（㎡）", data=df)
```

![Nishika　散布図](/wp-content/uploads/2021/03/6a432376977bab5c85320b7f1bea8560.png)

やはり中程度の相関があることが分かります。

この時2000㎡以上のデータは非常に少数であり、全て2000㎡に丸めてしまっているので相関係数に大きな影響を与えている可能性があります。

相関係数は外れ値の影響を非常に受けやすいのです。

念の為2000㎡以上のデータを除外して相関係数を見てみましょう！

```python
df[df["面積（㎡）"]!=2000][["取引価格（総額）_log", "面積（㎡）"]].corr()
```

**0.390629！**

それほど変わらないですね。

## 探索的データ分析（EDA）のステップ　まとめ

本記事では、探索的データ分析（EDA）についてまとめてきました！

<mark>EDAを学ぶにはやはりしっかり手を動かしながら学ぶことが大事です。</mark>

ここで取り上げたステップを様々なデータで試してみながらEDAの勘所を掴んでいきましょう！

探索的データ分析（EDA）について詳しく知りたい方は以下のUdemy講座を僕が作成していますので是非参考にしてみてください！

#### [【初学者向け】データ分析コンペで楽しみながら学べるPython×データ分析講座](https://www.udemy.com/course/python-data/?referralCode=06466D9A805A034B1A97)

[![Udemy-course](/wp-content/uploads/2020/04/Udemy-me-min-1024x543.jpg)](https://www.udemy.com/course/python-data/?referralCode=06466D9A805A034B1A97)

<table class="table">
<tbody>
<tr>
<th>【オススメ度】</th>
<td><span class="stars" role="img" aria-label="5点中5点" data-value="5"></span></td>
</tr>
<tr>
<th>【講師】</th>
<td><span>僕自身！今なら購入時に「FLSHDGEJURXF」という講師クーポンコードを入れると90%オフ以上の割引価格になりますのでぜひご受講ください！</span></td>
</tr>
<tr>
<th>【時間】</th>
<td><span>4時間</span></td>
</tr>
<tr>
<th>【レベル】</th>
<td><span>初級～中級</span></td>
</tr>
</tbody>
</table>

僕自身がUdemyの色んなコースを受けてみた中で、<mark>他のコースにはないこんなコースあったらいいなみたいなコースを作ってみました。</mark>

このコースは、**なかなか勉強する時間がないという方に向けてコンパクトに分かりやすく必要最低限の時間で重要なエッセンスを学び取れるように**作成しています。

**アニメーションを使った概要編**と**ハンズオン形式で進む実践編**に分かれており、概要編ではYoutubeの内容をより体系的にデータ分析・機械学習導入の文脈でまとめています。

データサイエンスの基礎について基本のキから学びつつ、なるべく堅苦しい説明は抜きにしてイメージを掴んでいきます。

統計学・機械学習の基本的な内容を学び各手法の詳細についてもなるべく概念的に分かりやすく理解できるように学んでいきます。

そしてデータ分析の流れについては実務に即した[CRISP-DM](/crisp-dm)というフレームワークに沿って体系的に学んでいきます！

データ分析というと機械学習でモデル構築する部分にスポットがあたりがちですが、それ以外の工程についてもしっかりおさえておきましょう！

続いて実践編ではデータコンペの中古マンションのデータを題材にして、実際に手を動かしながら機械学習手法を実装していきます。

ここでは、探索的にデータを見ていきながらデータを加工し、その上で[Light gbm](/light-gbm) という機械学習手法を使ってモデル構築までおこなっていきます。

是非興味のある方は受講してみてください！

Twitterアカウント([@statistics1012](https://twitter.com/statistics1012?lang=ja))にメンションいただければ1500円になる講師クーポンを発行いたします！

::button[このコースを見てみる]{href="https://www.udemy.com/course/python-data/?referralCode=06466D9A805A034B1A97" note="＼30日以内なら返金無料／"}

また、当メディアが運営するAIデータサイエンス特化スクールの「[スタアカ（スタビジアカデミー）](https://toukei-lab.com/achademy/)」では、EDAをはじめとしたデータ分析のステップについて網羅的に学べますのでぜひチェックしてみてください！

#### [スタアカ（スタビジアカデミー）](https://toukei-lab.com/achademy/)

[![スタアカ（スタビジアカデミー）のトップページ](/wp-content/uploads/2026/10/achademy-top.jpg)](https://toukei-lab.com/achademy/)

公式サイト：<https://toukei-lab.com/achademy/>

<table class="table">
<tbody>
<tr>
<th>【価格】</th>
<td>ライトプラン：1,280円/月（全コースが受講し放題）<br>
プレミアムプラン：129,800円（通常149,800円・買い切り）</td>
</tr>
<tr>
<th>【オススメ度】</th>
<td><span class="stars" role="img" aria-label="5点中5点" data-value="5"></span></td>
</tr>
<tr>
<th>【サポート体制】</th>
<td><span class="stars" role="img" aria-label="5点中4点" data-value="4"></span></td>
</tr>
<tr>
<th>【受講形式】</th>
<td>オンライン形式</td>
</tr>
<tr>
<th>【学習範囲】</th>
<td>統計学・機械学習・ディープラーニングを網羅的に学ぶ<br>
生成AI（LLM・RAG・プロンプトエンジニアリング）を学ぶ<br>
SQLとPythonを組み合わせて実データを使った様々なワークを行う<br>
実践的なビジネスフレームワークを学ぶ<br>
マーケティングの実行プラン策定</td>
</tr>
</tbody>
</table>

月額1,280円のライトプランで、統計学から機械学習・生成AIまで全コースが受講し放題です！

<mark>プレミアムプランでは、24時間以内の質問対応と現役データサイエンティストとの1on1（30分×4回）を実施します！</mark>

カリキュラム自体は、他のスクールと比較して圧倒的に良い自信があるのでぜひ受講してみてください！

他のスクールのカリキュラムはPythonでの機械学習実装だけに焦点が当たっているものが多く、実務に即した内容になっていないものが多いです。

<mark>そんな課題感に対して、実務で使うことの多いSQLや機械学習のビジネス導入プロセスの理解などもあわせて学べるボリューム満点のコース</mark>になっています！

ウォルマートのデータを使って商品の予測分析をしたり、実務で使うことの多いGoogleプロダクトのBigQueryを使って投球分析をしたり、データサイエンティストに必要なビジネス・マーケティングの基礎を学んでマーケティングプランを作ってもらったりする盛りだくさんの内容になってます！

:::box
**・BigQuery上でSQL、Google Colab上でPythonを使い野球の投球分析**\
**・世界最大手小売企業のウォルマートの実データを用いた需要予測**\
**・ビジネス・マーケティングの基礎を学んで実際の企業を題材にしたマーケティングプランの策定**\
**・生成AIのAPIを使ってチャットボットやAIエージェントを作る**
:::

::button[スタアカの受講はこちら]{href="https://toukei-lab.com/achademy/" note="＼今すぐ試す／"}

EDAをおこなった後はデータの前処理や特徴量エンジニアリングといった作業に進んでいきます。

CRISP-DMでいうところのData preparation（データ準備）の工程であり地味ですが非常に重要であり、この部分がモデルの精度を左右します。

Data preparationにおいて重要な特徴量エンジニアリングについては以下の記事で解説していますので是非チェックしてみてください！

<https://toukei-lab.com/variable-engineering>

また機械学習手法については以下の記事でまとめていますのであわせてチェックしてみてください！

<https://toukei-lab.com/machine-learning-fresh>