# 【入門】PySparkとは？使い方を分かりやすく解説！

> 当サイト【スタビジ】の本記事では、Pythonで分散処理を行うライブラリ

- URL: https://toukei-lab.com/pyspark
- 公開: 2025.04.06 / 更新: 2025.05.06
- サイト: スタビジ（https://toukei-lab.com）

:::talk{who="umatan"}
当サイト【スタビジ】の本記事では、Pythonで分散処理を行うライブラリ”PySpark”を解説します！ビッグデータや機械学習など大量の演算処理をする時に欠かせない”PySpark”！サンプルコードを見ながら、使い方を学んでいきましょう！
:::

こんにちは！スタビジ編集部です！

AIやデータ分析、自動化などを実現するため、”**[Python](https://www.python.org/)**“を使ってWebアプリやサービスを開発する人が増えています。

特に<mark>ビッグデータの分析や機械学習といった分野で、Pythonを利用する方は多いと思います。</mark>

一方でこんな悩みもあると思います。

:::talk{who="man" side="left"}
Pythonで大量のデータを分析すると時間がかかる。。。
:::

:::talk{who="woman"}
プログラムの実行時間を減らして、効率よく機械学習モデルを作成したい！
:::

これらの悩みを解決するのがPythonで分散処理が出来るフレームワーク”**[PySpark](https://spark.apache.org/docs/latest/api/python/index.html)**“！

今回はそんな”**[PySpark](https://spark.apache.org/docs/latest/api/python/index.html)**“について解説していきます。

:::talk{who="umatan"}
PySparkの使い方を学んで、効率的なデータ処理を実践していこう！
:::

Pythonについて基礎から体系的に学びたい人は当メディアが運営する「[スタアカ](https://toukei-lab.com/achademy/)」の以下のコースをチェックしてみて下さい。

:::box
**[スタアカ「03.Python基礎」](https://toukei-lab.com/achademy/courses/python-beginner/)**

[![スタアカ「Python基礎」コース](/wp-content/uploads/2026/10/achademy-course-python-beginner.jpg)](https://toukei-lab.com/achademy/courses/python-beginner/)
:::

## PySparkについて

まずは”**PySpark**“について概要をおさえていきましょう

### PySparkとは

“**PySpark**“とは、Apache SparkをPythonで実行できるライブラリで、<mark>分散環境でリアルタイムの大規模データ処理が出来ます。</mark>

ここで出てくる”**[Apache Spark](https://spark.apache.org/)**“とは<mark>「大規模なデータを高速に処理できる分散処理フレームワーク」の一つです。</mark>

Apache Sparkの概要図は以下のようになります。

![pyspark](/wp-content/uploads/2025/03/pyspark1_min.png)

Apache Sparkでは上記のように処理したい大量のデータを分割して、<mark>それぞれのノードで並行して処理することで、高速化を実現しています。</mark>

このような実行方法を”**Spark処理**“と呼ばれます。

:::talk{who="umatan"}
PySparkはこのSpark処理をPython言語で処理できるようにしたライブラリ！
:::

Pythonの高速化テクニックについては以下の記事でまとめているので、参考にしてみて下さい。

<https://toukei-lab.com/python-speed-up>

### PySparkの特徴

「**PySpark（Spark処理）の特徴**」は以下です。

- データを複数のコンピュータ（クラスター）に分散させて処理する
- データをメモリ上に一時的に保管しながら処理を行うため高速
- 数百万〜数億行などの大規模データでも処理可能
- さまざまなデータフォーマット（テキスト、CSV、JSONなど）に対応

Sparkの持つ強力な並列分散処理機能をPythonのシンプルな記述で利用できるため、ビッグデータ分析や機械学習など、データ処理が必要な様々なシーンで広く利用されています

:::talk{who="umatan"}
PySparkを使うことで大量のデータを高速に処理できるんだね！
:::

## PySparkでデータ集計をやってみよう！

ここからは実際にPySparkを使った処理を実装していきます。

今回はPySparkで以下の操作を確認していきます。

:::box
**・データの読み込み・表示**\
**・データの操作**\
**・SQLクエリの実行**
:::

本記事でのPythonの作業は「[**Jupyter Notebook**](/python-how)」で行っています。

Jupyter Notebookは<mark>Webブラウザ上でPythonプログラムを書いて・実行出来る環境です。</mark>

<mark>プログラムの実行結果を毎回確認できるので初心者におすすめのツールになります。</mark>

Jupyter Notebookについて以下の記事で解説しているので、参考にしてみて下さい。

<https://toukei-lab.com/python-how>

### 事前準備

PySparkを使うための事前準備について見ていきましょう。

PySparkではJava環境（JDK）が必要になります。

PySparkの元のApache Sparkが動くJavaのバージョンは、<mark>2025年4月時点では”8″、”11″、”17″が対象になります。</mark>

詳細は”**[Apache Spark](https://spark.apache.org/docs/3.5.9/)**“のページで対象のJavaのバージョンを確認しましょう。

続いて、PySparkをインストールします。

```python
!pip install pyspark
```

無事インストールされたら以下のコードを実行してみてください

```python
from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("DataLoadExample").getOrCreate()
```

ここではPySparkライブラリの読み込みと”**SparkSession**“の作成を行っています。

“**SparkSession**“とはPySparkを使ってデータを処理するときに必要な機能にアクセスできるエントリーポイントになります。

先ほどの<mark>概要図の”Driver（ドライバー）”に所属するオブジェクトにあたり、SparkSessionを作成することでPython上でSpark機能が利用できるようになります。</mark>

:::talk{who="umatan"}
SparkSessionを作成することで、PySparkを使ったデータ処理を実行する準備出来るってことだね！
:::

### データの読み込み・表示

まずはPySparkを使った「**データの読み込み・表示**」をやってみましょう。

下記コードを実行します。

```python
from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("DataLoadExample").getOrCreate()

# CSVを読み込み
df = spark.read.csv("sample.csv", header=True, inferSchema=True)

# 読み込んだデータを表示
df.show(5)

spark.stop()
```

csvファイルを読み込んでSparkのDataFrame型として扱います。

パラメータは下記の意味になります。

- spark.read.csv()：CSVファイルを読み込む
- header=True：1行目をカラム名として扱う
- inferShema=True：自動的にカラムのデータ型（文字列、整数、など）を推測

上記のコードを見るとPandasの”read_csv()”に似ていますが、<mark>Sparkの方は複数コアに処理を分けて（分散処理）いるのが特徴です。</mark>

sample.csvファイルの中身と実行結果はこちらになります。

![pyspark](/wp-content/uploads/2025/04/pyspark2-min.png)

csvファイルの中身のデータを読み込めていますね

また、コードの最後”spark.stop()”でSparkSessionを停止していますが、こちらをコメントアウトして実行してみます。

その後ブラウザで「http\://localhost\:4040/」を入力して実行すると、”**Spark UI**“にアクセスできます。

![pyspark](/wp-content/uploads/2025/04/pyspark3-min.jpg)

“Spark UI”では以下のことを確認できます。

:::box
**・”Jobs”タブで処理単位ごとの概要**\
**・”Stages”タブで分割タスクがどう分割・実行されたかを表示**\
**・”Executors”タブで各ノード（Executors）の処理内容やメモリ使用量**
:::

ここで実際の処理状況を確認できます。

デフォルトでは1スレッドで実行されますが、下記のように”**.master()**“で実行するスレッド数を指定することも出来ます。

```python
spark = SparkSession.builder.appName("DataLoadExample").master("local[8]").getOrCreate()
```

上記は8スレッドを指定した例になります。

![pyspark](/wp-content/uploads/2025/04/pyspark7-min.jpg)

“Executors”を見てみると<mark>1つのノードで8タスクが並行して処理されているのがわかります。</mark>

他にも「.master(“local\[\*]”)」とすべてのコアで実行するように指定できるので、PCのスペックに応じて並行処理を試してみて下さい。

確認が終わったら”spark.stop()”でSparkSessionを停止すると良いです。

:::talk{who="umatan"}
PySparkでもPandasのようにDataFrame型でデータを取得できる！Spark UIでSpark処理の概要を確認できるよ！
:::

Pandasについては以下の記事で詳しく解説しているので参考にしてみて下さい。

<https://toukei-lab.com/python-pandas>

### データの操作

PySparkでは収集した「**データの操作**」も実行できます。

まずは年齢が30歳以上の人をフィルタリングして表示してみます。

```python
from pyspark.sql import SparkSession
from pyspark.sql.functions import col, when

# SparkSessionの作成
spark = SparkSession.builder.appName("AllBasicOperations").getOrCreate()

# CSVファイルの読み込み
df = spark.read.csv("sample.csv", header=True, inferSchema=True)

# ① 年齢が30歳以上の人だけを抽出（フィルタリング）
df_filtered = df.filter(col("age") >= 30)
print("▼ 年齢30歳以上の人:")
df_filtered.show()
```

“**pyspark.sql.functions**“はPySparkで使える関数を集めたモジュールになり、必要な関数はあらかじめインポートします。

よく使われる関数は以下です。

- col()：列（カラム）を指定
- when()：条件分岐
- avg()：平均
- count()：カウント
- concat()：複数列を連結
- isnull()：欠損値の判定

PySparkのDataFrameでは<mark>独自のメソッドを使ってデータを操作します。</mark>

“**filter**“メソッドでは条件に一致する行を抽出できます。

PySparkでよく利用されるDataFrameメソッドは以下になります。

<table class="table">
<thead>
<tr>
<th>カテゴリ</th>
<th>メソッド</th>
<th>説明</th>
</tr>
</thead>
<tbody>
<tr>
<td rowspan="5">基本操作・表示</td>
<td><strong>show(n)</strong></td>
<td><span>データの先頭n行を表示</span></td>
</tr>
<tr>
<td><strong>printSchema()</strong></td>
<td>スキーマ（列の型情報）を表示</td>
</tr>
<tr>
<td><strong>columns</strong></td>
<td>列名一覧を取得</td>
</tr>
<tr>
<td><strong>dtypes</strong></td>
<td>各列のデータ型を確認</td>
</tr>
<tr>
<td><strong>count()</strong></td>
<td>行数を取得</td>
</tr>
<tr>
<td rowspan="2">フィルタリング</td>
<td><strong>filter()</strong></td>
<td>条件に一致する行を抽出</td>
</tr>
<tr>
<td><strong>distinct()</strong></td>
<td>重複行を削除</td>
</tr>
<tr>
<td rowspan="3">列操作</td>
<td><strong>select()</strong></td>
<td>特定の列だけを選択</td>
</tr>
<tr>
<td><strong>withColumn()</strong></td>
<td>新しい列を追加／既存列を更新</td>
</tr>
<tr>
<td><strong>drop()</strong></td>
<td>列を削除</td>
</tr>
<tr>
<td rowspan="3">集計・グループ化</td>
<td><strong>groupBy()</strong></td>
<td>指定列でグループ化</td>
</tr>
<tr>
<td><strong>.agg()</strong></td>
<td>集計処理</td>
</tr>
<tr>
<td><strong>avg()</strong></td>
<td>平均</td>
</tr>
</tbody>
</table>

また、filterメソッドの中にある”**col**“関数を使ってで特定の列を指定しています。

これらの記法を活用して、今回は「年齢が30歳以上」を指定してフィルタリングしてみました。

![pyspark](/wp-content/uploads/2025/04/pyspark4-min.jpg)

次にデータを追加する操作として、合否の列を追加しスコアが80以上の人を合格、80未満を不合格に分類してみます。

```python
# ② スコアに応じて「合格/不合格」列を追加
df_with_result = df.withColumn(
    "result",
    when(col("score") >= 80, "合格").otherwise("不合格")
)
print("▼ スコアで合格判定:")
df_with_result.show()
```

“**when**“関数を使うと条件分岐をして”**withColumn**“メソッドで列を追加します。

実行結果を見ると合格判定の結果が列に追加されているのが確認できます。

![pyspark](/wp-content/uploads/2025/04/pyspark5-min.jpg)

:::talk{who="umatan"}
PySparkでは独自のメソッドや関数を使ってデータ操作が出来る！
:::

### SQLクエリの実行

PySparkでは「**SQLクエリの実行**」してデータをSQL的に扱うことも出来ます。

SQLに慣れている人には<mark>SQLクエリの方が直感的で、複雑な集計や条件処理が簡単に書けるのが魅力があります。</mark>

SQLについては下記記事で解説しているので参考にしてみて下さい。

<https://toukei-lab.com/sql-select%e6%96%87>

実際にコードを書いて結果を見てみましょう。

```python
from pyspark.sql import SparkSession

# SparkSessionの作成
spark = SparkSession.builder.appName("SQLWithSampleData").getOrCreate()

# データの読み込み
df = spark.read.csv("sample.csv", header=True, inferSchema=True)

# 一時テーブルとして登録
df.createOrReplaceTempView("students")
```

「**createOrReplaceTempView**」メソッドで、取得したデータを仮想的な「SQLのテーブル」として登録することが出来ます。

これにより今回のDataFrameを”students”テーブルとしてSQL的に扱えるようにしています。

では実際にSQLクエリを実行してみます。

```python
# ① 年齢が30歳以上の人だけを抽出
result = spark.sql("""
    SELECT id, name, age, score
    FROM students
    WHERE age >= 30
""")
result.show()

# ② スコアによって「合格/不合格」を表示
result = spark.sql("""
    SELECT name, score,
           CASE
               WHEN score >= 80 THEN '合格'
               ELSE '不合格'
           END AS result
    FROM students
""")
result.show()

# ③ 合格・不合格ごとの人数を集計
result = spark.sql("""
    SELECT result, COUNT(*) AS count
    FROM (
        SELECT CASE
                   WHEN score >= 80 THEN '合格'
                   ELSE '不合格'
               END AS result
        FROM students
    )
    GROUP BY result
""")
result.show()
```

PySparkでは”**spark.sql()**“というメソッドでSQLクエリをそのまま実行することが出来ます。

実行結果は下記になります、SQLクエリで意図したデータを抽出出来ていることが確認出来ました。

![pyspark](/wp-content/uploads/2025/04/pyspark6-min.jpg)

:::talk{who="umatan"}
PySparkではSQLクエリを実行することも出来る！条件分岐が多い複雑な処理とかはSQLクエリで書いた方がわかりやすいときがあるから便利！
:::

## PySpark まとめ

今回は「**PySpark**」について見ていきました。

最後にPySparkの特徴をおさらいします。

- データを複数のコンピュータ（クラスター）に分散させて処理する
- データをメモリ上に一時的に保管しながら処理を行うため高速
- 数百万〜数億行などの大規模データでも処理可能
- さまざまなデータフォーマット（テキスト、CSV、JSONなど）に対応

:::talk{who="umatan"}
PySparkで大量のデータも高速に処理していこう！
:::

また、Pythonを使ってデータ分析をもっと学びたい方は当メディアが運営する教育サービス[「スタアカ（スタビジアカデミー）」](https://toukei-lab.com/achademy/)を以下の講座チェックしてみてください。

:::box
**[スタアカ「ブロックチェーン×データ分析」](https://toukei-lab.com/achademy/courses/blockchain-analysis/)\
[スタアカ「ポーカー×データ分析」](https://toukei-lab.com/achademy/courses/poker/)**
:::

:::box
**AIデータサイエンス特化スクール「スタアカ」**

![スタアカ（スタビジアカデミー）のトップページ](/wp-content/uploads/2026/10/achademy-top.jpg)
:::

<table class="table">
<tbody>
<tr>
<th>【価格】</th>
<td>ライトプラン：1,280円/月（全コースが受講し放題）<br>
プレミアムプラン：129,800円（通常149,800円・買い切り）</td>
</tr>
<tr>
<th>【オススメ度】</th>
<td><span class="stars" role="img" aria-label="5点中5点" data-value="5"></span></td>
</tr>
<tr>
<th>【サポート体制】</th>
<td><span class="stars" role="img" aria-label="5点中4点" data-value="4"></span></td>
</tr>
<tr>
<th>【受講形式】</th>
<td>オンライン形式</td>
</tr>
<tr>
<th>【学習範囲】</th>
<td>統計学・機械学習・ディープラーニングを網羅的に学ぶ<br>
生成AI（LLM・RAG・プロンプトエンジニアリング）を学ぶ<br>
SQLとPythonを組み合わせて実データを使った様々なワークを行う<br>
実践的なビジネスフレームワークを学ぶ<br>
マーケティングの実行プラン策定</td>
</tr>
</tbody>
</table>

データサイエンティストとしての自分の経験をふまえてエッセンスを詰め込んだのがこちらのスタビジアカデミー、略して「[スタアカ](https://toukei-lab.com/achademy/)」！！

月額1,280円のライトプランで、統計学から機械学習・生成AIまで全コースが受講し放題です！

<mark>プレミアムプランでは、24時間以内の質問対応と現役データサイエンティストとの1on1（30分×4回）を実施します！</mark>

カリキュラム自体は、他のスクールと比較して圧倒的に良い自信があるのでぜひ受講してみてください！

他のスクールのカリキュラムはPythonでの機械学習実装だけに焦点が当たっているものが多く、実務に即した内容になっていないものが多いです。

<mark>そんな課題感に対して、実務で使うことの多いSQLや機械学習のビジネス導入プロセスの理解なども合わせて学べるボリューム満点のコース</mark>になっています！

Pythonが初めての人でも学べるようなカリキュラムですので是非チェックしてみてください！

ウォルマートのデータを使って商品の予測分析をしたり、実務で使うことの多いGoogleプロダクトのBigQueryを使って投球分析をしたり、データサイエンティストに必要なビジネス・マーケティングの基礎を学んでマーケティングプランを作ってもらったりする盛りだくさんの内容になってます！

:::box
**・BigQuery上でSQL、Google Colab上でPythonを使い野球の投球分析**\
**・世界最大手小売企業のウォルマートの実データを用いた需要予測**\
**・ビジネス・マーケティングの基礎を学んで実際の企業を題材にしたマーケティングプランの策定**\
**・生成AIのAPIを使ってチャットボットやAIエージェントを作る**
:::

::button[スタアカの受講はこちら]{href="https://toukei-lab.com/achademy/" note="＼今すぐ試す／"}