# 【入門】ローカルLLMって何？概要と使い方を徹底解説！

> 当サイト【スタビジ】の本記事では、クラウドに頼らず自分のPCだけで大規模言語モデルを動かす「ローカル LLM」をわかりやすく解説します！

- URL: https://toukei-lab.com/local_llm
- 公開: 2025.06.10 / 更新: 2026.01.31
- サイト: スタビジ（https://toukei-lab.com）

:::talk{who="umatan"}
当サイト【スタビジ】の本記事では、クラウドに頼らず自分のPCだけで大規模言語モデルを動かす「ローカル LLM」をわかりやすく解説します！\
ローカルLLMのメリット・デメリットから実際の使い方まで紹介します！この記事を読んで“自分専用のChatGPT”を立ち上げてみましょう！
:::

こんにちは！スタビジ編集部です！

近年、大規模言語モデル（LLM）の進化により、”[ChatGPT](https://openai.com/ja-JP/chatgpt/overview/)“などの高性能な生成AIが一気に身近になりました。

ところが、これらの生成AIはほとんどがクラウド上のサービスなので、<mark>機密情報の取り扱いに不安があったり、自由にモデルをカスタマイズしにくいという課題があります。</mark>

そこで今回はクラウドに頼らず自分のPCだけで大規模言語モデル（LLM）を動かす”**ローカルLLM**“について解説していきます。

:::talk{who="man" side="left"}
ローカルLLMって何？
:::

:::talk{who="woman"}
ローカルLLMの使い方を知りたい！
:::

本記事では、上記のような疑問を解決していきます！

:::talk{who="umatan"}
ローカルLLMの概要や使い方を学んで、自分オリジナルのLLMを開発していこう！
:::

:::point
**・ローカルLLMとは？**\
**・ローカルLLMの導入方法**\
**・ローカルLLMを使ったアプリ開発**
:::

より詳しくローカルLLMの実装方法について知りたい！という方は以下のUdemyの講座で詳しく解説していますのでぜひチェックしてみてください！

:::box
**[【初心者向け】ローカルLLMを使ってRAGを導入したチャットアプリを作ろう！いくら使っても無料のAI環境を手に入れよう！](https://www.udemy.com/course/local-llm/?referralCode=1ABB3949C05C7B0B9DA6)**

[![ローカルLLM](/wp-content/uploads/2025/08/00e9813b5764330916ab395acd5ad89a.jpg)](https://www.udemy.com/course/local-llm/?referralCode=1ABB3949C05C7B0B9DA6)

<table class="table">
<tbody>
<tr>
<th>【時間】</th>
<td><span>3時間</span></td>
</tr>
<tr>
<th>【レベル】</th>
<td><span>初級</span></td>
</tr>
</tbody>
</table>

自分のPCでLLMを実装して無料で動かす環境を手に入れたいならこのコース！

今なら購入時に「FLSHDGEJURXF」という講師クーポンコードを入れると90%オフ以上の割引価格になりますのでぜひご受講ください！

::button[このコースを見てみる]{href="https://www.udemy.com/course/local-llm/?referralCode=1ABB3949C05C7B0B9DA6" note="＼30日以内なら返金無料／"}
:::

AIサービスと外部データを繋ぐ際はMCPサーバーを利用するのがオススメです。詳しくは以下の記事をチェックしてみて下さい。

<https://toukei-lab.com/mcp>

## ローカルLLMとは

まずは「**ローカルLLMとは？**」について、概要を見ていきましょう。

以下のYouTube動画でも解説していますので、あわせてチェックしてみてください。

::youtube{#_GiQxYpdBK4}

“**ローカルLLM（Local Large Language Model）**“とは、モデル本体（学習済みパラメータ）を自身のPCや社内サーバーに置き、その中で推論を完結させる仕組みのことです。

クラウド版ChatGPTなどとは違い、「<mark>入力 → 推論 → 出力」のすべてが手元で完結するため、外部のサーバーに一切データを送らずにLLMを利用できます。</mark>

| 推論の流れ          | クラウド LLM           | ローカル LLM          |
| -------------- | ------------------ | ----------------- |
| **① プロンプト入力**  | ブラウザ → OpenAI等のAPI | ターミナル／GUI → 自分のPC |
| **② 推論（計算）**   | データセンターのGPU        | 手元のGPU／CPU        |
| **③ 生成テキスト返却** | インターネット経由          | LAN 内・オフライン       |

:::talk{who="umatan"}
ローカルLLMはLLMを自分のPCに“インストール”して使う方式！ローカルLLMのメリット・デメリットについては次を見ていこう！
:::

LLMについては以下の記事で詳しく解説しているので参考にしてみて下さい。

<https://toukei-lab.com/llm>

### ローカルLLMのメリット

「**ローカルLLMのメリット**」を見ていきましょう。

ローカルLLMの主なメリットは以下のとおりです。

- **セキュリティが高い**：自身のPCで完結するため、入力データやモデルが外部に漏れない
- **コストがかからない**：クラウドLLMの利用時に発生するコスト（トークン数や利用プランなど）がかからない
- **カスタマイズ性が高い**：モデルを自分仕様に学習し直したり、軽量化したり、カスタマイズ可能

:::talk{who="umatan"}
“セキュリティ”・”コスト”・”カスタマイズ性”の部分を自由に設定できるのがローカルLLMの強みだね！
:::

これらのメリットを活かして、ローカルLLMでは以下のような場面で利用されます。

|   | 利用方法                  | 利用シーン                         | ローカルLLMを使う理由                      |
| - | --------------------- | ----------------------------- | --------------------------------- |
| 1 | **社内ナレッジ＋RAGチャットボット** | 社員ハンドブックや過去問い合わせを検索して回答       | 社内独自PDF・Wikiをローカルに格納・情報漏えいリスクを最小化 |
| 2 | **オフラインの現場支援**        | 工場ライン・船舶・災害現場でのFAQボットやマニュアル検索 | インターネットが無い環境でも GPU／CPUだけで応答可能     |
| 3 | **開発者向けコード補完／レビュー**   | VS Code拡張やCIでコード説明・テスト生成      | ソースコードを外部に出さず大量トークンでも従量課金ゼロ       |

:::talk{who="umatan"}
学習データを外部に保管したくない場合やインターネットがない環境でLLMのアプリを利用したい場合、ローカルLLMが活用される！
:::

クラウドではなく、スマホやカメラなどの端末の中でAIを動かす「エッジAI」については、以下の記事で解説しています。

<https://toukei-lab.com/edge-ai>

### ローカルLLMのデメリット

続いて「**ローカルLLMのデメリット**」も見ていきましょう。

ローカルLLMのデメリットは主に下記です。

- **高性能のパソコンが必要**：[GPU](/cpu-gpu-tpu-npu)やメモリが少ないと動かないもしくは動いても遅い場合がある
- **ハードウェアの限界**：GPUを回しっぱなしにするとPCが熱くなり、電気代も多くかかる、また、LLMの並列処理対応が専門知識が必要で難しい
- **アップデートやトラブル対応が自己責任**：新しいモデルの取り込み、セキュリティ設定、バックアップなどの保守・運用はは自身で対応する必要がある

:::talk{who="umatan"}
ローカルLLMは”動かす”のが準備も含めて大変！また、継続的に運用していくのも自己責任という点がデメリット！
:::

また、デメリットではありませんがローカルLLMを利用する上で以下の点も注意しましょう。

- **モデルは正しいライセンスで利用する**：ローカルLLMで利用する元のLLMのライセンスが『商用利用可能か』『再配布禁止でないか』を確認
- **GPU温度と電力を監視する**：長時間推論は高温になりやすいので、稼働状況を監視して、PCが故障しないようにチェック

:::talk{who="umatan"}
ローカルLLMを使うときはモデルのライセンスとPCの性能・稼働状況を注意しよう！
:::

パソコンやスマホでも動くように小さく作られた「小規模言語モデル（SLM）」については、以下の記事で解説しています。

<https://toukei-lab.com/small-language-model>

## ローカルLLMの導入方法

ここでは「**ローカルLLMを自身のPCに導入する方法**」について見ていきます。

ローカルLLMを導入する方法は以下のパターンがあります。

- **ソースから直接ビルド**：Githubリポジトリ（**[llama.cpp](https://github.com/ggml-org/llama.cpp)**&#x3084;**[vllm](https://github.com/vllm-project/vllm)**&#x7B49;）をクローンし、自身でビルド
- **Dockerなどのコンテナイメージをデプロイ**：LLMサーバーが入った完成済みのコンテナイメージをデプロイする
- **LLMアプリをインストール**：**[LM Studio](https://lmstudio.ai/)**&#x3084;**[Ollama](https://ollama.com/)**&#x3068;いったLLM用のアプリをインストールして利用する
- **Pythonライブラリから直接呼び出す**：**[Hugging Face](https://huggingface.co/docs/transformers/en/index)**&#x306A;どのライブラリをPythonで呼び出してプログラム内で実行する

ソースファイルからビルドしたりコンテナイメージをデプロイしたりする方法は<mark>自由度が高い一方で、コードの詳細まで理解する必要があります。</mark>

アプリをインストールしたりライブラリを呼び出す方法は、<mark>手軽にLLMを試せる一方、細かい設定まではできない場合があります。</mark>

今回は”**[Ollama](https://ollama.com/)**“を使ったローカルLLMの導入方法を見ていきます。

:::talk{who="umatan"}
ローカルLLMを導入する方法はいくつかある！いろんなパターンを試してみよう！
:::

### Ollamaのインストール

“**[Ollama](https://ollama.com/)**“とは<mark>LLMをダウンロード・起動・API 公開まで一気通貫で実行できるアプリです。</mark>

Ollamaをインストールすることでローカル環境で簡単にLLMを利用することが出来ます。

Ollamaは”[**ダウンロードページ**](https://ollama.com/download)“から実行ファイルをダウンロードします。

![localllm](/wp-content/uploads/2025/06/localllm1-min.jpg)

ダウンロードした実行ファイルを実行することでインストールできます。

![localllm](/wp-content/uploads/2025/06/localllm2-min.jpg)

OllamaはCLIツールのため、ターミナルで下記コマンドを実行して結果が返ってくればインストールされています。

```python
ollama --version
```

本記事では”client version is 0.9.0″を利用します。

### Ollamaを使ってLLMを動かしてみる

実際に「**Ollamaを使ってLLMを動かす**」ことをやっていきましょう。

次の順序でLLMを動かします。

1. モデルのインストール
2. Ollamaサーバーの起動
3. プログラムからモデルを実行

#### ① モデルのインストール

自身のPCでLLMを実行するため、Ollamaのレジストリからモデルをインストールします。

モデルの一覧はOllamaの”**[公式ページ](https://ollama.com/search)**“か”**[Github](https://github.com/ollama/ollama?tab=readme-ov-file)**“で確認できます。

```python
# ollama pull <モデル名>
ollama pull llama3.1:8b
```

上記コマンドでモデルをインストールできます。

単純にLLMを使ってテキスト推論をしたい時は、下記コマンドを実行します。

```python
# ollama run <モデル名>
ollama run llama3.1:8b
```

上記コマンドではモデルがインストールされていない時は自動でインストールも行ってくれます。

コマンド実行後、対話モード（インタラクティブモード）になり、質問をしたり要約を依頼したりすることが出来ます。

![localllm](/wp-content/uploads/2025/06/localllm3-min.jpg)

:::talk{who="umatan"}
自分の環境でLLMを動かせた！
:::

また、下記オプションを設定することも可能です。

| 主なオプション         | 役割             | 例                   |
| --------------- | -------------- | ------------------- |
| `-p, --prompt`  | 一度に渡すユーザープロンプト | `-p "要約してください"`     |
| `--system`      | システムプロンプトで役割固定 | `--system`          |
| `--temperature` | 出力のランダム性       | `--temperature 0.2` |

モデルを終了する際は「Ctrl + d」 or 「/bye」を入力することで終了できます。

#### ② Ollamaサーバーの起動

自身のPCでインストールしたLLMをアプリから呼び出したい場合、Ollamaサーバーとして起動します。

起動コマンドは下記です。

```python
ollama serve
```

ただ、PCによっては下記のようなエラーメッセージが出る場合があります。

```python
Error: listen tcp 127.0.0.1:11434: bind: Only one usage of each socket address (protocol/network address/port) is normally permitted.
```

これは、<mark>ollamaのプロセスがデフォルトで”11434″番ポートを利用するのですが、そのポートが利用できないため、エラーになっています。</mark>

その場合、下記コマンドでollamaのプロセスのポートを別の番号に変更しましょう。

```python
# Windows
$env:OLLAMA_HOST="127.0.0.1:12000"
# macOS/Linux
OLLAMA_HOST=127.0.0.1:12000 ollama serve
```

上記は一時的な対応なので、実行のたびに設定が必要になります。恒久的にPC設定で環境変数を直接変更してもよいです。

サーバーの起動の確認は下記コマンドで出来ます。

```python
curl http://localhost:12000/v1/models
```

StatusCodeが”200″で返ってくれば、サーバーは起動できています。

#### ③ プログラムからモデルを実行

自身のPCのプログラムからインストールしたモデルを実行します。

呼び出し方法は普段クラウドのLLMのAPIを呼び出す方法と同じになります。

```python
from openai import OpenAI

client = OpenAI(
    api_key="ollama",  # ←任意の文字列でOK
    base_url="http://localhost:12000/v1"  # ←ローカルのollamaサーバーを指定
)

response = client.chat.completions.create(
    model="llama3.1:8b",
    messages=[{"role": "user", "content": "こんにちは、LLMについて教えて"}],
)

print(response.choices[0].message.content)
```

違いとしてはAPIの宛先が②で起動したサーバーになることです。

プログラムを実行するとちゃんと答えが返ってくることを確認できます。

![localllm](/wp-content/uploads/2025/06/localllm4-min.jpg)

:::talk{who="umatan"}
APIで呼び出すところはクラウド版のLLMと一緒！

自分の環境で動かすからToken数とかコストを気にせず実行できる！
:::

※上記モデル（llama3.1\:8b）ではメモリを6GBほど使います。<mark>足りない場合は軽量モデルをインストールしてください。</mark>

## ローカルLLMを使ったアプリ開発

最後にローカルLLMを使って、自分なりのチャットアプリを作っていきます。

以下の機能を実装します。

:::box
**・個人情報のテキスト情報を元に回答する**\
**・StreamlitでWebアプリとして実行**
:::

RAG機能を搭載したチャットアプリを作っていきます。

RAGについては以下の記事で詳しく解説しているので、参考にしてみて下さい。

<https://toukei-lab.com/llm-rag>

### インデックス作成

まずは回答の元になるインデックスを作成していきます。

```python
import faiss
import pickle
from sentence_transformers import SentenceTransformer

texts = [
    "私の名前はうまたんです。",
    "私は32歳でジョージアに住んでいます。仕事はプログラマーで、Pythonを使ったデータ分析や自動化が得意です。",
    "趣味はアニメ鑑賞とブログ運営です。自分のブログではPythonやAI関連の情報を分かりやすく発信しています。",
    "最近、ローカルLLMに興味があり、自分のPCで大規模言語モデルを動かすことを試しています。",
    "好きな食べ物はラーメンと寿司で、特に週末は美味しいラーメン屋を探すことが楽しみです。",
    "ブログのURLは「https://toukei-lab.com」で、主に初心者にも理解しやすいAIやPython活用法の記事を書いています。"
]

embedder = SentenceTransformer("all-MiniLM-L6-v2")
vecs = embedder.encode(texts)

index = faiss.IndexFlatL2(vecs.shape[1])
index.add(vecs)

pickle.dump((index, texts), open("personal_faiss.pkl", "wb"))
```

上記のPythonプログラムを実行すると”personal_faiss.pkl”ファイルが作成されます。

### Webアプリを実行

Webアプリは”**[Streamlit](/streamlit)**“を使って作っていきます。

Streamlitについては以下の記事で詳しく解説しているので、参考にしてみて下さい。

<https://toukei-lab.com/streamlit>

```python
import os
import pickle
import faiss
import numpy as np
import streamlit as st
from openai import OpenAI
from sentence_transformers import SentenceTransformer

# OllamaローカルAPIを指定
client = OpenAI(
    api_key="ollama",
    base_url="http://localhost:11434/v1"
)

embedder = SentenceTransformer("all-MiniLM-L6-v2")
index, texts = pickle.load(open("personal_faiss.pkl", "rb"))

st.title("🦙 個人的RAGチャット（ローカルLLM版・履歴付き）")

# 履歴をセッションで保存
if "history" not in st.session_state:
    st.session_state.history = []

query = st.text_input("質問を入力してください:")

if st.button("送信") and query:
    # ベクトル検索で上位2件
    qvec = embedder.encode([query])
    D, I = index.search(np.array(qvec), k=2)
    context = "\n".join([texts[i] for i in I[0]])

    # 過去の履歴も含めてmessagesを構成
    messages = []
    for h in st.session_state.history:
        messages.append({"role": "user", "content": h["user"]})
        messages.append({"role": "assistant", "content": h["bot"]})

    # 今回の質問をプロンプトとして追加
    prompt = f"""
    あなたは質問に対して、以下の情報を参考にしながら、丁寧で簡潔に日本語で答えてください。

    ### 参考情報：
    {context}

    ### 質問：
    {query}

    ### 回答：
    """
    messages.append({"role": "user", "content": prompt})

    # LLMに問い合わせ
    rsp = client.chat.completions.create(
        model="llama3.1:8b",
        messages=messages,
        temperature=0.5,
    )
    answer = rsp.choices[0].message.content.strip()

    # 履歴に追加
    st.session_state.history.append({"user": query, "bot": answer})

# 履歴を下に表示
if st.session_state.history:
    st.markdown("## 💬 履歴")
    for i, h in enumerate(st.session_state.history):
        st.markdown(f"**Q{i+1}:** {h['user']}")
        st.markdown(f"**A{i+1}:** {h['bot']}")
```

内容としては先ほど作成したインデックスの情報を元に回答するチャットアプリになります。

LLMは<mark>ollamaでインストールしたモデルを指定しています。</mark>

ollamaのサーバーを起動して、Streamlitを実行します。

![localllm](/wp-content/uploads/2025/06/localllm5-min.jpg)

個別情報に関する質問は<mark>事前に用意したテキストを元に回答出来ています。</mark>

今回はサンプルテキストを元にしていますが、PDFやExcelなど大量のデータを元にRAGを作成することも可能です。

:::talk{who="umatan"}
LLM、RAG、Webアプリをすべて自分のPCだけで完結！

機密情報を扱う場合とかは便利そう！
:::

## ローカルLLM まとめ

**“ローカルLLM**“について解説していきました。

ここでローカルLLMのメリットをおさらいします。

- **セキュリティが高い**：自身のPCで完結するため、入力データやモデルが外部に漏れない
- **コストがかからない**：クラウドLLMの利用時に発生するコスト（トークン数や利用プランなど）がかからない
- **カスタマイズ性が高い**：モデルを自分仕様に学習し直したり、軽量化したり、カスタマイズ可能

:::talk{who="umatan"}
ローカルLLMで自分なりのLLMを作っていこう！
:::

初心者だけど本格的にPythonでアプリ開発をやってみたい方は、当メディアが運営する教育サービス[「スタアカ（スタビジアカデミー）」](https://toukei-lab.com/achademy/)を以下の講座チェックしてみてください。

:::box
**[スタアカ「DjangoでAIアプリを作ってみよう！」](https://toukei-lab.com/achademy/courses/django-ai/)\
[スタアカ「StreamlitでWebアプリを作ってみよう！」](https://toukei-lab.com/achademy/courses/streamlit/)**
:::

:::box
**AIデータサイエンス特化スクール「スタアカ」**

![スタアカ（スタビジアカデミー）のトップページ](/wp-content/uploads/2026/10/achademy-top.jpg)
:::

<table class="table">
<tbody>
<tr>
<th>【価格】</th>
<td>ライトプラン：1,280円/月（全コースが受講し放題）<br>
プレミアムプラン：129,800円（通常149,800円・買い切り）</td>
</tr>
<tr>
<th>【オススメ度】</th>
<td><span class="stars" role="img" aria-label="5点中5点" data-value="5"></span></td>
</tr>
<tr>
<th>【サポート体制】</th>
<td><span class="stars" role="img" aria-label="5点中4点" data-value="4"></span></td>
</tr>
<tr>
<th>【受講形式】</th>
<td>オンライン形式</td>
</tr>
<tr>
<th>【学習範囲】</th>
<td>統計学・機械学習・ディープラーニングを網羅的に学ぶ<br>
生成AI（LLM・RAG・プロンプトエンジニアリング）を学ぶ<br>
SQLとPythonを組み合わせて実データを使った様々なワークを行う<br>
実践的なビジネスフレームワークを学ぶ<br>
マーケティングの実行プラン策定</td>
</tr>
</tbody>
</table>

データサイエンティストとしての自分の経験をふまえてエッセンスを詰め込んだのがこちらのスタビジアカデミー、略して「[スタアカ](https://toukei-lab.com/achademy/)」！！

月額1,280円のライトプランで、統計学から機械学習・生成AIまで全コースが受講し放題です！

<mark>プレミアムプランでは、24時間以内の質問対応と現役データサイエンティストとの1on1（30分×4回）を実施します！</mark>

カリキュラム自体は、他のスクールと比較して圧倒的に良い自信があるのでぜひ受講してみてください！

他のスクールのカリキュラムはPythonでの機械学習実装だけに焦点が当たっているものが多く、実務に即した内容になっていないものが多いです。

<mark>そんな課題感に対して、実務で使うことの多いSQLや機械学習のビジネス導入プロセスの理解なども合わせて学べるボリューム満点のコース</mark>になっています！

Pythonが初めての人でも学べるようなカリキュラムですので是非チェックしてみてください！

ウォルマートのデータを使って商品の予測分析をしたり、実務で使うことの多いGoogleプロダクトのBigQueryを使って投球分析をしたり、データサイエンティストに必要なビジネス・マーケティングの基礎を学んでマーケティングプランを作ってもらったりする盛りだくさんの内容になってます！

:::box
**・BigQuery上でSQL、Google Colab上でPythonを使い野球の投球分析**\
**・世界最大手小売企業のウォルマートの実データを用いた需要予測**\
**・ビジネス・マーケティングの基礎を学んで実際の企業を題材にしたマーケティングプランの策定**\
**・生成AIのAPIを使ってチャットボットやAIエージェントを作る**
:::

::button[スタアカの受講はこちら]{href="https://toukei-lab.com/achademy/" note="＼今すぐ試す／"}