# 大規模言語モデル（LLM）の仕組みや種類について分かりやすく解説！

> 当サイト【スタビジ】の本記事では、大規模言語モデル（LLM）の仕組みや種類について分かりやすく解説していきます。ChatGPTなどの大規模言語モデルの基本を理解してこのAI時代の流れに乗り遅れないようにしましょう！

- URL: https://toukei-lab.com/llm
- 公開: 2023.05.10 / 更新: 2025.02.26
- サイト: スタビジ（https://toukei-lab.com）

:::talk{who="umatan"}
当サイト【スタビジ】の本記事では、大規模言語モデル（LLM）の仕組みや種類について分かりやすく解説していきます。ChatGPTなどの大規模言語モデルの基本を理解してこのAI時代の流れに乗り遅れないようにしましょう！
:::

こんにちは！

データサイエンティストのウマたん([@statistics1012](https://twitter.com/statistics1012?lang=ja))です！

テキスト生成系のAIの[ChatGPT](/gpt)や画像生成系AIの[Stable Diffusion](/stable-diffusion)をはじめとする様々な生成系AIの登場でAIブームが訪れました。

その中でもChatGPTなどの**大規模なテキストを学習した生成系AIモデル**を<mark>大規模言語モデル（LLM）</mark>と呼び注目を集めています。

この記事では、そんな大規模言語モデル（LLM）について分かりやすく解説していきたいと思います！

Youtube動画でも分かりやすくまとめているので是非チェックしてみてください！

::youtube{#lHk6byUvlJc}

RAGについて、こちらの記事も合わせてご活用ください！

<https://toukei-lab.com/llm-rag>

## 大規模言語モデル（LLM）とは？仕組みは？

まずは大規模言語モデル（LLM：Large Language Model）がどんなモデルなのか？どんな仕組みなのか見ていきましょう！

大規模言語モデル（LLM）は最近になってよく聞くようになりましたが、それ自体は古くから存在する[自然言語処理分野](/natural-language-python)の派生でしかありません。

:::talk{who="robotan" side="left"}
昔からある分野の延長線上なんだね！
:::

:::talk{who="umatan" side="right"}
そうなんだよー！ここ数年で大きなブレイクスルーがあったんだけどね！
:::

昔から人間の言葉をどのように機械に理解させて翻訳や言語生成など様々なタスクに応用させるかは盛んに研究されてきました。

そんな中、<mark>2017年に[Transformer](/transformer)というモデルの登場によるブレークスルーと計算機のマシンパワー向上により多くのデータをモデルに学習させて著しく精度を上げることができるようになったことで大規模言語モデル（LLM）が生まれました。</mark>

話題になったChatGPTのGPTとはGenerative Pretrained Transformerの略であり、Transformerに事前に大量のテキストデータを学習させたモデルを表しています。

これを起点に大規模言語モデルの戦国時代の幕開けとなったのです。

大規模言語モデル（LLM）のアーキテクチャは基本的にTransformerのアーキテクチャを踏襲しています。

![Transformer](/wp-content/uploads/2023/03/Transformer2.jpg)

例えばテキストデータは、

:::box
私はりんごが好き
:::

的な文章を入れてあげて、

単語分割した後にそれぞれの単語をマスクして

:::box
私/ は/ りんご/ が/ ()
:::

みたいなことをやって学習してくれるので人間がわざわざラベル付けをする必要がなく大量のテキストデータを与えてあげることで文脈や言葉の意味が学習してくれるのです。

そして学習した結果から、<mark>AIが特定の言葉の後に確率的に続きそうな言葉を並べているのが大規模言語モデル（LLM）なのです。</mark>

そして、昨今の大規模言語モデルのすごいところは<mark>特定タスクに対してチューニング（[ファインチューニング](/fine-tuning)）をする必要なく、テキスト（プロンプト）による指示のみで翻訳や要約などのタスクを行えるところです。</mark>

今までだと

:::box
**・翻訳タスク用の言語モデル**\
**・要約タスク用の言語モデル**
:::

などのように各タスクに分かれているのが一般的だったのですが、昨今の大規模言語モデル（LLM）では、プロンプトで「翻訳してー！」「要約してー！」と言うだけでそれぞれのタスクに対応した答えが返ってくるようになっています。

![GPT-3](/wp-content/uploads/2023/04/GPT-3-1.jpg)

LLMのように、大量のデータで学んで色々な用途に使える土台のAIは「基盤モデル」と呼ばれます。くわしくは以下の記事で解説しています。

<https://toukei-lab.com/foundation-model>

## 大規模言語モデル（LLM）の種類一覧

さて、それではそんな大規模言語モデル（LLM）にはどんな種類があるのでしょうか？見ていきましょう！

### Transformer

![Transformer](/wp-content/uploads/2023/03/b66891247585ff5033e62ee372cef549.jpg)

Transformerは大規模言語モデル（LLM）につながるきっかけになったニューラルネットワークアーキテクチャです。

Transformerとは、「[Attention Is All You Need](https://arxiv.org/pdf/1706.03762.pdf)」という論文で2017年に発表された[ディープラーニング](/deep-learning-study)のモデルです。

以下、「[Attention Is All You Need](https://arxiv.org/pdf/1706.03762.pdf)」の引用になります。

> The dominant sequence transduction models are based on complex recurrent or convolutional neural networks that include an encoder and a decoder. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely.\
> 引用元：[Google- “Attention Is All You Need”](https://arxiv.org/pdf/1706.03762.pdf)

どんなことを言っているかというと従来の[リカレントニューラルネットワーク](/rnn)や[畳込みニューラルネットワーク](/deep-learning)で利用されていたリカレント層や畳み込み層を使わずにAttention層だけを使うようにしたらなんか精度がめっちゃ良くなったよ！ということです。

「Attention Is All You Need」とは、その言葉通りAttention層だけでいいんだよ！ってことです。

そう、Transformerのすごいところは、<mark>今までのRNNやCNNなどの従来のディープラーニングで当たり前に考えられていたReccurent層や畳み込み層を使わずにAttention層だけを使うようにしたということなんです！</mark>

そこから[BERT](/bert)や[GPT](/gpt)などの新しい手法の登場につながっています。

Transformerに関しては以下の記事に詳しく解説していますので是非チェックしてみてください！

<https://toukei-lab.com/transformer>

### BERT

BERTは2018年10月にGoogleからリリースされたモデルで、論文にはこのように記載されています。

> BERT is conceptually simple and empirically powerful. It obtains new state-of-the-art results on eleven natural language processing tasks\
> （引用元：[Google-“BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding”](https://arxiv.org/pdf/1810.04805.pdf)）

BERTはシンプルでありながら非常に強力で<mark>一般的な11つの言語処理指標において優位な結果を収めたと・・</mark>

実はBERTは事前学習モデルであり他の既存モデルと組み合わせることで効果を発揮するものなんです。

BERTとは「**Bidirectional Encoder Representations from Transformers**」

BERTは、<mark>双方向から文脈を学習できるようになったのです。</mark>

BERTに関しては以下の記事に詳しく解説していますので是非チェックしてみてください！

<https://toukei-lab.com/bert>

### GPTシリーズ

![GPTの構造](/wp-content/uploads/2023/04/6ce4482c6d403caebe7e7abc7f133fda.jpg)

続いてChatGPTで有名になったGPTモデル！

GPTモデルとはどのようなアルゴリズムになっているのでしょうか？

簡単に見ていきましょう。

GPTの論文はOpenAIから2018年に発表されました。

:::box
[Improving Language Understanding by Generative Pre-Training](https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf)
:::

> we explore a semi-supervised approach for language understanding tasks using a combination of unsupervised pre-training and supervised fine-tuning. Our goal is to learn a universal representation that transfers with little adaptation to a wide range of tasks.\
> 引用元：[“Improving Language Understanding by Generative Pre-Training”](https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf)

GPTは、大規模なテキストデータを事前学習した後にファインチューニングと呼ばれる各タスクに適した学習をしていく2段階のモデルです。

まず最初の事前学習の構成は以下になります。

![GPT構造](/wp-content/uploads/2023/04/dbd0b2662635669d4a4944f13fabbd80.png)

デコーダーによる事前学習をした後に2段階目である各タスクに合わせたファインチューニングを行います。

![GPT](/wp-content/uploads/2023/04/e8433d4b483b2f94ca2b7db35fddc791.png)

これが教師あり学習にあたります。

つまり、従来のモデルでは入力に対して出力ラベルがついた教師データを大量に用意してそれをエンコーダー・デコーダーモデルにインプットする必要があったのですが、GPTでは<mark>まず事前学習モデルでラベル付与なく教師なし学習をして、その後に特定タスクにあわせてファインチューニングすることで大規模データの学習を可能</mark>にしたのです。

GPTシリーズに関しては以下の記事に詳しく解説していますので是非チェックしてみてください！

<https://toukei-lab.com/gpt>

### PaLM

PaLMは2022年にGoogleから発表されたモデルで「**Pathways Language Model**」の略です。

論文は以下になります。

:::box
[「Scaling Language Modeling with Pathways」](https://arxiv.org/pdf/2204.02311.pdf)
:::

論文はなんと87ページにも及ぶ超大作なのですが、正直特別革新的なアーキテクチャが登場するわけではなく、ベースとなるのはやはり2017年に同じくGoogleが発表した[Transformer](/transformer)というアーキテクチャです。

PaLMでは端的に言うと、「<mark>とにかく大量のパラメータを持ったモデルで大量のデータを最強のマシン構成で学習させたようなモデル</mark>」なのです！

パラメータの数が5400億個もあります。

PaLMよりも前に発表されたOpenAIのGPT-3のパラメータが1700億個。

そしてMicrosoftから発表されたMegatron-Turing NLGのパラメータが5300億個。

<mark>Megatron-Turing NLGも絶妙に100億個パラメータが多いところがGoogleの意地を感じます。</mark>

ちゃんと論文には、ご丁寧に他の大規模言語モデル（LLM）と比較してどれだけPaLMがどれだけスゴイのかが記載されています。

![PaLM](/wp-content/uploads/2023/05/PaLM6.jpg)（出典：[「Scaling Language Modeling with Pathways」](https://arxiv.org/pdf/2204.02311.pdf)）

PaLM2が2023年5月に発表され、多くのGoogleプロダクトに適用されることが決まりました。

PaLMについて詳しく知りたい方は以下の記事をチェックしてみてください！

<https://toukei-lab.com/google-palm>

### LLaMA

LLaMAは（Large Language Model Meta AI）の略であり、Metaが2023年2月に発表した大規模言語モデルです。

以下がLLaMAの論文になります。

:::box
[LLaMA: Open and Efficient Foundation Language Models](https://arxiv.org/pdf/2302.13971.pdf)
:::

LLaMAは、OpenAIに開発するGPTモデルや、Googleの開発するPaLMなどと比較すると圧倒的に少ないパラメータ数のモデルになっています。

LLaMAは、パラメータ数をおさえながら高精度を実現しているため、世界中の研究者がLLaMAをベースに様々な大規模言語モデルの可能性を探ることが可能になっているんです。

:::talk{who="umatan"}
従来のモデルはパラメータ数が多すぎて学習に莫大な計算リソースが必要になってたんだよね・・・
:::

LLaMAのコードはGithubに上がっておりオープンソースとして公開されています。

:::box
[LLaMAのコードリポジトリ](https://github.com/facebookresearch/llama)
:::

LLaMAの特徴は少ないパラメータ数です。

各モデルのパラメータ数は以下のようになっています。

![各モデルのパラメータ数](/wp-content/uploads/2023/05/a6d0312db6aaac9571577d9bae41002d.png)\
(出典：[LLaMA: Open and Efficient Foundation Language Models](https://arxiv.org/pdf/2302.13971.pdf))

LLaMAにはそれぞれ、

:::box
**・70億個（正確には67億個）**\
**・130億個**\
**・330億個（正確には325億個）**\
**・650億個（正確には652億個）**
:::

のパラメータ数のモデルが存在しています。

<mark>これでも十分パラメータ数は多い気がしますが、GPT-3の1700億個やGoogleのPaLMの5400億個などに比べると圧倒的に少ないのが分かるでしょう！</mark>

少ないパラメータでも他のモデルに匹敵する精度を出力しているのがLLaMAのすごいところです。

詳しいアーキテクチャについては以下の記事で解説していますので参考にしてみてください！

<https://toukei-lab.com/llama>

他にもたくさんの大規模言語モデル（LLM）があり、軌跡が以下の論文に詳しくまとまっています！

:::box
[**A Survey of Large Language Models**](https://arxiv.org/pdf/2303.18223.pdf)
:::

<mark>![LLMの歴史](/wp-content/uploads/2023/05/229346331bbc829ab8f2abb604ae47ac.jpg)</mark>

このほかにも、中国の「[DeepSeek](/deepseek)」のように少ない費用で作られた高性能なモデルや、スマホやパソコンでも動く「[小規模言語モデル（SLM）](/small-language-model)」も次々に登場しています。

## 大規模言語モデル（LLM）の課題

ただ、そんな大規模言語モデルですがいくつかの課題が残っているんです。

### 学習データのバイアスによる偏見や差別

学習データのバイアスによる偏見や差別が生じ問題に発展する可能性があります。

AIは世の中の一般的な情報を大量に吸い上げて学習しているので、<mark>LLMにお願いしてテキストを生成した時にアウトプットに「看護師と言えば女性だし、お金持ちと言えば男性」みたいな偏見や差別が勝手に入り込む可能性があります。</mark>

:::talk{who="robotan" side="left"}
ちゃんとバイアスが存在することを理解した上で使わないといけないね
:::

AIを人の意図や価値観に沿って動くように調整する「AIアラインメント」については、以下の記事で解説しています。

<https://toukei-lab.com/ai-alignment>

### 個人情報・プライバシーの問題

また各種LLMを使う際に個人情報データや機密情報データをインプットすると、それを勝手に学習されてしまうという恐れがあります。

そのため企業によっては社員がChatGPTなどのLLMツールを利用するのを禁止しているケースもありますし、国自体が国民に使用を禁止しているケースもあります。

:::box
・[ChatGPT｢イタリアで一時禁止｣裏にある深い事情](https://toyokeizai.net/articles/-/667190)\
・[サムスン、従業員の生成ＡＩ利用を禁止－ChatGPT経由でデータ漏れる](https://www.bloomberg.co.jp/news/articles/2023-05-02/RU0AD6T0AFB401)
:::

明確に学習に使わないと断言している場合もありますが、使用する際はくれぐれも注意しましょう！

### 正確性の問題

そもそも大規模言語モデル（LLM）は確率的に高いテキストを並べているだけなので、必ずしも正確な答えをアウトプットするとは限りません。

<mark>割と普通に嘘をつきます。</mark>

この正確性の問題は今後ある程度解決していくかとは思いますが、人間も完璧に正確なことを言うとは限らないので、そういうものだと思って付き合っていくしかないでしょう！

:::talk{who="umatan" side="right"}
そもそも確率的に高い答えを出しているだけなので大規模言語モデル（LLM）に悪気はないんだ！優しく見守ってあげてね！
:::

### インプットする言語による精度差

大規模言語モデル（LLM）では、学習データであるテキストデータに様々な言語が混ざっているため、言語によってモデルの精度に差が生じます。

英語が一番精度が高く、日本語も比較的精度が高めです。

そのためより高い精度のアウトプットを求めるなら英語を使った方がよいでしょう！

以下はGPT-4の言語別の精度差になります。

![GPT-4](/wp-content/uploads/2023/04/GPT4-1.jpg)（出典：<https://openai.com/research/gpt-4>）

### 圧倒的な計算量によるコスト

また、圧倒的な計算量によるコストも課題です。

ChatGPTを開発するOpenAIは2022年に赤字5億4000万ドル（約730億円）を計上しており、高精度の大規模言語モデル（LLM）を開発するためには莫大なコストがかかることが伺えます。

:::box
[OpenAI’s Losses Doubled to \$540 Million as It Developed ChatGPT](https://www.theinformation.com/articles/openais-losses-doubled-to-540-million-as-it-developed-chatgpt)
:::

計算量を抑える工夫として、質問ごとに一部の「専門家」だけを動かす「[MoE（Mixture of Experts）](/mixture-of-experts)」や、少しのパラメータだけを追加で学習する「[LoRA](/lora)」といった技術も使われています。

## 大規模言語モデル（LLM）まとめ

ここまでご覧いただきありがとうございました！

本記事では、**大規模言語モデル（LLM）**&#x306B;ついて簡単にまとめてきました！

ここまでは、大規模言語モデル（LLM）がどんなものなのかザックリ見てきましたが、ある程度理解した後は[GPTシリーズ](/gpt)などの各種モデルを具体的に手を動かしながら実装してみることが大事です。

:::talk{who="umatan"}
頭の良い人たちが研究開発した知識をガンガン社会実装していこう！
:::

各種大規模言語モデル（LLM）をPythonで利用する方法を知りたい方は以下のUdemy講座でまとめていますので是非チェックしてみてください！

:::box
[**大規模言語（LLM）モデル・生成系AIを学ぼう！概要を理解した後はPythonで動かしてみよう！**](https://www.udemy.com/course/llm-ai-python/?referralCode=3B3D40E6D8DC5D8C6FA1)

[![大規模言語モデル](/wp-content/uploads/2023/05/ff29a6f469e831d6d9b3ee9650ee5fd8.jpg)](https://www.udemy.com/course/llm-ai-python/?referralCode=3B3D40E6D8DC5D8C6FA1)

各種テキスト生成AIや画像生成AIの概要をアニメーションで学んだ後に実際にPythonを使ってAPI触っていきます！

大規模言語モデルや生成系AIの基礎を理解したいのであればこれ！

今なら購入時に「FLSHDGEJURXF」という講師クーポンコードを入れると90%オフ以上の割引価格になりますのでぜひご受講ください！

::button[このコースを見てみる]{href="https://www.udemy.com/course/llm-ai-python/?referralCode=3B3D40E6D8DC5D8C6FA1" note="＼30日以内なら返金無料／"}
:::

また、当メディアが運営するスタアカの以下のコースでも大規模言語モデル(LLM)について詳しく解説していますので是非チェックしてみてください！

:::box
**[スタアカ「14.大規模言語モデル（LLM）・生成系AIコース」](https://toukei-lab.com/achademy/courses/llm/)**
:::

スタアカは業界最安級のAIデータサイエンススクールです。

![スタアカ（スタビジアカデミー）のトップページ](/wp-content/uploads/2026/10/achademy-top.jpg)

<table class="table">
<tbody>
<tr>
<th>【価格】</th>
<td>ライトプラン：1,280円/月（全コースが受講し放題）<br>
プレミアムプラン：129,800円（通常149,800円・買い切り）</td>
</tr>
<tr>
<th>【オススメ度】</th>
<td><span class="stars" role="img" aria-label="5点中5点" data-value="5"></span></td>
</tr>
<tr>
<th>【サポート体制】</th>
<td><span class="stars" role="img" aria-label="5点中4点" data-value="4"></span></td>
</tr>
<tr>
<th>【受講形式】</th>
<td>オンライン形式</td>
</tr>
<tr>
<th>【学習範囲】</th>
<td>統計学・機械学習・ディープラーニングを網羅的に学ぶ<br>
生成AI（LLM・RAG・プロンプトエンジニアリング）を学ぶ<br>
SQLとPythonを組み合わせて実データを使った様々なワークを行う<br>
実践的なビジネスフレームワークを学ぶ<br>
マーケティングの実行プラン策定</td>
</tr>
</tbody>
</table>

:::box
**・BigQuery上でSQL、Google Colab上でPythonを使い野球の投球分析**\
**・世界最大手小売企業のウォルマートの実データを用いた需要予測**\
**・ビジネス・マーケティングの基礎を学んで実際の企業を題材にしたマーケティングプランの策定**\
**・生成AIのAPIを使ってチャットボットやAIエージェントを作る**
:::

::button[スタアカの受講はこちら]{href="https://toukei-lab.com/achademy/" note="＼今すぐ試す／"}

<mark>**AIデータサイエンスを学んで市場価値の高い人材になりましょう！**</mark>

データサイエンスやAIの勉強方法は以下の記事でまとめています。

<https://toukei-lab.com/data-scientist>

<https://toukei-lab.com/ai-learning>