# 【原理は？】Stable Diffusionの使い方や仕組み・特徴について分かりやすく解説！ > 当サイト【スタビジ】の本記事では、画像生成系AIとして話題のStable Diffusionの使い方や仕組み・特徴について解説していきたいと思います。画像生成系AIのStable Diffusionを理解して画像生成系AIの流れに乗り遅れないようにしましょう！ - URL: https://toukei-lab.com/stable-diffusion - 公開: 2023.05.07 / 更新: 2025.02.26 - サイト: スタビジ（https://toukei-lab.com） :::talk{who="umatan"} 当サイト【スタビジ】の本記事では、画像生成系AIとして話題のStable Diffusionの使い方や仕組み・特徴について解説していきたいと思います。画像生成系AIのStable Diffusionを理解して画像生成系AIの流れに乗り遅れないようにしましょう！ ::: こんにちは！ データサイエンティストのウマたん([@statistics1012](https://twitter.com/statistics1012?lang=ja))です！ 昨今は本当にAIの進化が凄まじいですが、その中でもテキストから画像を生み出す技術が多く登場しています。 この記事では、そのtext to imageの領域の中でも非常に話題の**Stable Diffusion**の使い方や仕組み・特徴について解説していきたいと思います。 以下のYoutube動画でも解説しているので参考にしてみてください！ ::youtube{#zR2TdomwY2Y} ## Stable Diffusionの使い方 Stable Diffusionを使う方法はいくつかありますが、一番簡単なのは[Hagging faceのサービスページ](https://huggingface.co/spaces/stabilityai/stable-diffusion)で使う方法です。 ログイン不要で、以下の画面にテキスト生成のためのプロンプトを入れてあげれば誰でも簡単に生成できます。 ![Stable Diffusion](/wp-content/uploads/2023/05/Stable-Diffusion.jpg) この画像では、「The distopia that AI threats the human」とテキストをインプットしてその結果が返ってきています。 他にも「[DreamStudio](https://beta.dreamstudio.ai/)」というサービスを使う方法や、Pythonで動かす方法などがありますが、とりあえずStable Diffusionを触って画像を作ってみたい！という方はHagging Faceを利用するのがよいでしょう！ その他、画像生成AIについて以下の記事で詳しく解説しているので、参考にしてみてください。 ## Stable Diffusionの仕組み・特徴 ![AI](/wp-content/uploads/2017/12/Artificial-intelligence-amico-min-e1617628722323.png) それでは続いて、Stable Diffusionの仕組みと特徴について簡単に解説していきたいと思います。 Stable Diffusion自体の論文は公開されていませんが、詳しい解説が公式のGithub上に記載されています。 :::box [Stable Diffusionの公式Githubリポジトリ](https://github.com/CompVis/stable-diffusion) ::: ![Stable Diffusion_Github ](/wp-content/uploads/2023/05/Stable-Diffusion_Github-1.jpg) Stable Diffusionはオープンソースで世界中の誰でもプログラムを確認できるようになっているんです！ リポジトリの最初に書いてある文章を見てみましょう！ > Stable Diffusion is a latent text-to-image diffusion model. Thanks to a generous compute donation from Stability AI and support from LAION, we were able to train a Latent Diffusion Model on 512×512 images from a subset of the LAION-5B database. Similar to Google’s Imagen, this model uses a frozen CLIP ViT-L/14 text encoder to condition the model on text prompts.\ > （出典：[Stable Diffusionの公式Githubリポジトリ](https://github.com/CompVis/stable-diffusion)） :::talk{who="umatan"} ざっくり要約すると「CLIPによるテキスト条件付けをして潜在拡散モデルで画像を生成したよ。学習にはLAION提供のデータを使ったよ」ということを言っているね！ ::: さてここで、Stable Diffusionを理解する上でまずはCLIPと[拡散モデル](/diffusion-model)の2つを理解する必要があります。 実は昨今の画像生成系AIはこの2つをベースにしていることが多く、OpenAIが開発した[DALL･E2](/dalle)もご多分に漏れずこの2つをベースにしたモデルになっています。 ### CLIP CLIPとは2021年にOpenAIが発表した技術で、「**Contrastive Language-Image Pretraining**」の略です。 論文は以下。 :::box [**Learning Transferable Visual Models From Natural Language Supervision**](https://arxiv.org/pdf/2103.00020.pdf) ::: CLIPとは、簡単に言うと、「大量の画像とテキストの組み合わせを学習し、画像とテキストの類似度を算出した上で、特定の画像に対して適切なテキストを選択してくれるようにするアプローチ」です。 以下の画像が論文に記載されている処理イメージです。![CLIP](/wp-content/uploads/2023/04/CLIP.jpg) まず、左の工程でテキストと画像をぞれぞれベクトル化しそれらの情報から類似度を算出しています。 ちなみにテキストをベクトル化する際には[Transformer](/transformer)を利用しています。Transformerは[GPTシリーズ](/gpt)にベースにもなっている技術で非常にAI分野の発展に貢献した技術です。 画像のベクトル化には[CNN](/deep-learning)を利用しています。 簡略化して書くとこんなイメージ ![DALLE2](/wp-content/uploads/2023/04/DALLE2_7.png) 犬の画像と犬というテキストの類似度を算出しています。 ![clip](/wp-content/uploads/2023/04/clip10.png) 続いて右の工程で犬の画像をインプットしてテキストの中から最も類似度が高いと考えられるdogが選択されています。 ### 拡散モデル そして拡散モデル(diffusion model)。 こちらは2020年に発表された技術です。 論文は以下。 :::box [Denoising Diffusion Probabilistic Models](https://arxiv.org/pdf/2006.11239.pdf) ::: 拡散モデルは、画像生成発展のベースになっている技術です。 簡単に言うと、「ある画像に対してランダムノイズを徐々に当てていき完全にノイズになったものを逆工程でノイズを除いていき、元の画像とノイズを除いた後の画像が近くなるように学習する技術」です。 イメージはこのような図です。 ![拡散モデル](/wp-content/uploads/2023/04/08455b4790b1aa41e6016f93d30e0b7c.jpg) 図のように犬の画像に対してノイズを乗せて、そのノイズを逆に取り除く際にノイズを取り除く部分は複数のパラメータを用いて定式化することが可能です。 ちなみに一般的にノイズには[正規分布（ガウス分布）](/gauss)に従うノイズが当てられます。 この「ノイズを取り除く過程を定式化した部分のパラメータを調整して元の画像との差分を小さくする試み」が拡散モデルなのです！ 拡散モデルに関しては以下の記事でまとめています！ そして実は前述のStable DiffusionのGithubリポジトリの文章に登場した「潜在拡散モデル」はこの拡散モデルを改良したものであり、Stable Diffusionの肝になってくるのです。 ### 潜在拡散モデル それでは潜在拡散モデル（Latent Diffusion Models）とはどんなモデルでしょう？ Stable Diffusionの元となっている潜在拡散モデル（Latent Diffusion Models）の論文は以下です。 :::box [High-Resolution Image Synthesis with Latent Diffusion Models](https://arxiv.org/pdf/2112.10752.pdf) ::: :::talk{who="umatan"} ざっくり言うと、潜在拡散モデルとは「高次元の画像を低次元の空間に変換してそれに対して拡散過程を適用させて最終的に高次元の画像に復元するアプローチ」 ::: 拡散過程では画像の各ピクセルに対してノイズの付与と除去をしていたのですが、そうするとかなりの計算量になってしまいます。 そこで画像の特徴をおおまかに捉えた低次元の潜在空間に変換してあげて拡散過程を適用させて計算量を減らしているのがStable Diffusionで使われている潜在拡散モデルのアプローチになります。 ![Stable Diffusion](/wp-content/uploads/2023/05/Stable-Diffusion3.png)（出典：[High-Resolution Image Synthesis with Latent Diffusion Models](https://arxiv.org/pdf/2112.10752.pdf)） ### 学習に用いているLAIONというデータセット Stable DiffusionではLAIONという非営利組織が提供する[LAION-5B](https://laion.ai/blog/laion-5b/)というデータセットのサブセット[LAION-AESTHETICS](https://laion.ai/blog/laion-aesthetics/)を利用して学習しています。 ![Stable Diffusion](/wp-content/uploads/2023/05/Stable-Diffusion2.jpg) LAION-5Bは、前述のCLIPでフィルタリングされた58億5千万組の画像・テキストデータセットです。 そのLAION-5Bから美しい画像のみをピックアップして構成されているLAION-AESTHETICSを元に学習することで高画質の美しい画像をアウトプットできるようにしているのも特徴の1つです。 ## Stable Diffusion まとめ ここまでご覧いただきありがとうございました！ 今回は**Stable Diffusion**について簡単にまとめてきました！ ここまでは、Stable Diffusionがどんな仕組みなのか見てきましたが、ザックリ理解した後は実際に手を動かしながらガシガシ使ってみることが大事です。 :::talk{who="umatan"} 頭の良い人たちが研究開発した知識をガンガン社会実装していこう！ ::: Stable Diffusionの使い方やプロンプトエンジニアリングの方法を詳しく解説したコース「[画像生成系AI「Stable Diffusion」の使い方や画像生成のテクニックをPythonやAPIを使って学ぼう！](https://www.udemy.com/course/stable-diffusion-python/?referralCode=F29A291876CDD0A42211)」をUdemyで公開しておりますので興味のある方はチェックしてみてください！ [![StableDiffusion](/wp-content/uploads/2023/11/StableDiffusion.jpg)](https://www.udemy.com/course/stable-diffusion-python/?referralCode=F29A291876CDD0A42211) 画像生成系AIのStableDiffusionの基礎を理解したいのであればこれ！今なら購入時に「NZWCLGF4BTZENY6E」という講師クーポンコードを入れると90%オフ以上の割引価格になりますのでぜひご受講ください！ ::button[このコースを見てみる]{href="https://www.udemy.com/course/stable-diffusion-python/?referralCode=F29A291876CDD0A42211" note="＼30日以内なら返金無料／"} Stable Diffusionをはじめとした生成系AIを利用する方法を知りたい方は当メディアが運営するスタアカの以下のコースを是非チェックしてみてください！ :::box **[スタアカ「14.大規模言語モデル（LLM）・生成系AIコース」](https://toukei-lab.com/achademy/courses/llm/)** ::: スタアカは業界最安級のAIデータサイエンススクールです。 ![スタアカ（スタビジアカデミー）のトップページ](/wp-content/uploads/2026/10/achademy-top.jpg)
【価格】 ライトプラン：1,280円/月（全コースが受講し放題）
プレミアムプラン：129,800円（通常149,800円・買い切り）
【オススメ度】
【サポート体制】
【受講形式】 オンライン形式
【学習範囲】 統計学・機械学習・ディープラーニングを網羅的に学ぶ
生成AI（LLM・RAG・プロンプトエンジニアリング）を学ぶ
SQLとPythonを組み合わせて実データを使った様々なワークを行う
実践的なビジネスフレームワークを学ぶ
マーケティングの実行プラン策定
:::box **・BigQuery上でSQL、Google Colab上でPythonを使い野球の投球分析**\ **・世界最大手小売企業のウォルマートの実データを用いた需要予測**\ **・ビジネス・マーケティングの基礎を学んで実際の企業を題材にしたマーケティングプランの策定\ ・生成系AIの基礎や使い方を学ぶ** ::: ::button[スタアカの受講はこちら]{href="https://toukei-lab.com/achademy/" note="＼今すぐ試す／"} **AIデータサイエンスを学んで市場価値の高い人材になりましょう！** データサイエンスやAIの勉強方法は以下の記事でまとめています。 ここまで読んでいただきありがとうございます！ 他にも既に様々なところでStable Diffusionについてかなり濃く解説されていますので是非そちらも参考にしてみてください。 :::related ・[【しばらく全文公開】画像生成のしくみから応用まるわかり!](https://zenn.dev/tomo_makes/books/4ed97f06d02a38)\ ・[Stable Diffusion with Diffusers](https://huggingface.co/blog/stable_diffusion)\ ・[世界に衝撃を与えた画像生成AI「Stable Diffusion」を徹底解説！](https://qiita.com/omiita/items/ecf8d60466c50ae8295b) :::