# OpenAIが発表した音声toテキストのWhisperについて分かりやすく解説！ > 当サイト【スタビジ】の本記事では、OpenAIが開発した音声toテキストのWhisperというモデルについて分かりやすく解説していきます。音声とテキストに変換する作業を自動化することで日々の業務が一気にラクになるかもしません！ぜひ理解して使えるようになっておきましょう！ - URL: https://toukei-lab.com/whisper - 公開: 2023.04.27 / 更新: 2025.01.30 - サイト: スタビジ（https://toukei-lab.com） :::talk{who="umatan"} 当サイト【スタビジ】の本記事では、OpenAIが開発した音声toテキストのWhisperというモデルについて分かりやすく解説していきます。音声とテキストに変換する作業を自動化することで日々の業務が一気にラクになるかもしません！ぜひ理解して使えるようになっておきましょう！ ::: こんにちは！ データサイエンティストのウマたん([@statistics1012](https://twitter.com/statistics1012?lang=ja))です！ AIの進化が凄まじいですが、その中でも音声をテキストに直してくれる「speech to text」の領域のWhisperというモデルについて解説していきたいと思います！ :::talk{who="robotan" side="left"} AIの進化早すぎる・・・ ::: WhisperはAI時代の最先端を走る企業OpenAIによって発表されました。 Whisperの仕組みや使い方を知ることで**これからのAI時代を生き抜く上での指針**になると嬉しいです。 それでは見ていきましょう！ 以下の動画でも解説していますのであわせてチェックしてみてください！ ::youtube{#lGrJCmcVzEk} ## Whisperって何ができるの？ ![Mobile Marketing](/wp-content/uploads/2020/07/Mobile-Marketing-amico-e1613688956758.png) まずは、簡単にWhisperを用いて何ができるのか解説していきたいと思います。 Whisperでは音声をテキストに変換することができます。 :::talk{who="robotan" side="left"} 音声をテキストに変換できるとどんなことに役立つのかな？？ ::: :::talk{who="umatan" side="right"} 会議の議事録作成やインタビューの書き起こしなど、今まで人が手作業でやっていた領域をAIが自動でやってくれるようになるんだ！ ::: 今までも音声をテキストに変換する技術はありましたが、なかなか精度が高くなく実用レベルまで達していないものがほとんどでした。 その中でWhisperは**非常に高精度で音声をテキストに変換できる技術**として大きな注目を浴びることになったのです！ 実際にOpenAIの[ドキュメント](https://platform.openai.com/docs/guides/speech-to-text/quickstart)には、インプットした音声に対してテキストをアウトプットしてくれている様子が見て取れます。 ![Transcription](/wp-content/uploads/2023/04/Transcription-1.jpg) ## Whisperのベースとなっている技術 さて、Whisperでどんなことができるのか分かったところで、Whisperが内部的にどんな仕組みになっているのか簡単に見ていきましょう！ :::warn Whisperの論文は以下になりますので詳しく知りたい方は論文を見てみてください。 ::: :::box [**“Robust Speech Recognition via Large-Scale Weak Supervision”**](https://arxiv.org/pdf/2212.04356.pdf) ::: 論文に記載されているWhisperのアーキテクチャは以下です。 ![Whisper](/wp-content/uploads/2023/04/Whisper-1.jpg) 見ての通り、このアーキテクチャは以下のTransformerとほぼ同じでattention層を使ったエンコーダーデコーダーの組み合わせになっています。 ![Transformer](/wp-content/uploads/2023/03/Transformer2.jpg) Trasnformerは2017年に登場し、[DALL･E](/dalle)や[ChatGPT](/gpt)をはじめとする他のOpenAIのモデルのベースにもなっている技術です。 Transformerに関しては以下の記事を参考にしてみてください！ 入力音声は30秒単位のまとまりに区切られて、ログメルスペクトログラムという音声認識における特徴量に使われる指標に変換してエンコーダーにインプットしています。 ログメルスペクトログラムとは、人間の知覚する音の尺度に直したメル尺度周波数にログ変換かけたもので以下のようなものです。 ![ログメルスペクトログラム](/wp-content/uploads/2023/04/fe36f25a55235f492c73f2fa2138152a.jpg) （出典：”[FSER: Deep Convolutional Neural Networks for Speech Emotion Recognition](https://openaccess.thecvf.com/content/ICCV2021W/ABAW/papers/Dossou_FSER_Deep_Convolutional_Neural_Networks_for_Speech_Emotion_Recognition_ICCVW_2021_paper.pdf)“） この際にインプットしているデータは、なんとWeb上の合計68万時間もの音声データ！ :::talk{who="robotan" side="left"} ろ、68万時間！？想像もつかないや、、、 ::: 昨今のAIの進化はアルゴリズムの進化もさることながら、とにかく大量のデータを食わして学習することで精度を上げている事例が多いです。 そしてデコーダーでは以下の画像の通り、テキスト変換のタスクだけでなく言語分類や音声検知など様々なタスクに対応できるようにマルチタスク学習をしています。 ![Whisper](/wp-content/uploads/2023/04/41f2578b3ade8d3d19d909eed49237a0.jpg) また、Whisperにはいくつかのモデルがありlargeになればなるほど精度は上がります。 ![whisper](/wp-content/uploads/2023/04/19296b00e6d674f7caa16924c4f7e7c3.png)（出典：[Model Card: Whisper](https://github.com/openai/whisper/blob/main/model-card.md)） 先ほど68万時間の音声データで学習しているとお伝えしましたが、そのうち英語が65%を占めています。 しかしそれでもしっかり英語以外の各言語の精度も高く日本語も比較的高い精度になっています。 以下が各言語の言葉の誤り率を並べたものです。 ![whisper](/wp-content/uploads/2023/04/8e9596e68f123759461eff8f863ca208.jpg)（出典：[Githubリポジトリ：Whisper](https://github.com/openai/whisper)） 日本語もなかなかの精度になっていることがわかると思います。 Whisperについて言及しているOpenAIの公式ブログは以下ですのでこちらもあわせてチェックしてみてください。 :::related OpenAIの公式ブログ： ::: ## Whisper まとめ ![An illustration representing Whisper, OpenAI's automatic speech recognition (ASR) system. The image features a futuristic and sleek interface where speech waves are being transcribed into text in real-time. A digital assistant or AI visualization processes audio input, with elements like sound waves, language translations, and multilingual text appearing dynamically. The background has a modern tech-inspired theme, emphasizing AI-driven speech recognition and communication.](https://files.oaiusercontent.com/file-LGB8dfBUMCd2Lw4gzsRWCF?se=2025-01-30T14%3A41%3A18Z\&sp=r\&sv=2024-08-04\&sr=b\&rscc=max-age%3D604800%2C%20immutable%2C%20private\&rscd=attachment%3B%20filename%3D28592f33-9103-4421-be84-baa29e64a5a7.webp\&sig=1TsZNU8%2BR/VmoBWzTeDJ12yB3OlvHaDSHIhW5xCYXRg%3D) 今回は**Whisper**について簡単にまとめてきました！ Whisperに関するドキュメントを以下にまとめておきますので詳しく知りたい方はあわせて参照してみてください。 :::related ・論文：[**“**Robust Speech Recognition via Large-Scale Weak Supervision**“**](https://arxiv.org/pdf/2212.04356.pdf)\ ・OpenAIの公式ブログ：\ ・OpenAIのAPI利用ドキュメント：\ ・Githubリポジトリ： ::: ここまでは、Whisperがどんな仕組みなのか見てきましたが、ザックリ理解した後は実際に手を動かしながらガシガシ使ってみることが大事です。 :::talk{who="umatan"} 頭の良い人たちが研究開発した知識をガンガン社会実装していこう！ ::: WhisperをはじめとしたAIを利用する方法を知りたい方は当メディアが運営するスタアカの以下のコースを是非チェックしてみてください！ :::box **[スタアカ「13.大規模言語モデル（LLM）・生成系AIコース」](https://toukei-lab.com/achademy/?sfwd-courses=llm)** ::: スタアカは業界最安級のAIデータサイエンススクールです。 ![スタアカトップ](/wp-content/uploads/2021/11/2bc9f22d0f8dfe24080b83884b7a5ec6-1024x576.jpg)
【価格】 ライトプラン：1280円/月
プレミアムプラン：149,800円
【オススメ度】
【サポート体制】
【受講形式】 オンライン形式
【学習範囲】 データサイエンスを網羅的に学ぶ
実践的なビジネスフレームワークを学ぶ
SQLとPythonを組みあわせて実データを使った様々なワークを行う
マーケティングの実行プラン策定
マーケティングとデータ分析の掛け合わせで集客マネタイズ
:::box **・BigQuery上でSQL、Google Colab上でPythonを使い野球の投球分析**\ **・世界最大手小売企業のウォルマートの実データを用いた需要予測**\ **・ビジネス・マーケティングの基礎を学んで実際の企業を題材にしたマーケティングプランの策定\ ・Webサイト構築してデータ基盤構築してWebマーケ×データ分析実践して稼ぐ\ ・生成系AIの基礎や使い方を学ぶ** ::: ＼今すぐ試す／ ::button[スタアカの受講はこちら]{href="https://toukei-lab.com/achademy/"} **AIデータサイエンスを学んで市場価値の高い人材になりましょう！** データサイエンスやAIの勉強方法は以下の記事でまとめています。