OpenAIが発表した音声toテキストのWhisperについて分かりやすく解説！

こんにちは！

データサイエンティストのウマたん(@statistics1012)です！

AIの進化が凄まじいですが、その中でも音声をテキストに直してくれる「speech to text」の領域のWhisperというモデルについて解説していきたいと思います！

WhisperはAI時代の最先端を走る企業OpenAIによって発表されました。

Whisperの仕組みや使い方を知ることでこれからのAI時代を生き抜く上での指針になると嬉しいです。

それでは見ていきましょう！

以下の動画でも解説していますのであわせてチェックしてみてください！

Whisperって何ができるの？

まずは、簡単にWhisperを用いて何ができるのか解説していきたいと思います。

Whisperでは音声をテキストに変換することができます。

今までも音声をテキストに変換する技術はありましたが、なかなか精度が高くなく実用レベルまで達していないものがほとんどでした。

その中でWhisperは非常に高精度で音声をテキストに変換できる技術として大きな注目を浴びることになったのです！

実際にOpenAIのドキュメントには、インプットした音声に対してテキストをアウトプットしてくれている様子が見て取れます。

Whisperのベースとなっている技術

さて、Whisperでどんなことができるのか分かったところで、Whisperが内部的にどんな仕組みになっているのか簡単に見ていきましょう！

論文に記載されているWhisperのアーキテクチャは以下です。

見ての通り、このアーキテクチャは以下のTransformerとほぼ同じでattention層を使ったエンコーダーデコーダーの組み合わせになっています。

Trasnformerは2017年に登場し、DALL･EやChatGPTをはじめとする他のOpenAIのモデルのベースにもなっている技術です。

Transformerに関しては以下の記事を参考にしてみてください！

Transformer（トランスフォーマー）をAI進化の流れと共にわかりやすく解説！Attention層に至るまで当サイト【スタビジ】の本記事では、昨今のAIブームのベースとなっているTransformer（トランスフォーマー）について簡単に解説していきたいと思います！Transformerはディープラーニングの進化をブレークスルーさせた技術なんです

入力音声は30秒単位のまとまりに区切られて、ログメルスペクトログラムという音声認識における特徴量に使われる指標に変換してエンコーダーにインプットしています。

ログメルスペクトログラムとは、人間の知覚する音の尺度に直したメル尺度周波数にログ変換かけたもので以下のようなものです。

（出典：”FSER: Deep Convolutional Neural Networks for Speech Emotion Recognition“）

この際にインプットしているデータは、なんとWeb上の合計68万時間もの音声データ！

昨今のAIの進化はアルゴリズムの進化もさることながら、とにかく大量のデータを食わして学習することで精度を上げている事例が多いです。

そしてデコーダーでは以下の画像の通り、テキスト変換のタスクだけでなく言語分類や音声検知など様々なタスクに対応できるようにマルチタスク学習をしています。

また、Whisperにはいくつかのモデルがありlargeになればなるほど精度は上がります。

（出典：Model Card: Whisper）

先ほど68万時間の音声データで学習しているとお伝えしましたが、そのうち英語が65%を占めています。

しかしそれでもしっかり英語以外の各言語の精度も高く日本語も比較的高い精度になっています。

以下が各言語の言葉の誤り率を並べたものです。

（出典：Githubリポジトリ：Whisper）

日本語もなかなかの精度になっていることがわかると思います。

Whisperについて言及しているOpenAIの公式ブログは以下ですのでこちらもあわせてチェックしてみてください。

Whisper まとめ

今回はWhisperについて簡単にまとめてきました！

Whisperに関するドキュメントを以下にまとめておきますので詳しく知りたい方はあわせて参照してみてください。

ここまでは、Whisperがどんな仕組みなのか見てきましたが、ザックリ理解した後は実際に手を動かしながらガシガシ使ってみることが大事です。

WhisperをはじめとしたAIを利用する方法を知りたい方は当メディアが運営するスタアカの以下のコースを是非チェックしてみてください！

スタアカは業界最安級のAIデータサイエンススクールです。

＼今すぐ試す／

AIデータサイエンスを学んで市場価値の高い人材になりましょう！

データサイエンスやAIの勉強方法は以下の記事でまとめています。

【5分で分かる】データサイエンティストに必要なスキルと独学勉強ロードマップ！当サイト【スタビジ】の本記事では、データサイエンティストに求められるスキルとそれを身に付けるための勉強法について徹底的にまとめていきます！入門者でも、しっかりデータサイエンティストについて理解しある程度独学で駆け出しの状態までいけることを目指します。 【これだけ！】AI(人工知能)の勉強ロードマップを徹底的に解説！当サイト【スタビジ】の本記事では、AIを勉強するロードマップについて徹底的に解説していきます。まずは、AIの概要について理解して統計学の基本知識・機械学習の基本知識・Pythonでの実装・インフラ周りの知識などを包括的に理解していきましょう！