こんにちは！
データサイエンティストのウマたん(@statistics1012)です！
そんな時に有用なのがMeCab（メカブ）という形態素解析用のライブラリです！
PythonでもRでもMeCabを動かすことが可能ですが、今回はPythonで実装していきます！
目次
今回PythonとMeCabを使って実現したいこと
まず、今回実現したいことをまとめておきましょう！
Step1：URLからテキスト情報をスクレイピング
Step2：それらをMeCabで形態素解析。名詞だけ抽出
Step3：名詞の出現頻度からTF-IDF/COS類似度を算出。テキスト情報のマッチ度を測る
テキスト情報はベタ打ちでもいいのですが、せっかくだからネット上のテキストデータをスクレイピングによって抽出できるように設定します。
Pythonでスクレイピングを行う方法に関しては以下の記事をご覧ください！
MeCabを使う前準備
それでは、早速MeCabを使う環境を整えていきましょう！PythonでMeCabを使う場合は少々前準備が必要です。
以下のURLから「mecab-0.996-64.exe」をダウンロードしてください。
https://github.com/ikegami-yukino/mecab/releases/tag/v0.996
ダウンロードした後は、PythonでMeCabが使えるようにバインディングしていきます。
以下の記事で詳しくまとめられているので参考にしてみてください。
ここまで来たらMeCabを使う準備が整いました。
PythonでMeCabを実装
早速実装してみます。
以下がコードになります。
Step1:URLからテキスト情報をスクレイピング
関数のgeturlを定義することで、Pythonの「BeautifulSoup」「requests」というライブラリからpタグに囲まれたテキスト情報を抽出します。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 | def geturl(urls): all_text=[] for url in urls: r=requests.get(url) c=r.content soup=BeautifulSoup(c,"html.parser") article1_content=soup.find_all("p") temp=[] for con in article1_content: out=con.text temp.append(out) text=''.join(temp) all_text.append(text) sleep(1) return all_text |
先ほども紹介しましたが、詳しくは以下の記事にまとめているのでご覧ください！
Step2：それらをMeCabで形態素解析。名詞だけ抽出
mplgという関数部分がMeCabの実装部分になります。
以下の部分でMeCabが文章を形態素分解してくれます。
1 2 | m=MeCab.Tagger() m1=m.parse (text) |
試しにこのtext部分に
”統計ラボはデータサイエンスとWebマーケティングをまとめたサイトです”
と入れてみます。
そうすると以下のような結果が返ってきます。素晴らしい！
1 2 3 4 5 6 7 8 9 10 11 12 13 14 | 統計 名詞,サ変接続,*,*,*,*,統計,トウケイ,トーケイ ラボ 名詞,一般,*,*,*,*,ラボ,ラボ,ラボ は 助詞,係助詞,*,*,*,*,は,ハ,ワ データ 名詞,一般,*,*,*,*,データ,データ,データ サイエンス 名詞,一般,*,*,*,*,サイエンス,サイエンス,サイエンス と 助詞,並立助詞,*,*,*,*,と,ト,ト Web 名詞,固有名詞,組織,*,*,*,* マーケティング 名詞,一般,*,*,*,*,マーケティング,マーケティング,マーケティング を 助詞,格助詞,一般,*,*,*,を,ヲ,ヲ まとめ 動詞,自立,*,*,一段,連用形,まとめる,マトメ,マトメ た 助動詞,*,*,*,特殊・タ,基本形,た,タ,タ サイト 名詞,一般,*,*,*,*,サイト,サイト,サイト です 助動詞,*,*,*,特殊・デス,基本形,です,デス,デス EOS |
返ってきた結果に対して名詞だけ取り出したいため、.splitを使い2つ目の要素が名詞だったら配列に格納するような処理を行っています。
1 2 3 4 5 6 7 8 9 10 | for row in m1.split("\n"): word =row.split("\t")[0]#タブ区切りになっている１つ目を取り出す。ここには形態素が格納されている if word == "EOS": break else: pos = row.split("\t")[1]#タブ区切りになっている2つ目を取り出す。ここには品詞が格納されている slice = pos[:2] if slice == "名詞": word_list = word_list +" "+ word return word_list |
これによりテキスト情報を単語に分解し、名詞だけ格納した配列が出来上がりました。
Step3：名詞の出現頻度からTF-IDF/COS類似度を算出。テキスト情報のマッチ度を測る
続いてTF-IDFとCOS類似度を用いて、文書の類似度を算出していきます。
TfidfVectorizerを用いて文書における単語のスコアを数値化していきます。
1 2 3 4 5 6 7 8 | def tfidf(word_list): docs = np.array(word_list)#Numpyの配列に変換する #単語を配列ベクトル化して、TF-IDFを計算する vecs = TfidfVectorizer( token_pattern=u'(?u)\\b\\w+\\b'#文字列長が 1 の単語を処理対象に含めることを意味します。 ).fit_transform(docs) vecs = vecs.toarray() return vecs |
TF-IDFは文書における単語の特徴を他の文書と比較して算出する指標であり、特徴的な単語の数値が高くなります。
token_pattern=u'(?u)\\b\\w+\\b’では、1文字の単語も単語として処理するように設定しています。
COS類似度では、2つのベクトルの内積をそれぞれのL2ノルムで割る計算を行っています。
1 2 | def cossim(v1,v2): return np.dot(v1, v2) / (np.linalg.norm(v1) * np.linalg.norm(v2)) |
PythonのMeCabで形態素解析 まとめ
Pythonを用いてスクレイピングを行い、MeCabにより形態素解析そして最後にTF-IDFとCOS類似度を使って文書の類似度を算出してみました。
スクレイピング・MeCabが利用できると様々な分野に応用が効きそうですね！
Pythonはデータ解析やスクレイピングそしてWebアプリケーション作成まで出来る幅広いプログラミング言語！
スクレイピングとWebアプリケーション開発に関しては以下の記事でまとめています！
また自然言語処理についてもっと詳しく知りたい方はぜひ以下の記事をチェックしてみてください！
以下の記事で初心者がPythonを習得する方法についてまとめていますのでよければご覧ください！
Pythonを使うと様々なことができます。しかしどんなことをやりたいかという明確な目的がないと勉強は捗りません。
Pythonを習得するためのロードマップをまとめましたのでぜひチェックしてみてくださいね！
