自然言語処理 確認テスト

tf（その文書での出現頻度）が高く、idf（ほかの文書にどれだけ出てこないか）も高い単語ほど、tf-idfは大きくなります。そのため、その文書を特徴づける単語を表す指標として使われます。どの文書にも出てくる単語はidfが小さくなります。

復習する：自然言語処理とは

MeCabは日本語の文章を意味を持つ最小の単位（形態素）に区切り、それぞれに品詞などの情報を付けます。レッスンでは、その品詞が「名詞」の単語だけを取り出してリストにしました。

復習する：MeCabで形態素解析

対角の要素は同じ記事どうしの類似度なので、必ず1（最大）になります。これを除かないと「自分と自分」がいちばん似ている組み合わせになってしまうため、対角を除いてから最大値を探しました。

復習する：livedoorニュースの記事のtf-idf・cos類似度を計算してみよう！

トピックモデルは大量の文書から隠れたトピックを取り出し、各文書にそれぞれのトピックがどのくらい含まれるかを表します。「ChatGPTを欧米政府が規制」という記事に、AIと政治の2つのトピックが含まれる、という例のとおりです。

復習する：NewsAPIから取得した英語記事をトピックモデルで分類していこう！

Word2Vecは単語を、Doc2Vecは文書をベクトルに変換する手法で、Doc2VecはWord2Vecの応用版と考えられます。ベクトルにすることで、意味の近い単語どうしや内容の近い文書どうしを類似度で比べられます。

復習する：livedoorニュースの記事にDoc2Vecを使ってみよう！