TF-IDFの機械学習

TF-IDFは、統計的手法コーパス内のファイルやドキュメントの用語セットの重要性を評価します。それがファイルに表示される回数などの単語の重要性が増加に比例しているが、同時にそれは中と同じようにコーパス周波数が表示さに反比例落ちます。

TFは、意味:用語頻度:単語頻度  逆文書頻度:IDFが参照逆文書頻度を

TF事実は、回数は言葉が記事に表示されます。IDFは次のように計算される:ログ(物品の総数/用語の物品の出現回数)

したがって、単語の値を算出するためのTF-IDFの式は、TF * IDF(この値は単語の重要性を反映しています)

API: sklearn.feature_extraction.text.TfidfVectorizer

 

おすすめ

転載: www.cnblogs.com/GouQ/p/11867224.html