TF-IDF 算法
TF-IDF 算法通过分配权重来反映每个词的重要程度，根据权重对一篇文章中的所有词语从高到低进行排序，权重越高说明重要性越高，排在前几位的词就可以作为这篇文章的关键词。所以 TF-IDF 算法可以用来提取关键词。
TF-IDF 全称为 term frequency–inverse document frequency
算法分为两部分： 词频(TF) 和 逆文档频率(IDF)
1词频(TF) = 某个词在文章中的出现次数 / 文章总词数
2逆文档频率(IDF) = log( 文章总数 / (包含该词的文章数+1) )
分成两部分理解的话就是，一个词的词频越高说明它越重要，逆文档频率越高说明它越普遍，越普遍则代表性越差。所以，词频与最终的权重呈正比，逆文档频率与最终的权重呈反比。
在使用 TF-IDF 算法之前，需要先对文本进行预处理，如分词、去除停用词。在运算之前，需要先统计每篇文章中的每个词语出现的次数。
统计词语出现次数
假设有一份包含三篇文章的数据，现在对三篇文章中的词语进行次数统计。下面使用的数据已经完成分词和去除停用词的步骤。
1docList = []
2for item in doc:
3... wordDic = {}
4... wordList = item.strip().split()
5... for word in wordList:
6... wordDic[word] = wordDic.setdefault(word, 0)+1
7... docList.append(wordDic)
8...
9len(docList)
103
11docList[0]
12{'图书': 34, '评论': 12, '重视': 2, '书籍装帧': 1, '艺术': 26, '评价正文': 1, '近代': 1, '报刊': 2, '业': 1, '兴起': 1, '世界': 1, '各国': 1, '长足发展': 1, '一种': 4, '新型': 1, '体裁': 1, '不论是': 1, '书评': 17, '理论': 1, '实践': 1, '不小': 1, '疏漏': 1, '忽视': 6, '形式': 11, '因素': 7, '内容': 13, '综合体': 2, '这一': 3, '导致': 2, '活动': 4, '中': 8, '出版': 5, '品评'}
docList 是一个列表，包含整份数据(包含多篇文章)的信息；其中，列表的元素是字典类型，即列表包含多个字典元素，其中字典的结构为 词语:出现次数 ，所以，每个列表储存着一篇文章中词语出现次数的信息
1def countWord(doc):
2 '''
3 依次对所有文章进行统计，统计每篇文章中每个词的出现次数
4 doc: list 列表中一个元素为一篇文章的文本数据，str类型，空格间隔，含换行符
5 '''
6 docList = []
7 for item in doc:
8 wordDic = {}
9 wordList = item.strip().split() #将字符串转换成列表，一个元素一个词
10 for word in wordList:
11 wordDic[word] = wordDic.setdefault(word, 0)+1
12 docList.append(wordDic)
13 return docList
计算词频(TF)
词频(TF) = 某个词在文章中的出现次数 / 文章总词数
1例如：
2文章一：'图书': 34, '评论': 12, '重视': 2
3文章二：'评论': 7, '活动': 4, '出版': 5
4文章三：'导致': 2, '图书': 12, '评论': 9
5
6则 词频(TF) 为：
7文章一：'图书': 34/(34+12+2), '评论': 12/(34+12+2), '重视': 2/(34+12+2)
8文章二：'评论': 7/(7+4+5), '活动': 4/(7+4+5), '出版': 5/(7+4+5)
9文章三：'导致': 2/(2+12+9), '图书': 12/(2+12+9), '评论': 9/(2+12+9)
1def computeTF(wordDic):
2 '''
3 计算一篇文章中每个词的词频
4 wordDic: dict 为 docList 的元素
5 '''
6 #计算 total
7 total = sum(wordDic.values())
8 #计算词频
9 tfDic = {}
10 for word, value in wordDic.items():
11 tfDic[word] = value / total
12
13 return tfDic
计算逆文档频率(IDF)
逆文档频率(IDF) = log( 文章总数 / (包含该词的文章数+1) )
1例如：
2文章一：'图书': 34, '评论': 12, '重视': 2
3文章二：'评论': 7, '活动': 4, '出版': 5
4文章三：'导致': 2, '图书': 12, '评论': 9
5
6则 逆文档频率(IDF) 为：
7'图书': log(3/(2+1)), '评论': log(3/(3+1)), '重视': log(3/(1+1)), '活动': log(3/(1+1)), '出版': log(3/(1+1)), '导致': log(3/(1+1))
8
9针对 '评论': log(3/(3+1)) 这个数据：
10分子 3 是一共有三篇文章；分母 3 是其中有三篇文章包含了词语 '评论'；分母 1 是防止分母为 0 的一种做法，如果能保证分母不为 0，此处不加一也无妨。
1def computeIDF(docList):
2 '''
3 计算每个词的逆文档频率
4 docList: list
5 '''
6 #计算 total
7 total = len(docList)
8 #计算逆文档频率
9 idfDic = {}
10 for wordDic in docList:
11 for word, value in wordDic.items():
12 if value > 0:
13 idfDic[word] = idfDic.setdefault(word, 0)+1
14 for word, value in idfDic.items():
15 idfDic[word] = math.log(total/value+1) #要先引入 math 库
16
17 return idfDic
计算TF-IDF
TF-IDF = 词频(TF) * 逆文档频率(IDF)
对于每篇文章，将文章中的每个词对应的词频和逆文档频率相乘，结果就是 TF-IDF 的值
1def computeTFIDF(doc):
2 '''
3 计算 TF-IDF 值
4 doc: list
5 '''
6 docList = countWord(doc)
7 idfDic = computeIDF(docList)
8 tfidf = []
9 for wordDic in docList:
10 tfDic = computeTF(wordDic)
11 for word, value in tfDic.items():
12 tfDic[word] = tfDic.setdefault(word) * idfDic.setdefault(word)
13 tfidf.append(tfDic)
14 return tfidf
比如得到像下面这样的结果：
1{'图书': 0.2325942849792562, '评论': 0.06181160435625407, '重视': 0.005153575532783829, '书籍装帧': 0.013093886622905858, '艺术': 0.09805658420000751, '评价正文': 0.014042067245293792, '近代': 0.004887464652957998, '报刊': 0.012632288317729841, '业': 0.005769296438219885, '兴起': 0.0043842616102319565, '世界': 0.0021243970875383877, '各国': 0.00329842781709159}