python实现TF-IDF算法解析


Posted in Python onJanuary 02, 2018

TF-IDF(term frequency?inverse document frequency)是一种用于信息检索与数据挖掘的常用加权技术。

同样,理论我这里不再赘述,因为和阮一峰大神早在2013年就将TF-IDF用一种非常通俗的方式讲解出来

材料

1.语料库(已分好词)
2.停用词表(哈工大停用词表)
3.python3.5

语料库的准备

这里使用的语料库是《人民日报》2015年1月16日至1月18日的发表的新闻。并且在进行TFIDF处理之前已经进行了人工分词(当然也可以使用jieba分词,但效果不好)

三天的新闻篇章数量如下:

python实现TF-IDF算法解析 

语料库中共103篇新闻。每篇新闻存入在txt文件中,编码为UTF-8无BOM

这里放一篇文章示例下:

python实现TF-IDF算法解析

我在自己的项目路径下新建一个corpus的文件夹,用于存放已经分好词待计算的语料。corpus文件夹的架构如下:

python实现TF-IDF算法解析

2015年1月16日至1月18日共三天,每天可获取的新闻分了四版,因此针对每一天下的每一版我又分别建了编号为1、2、3、4的文件夹,用于存放每一版的新闻。

其实也没必要这么麻烦,可以直接把所有的新闻都放到一个文件夹下,只是我个人的文件管理习惯。当然放到数据库里面更好。

关于停用词表

较好用的停用词表有哈工大停用词表、百度停用词表、川大停用词表,网上一查一大堆。我这里选择的是哈工大停用词表。

代码实现

# -*- coding: utf-8 -*-
# @Date   : 2017-04-11 09:31:55
# @Author  : Alan Lau (rlalan@outlook.com)
# @Language : Python3.5
import os
import codecs
import math
import operator


def fun(filepath): # 遍历文件夹中的所有文件,返回文件list
  arr = []
  for root, dirs, files in os.walk(filepath):
    for fn in files:
      arr.append(root+"\\"+fn)
  return arr


def wry(txt, path): # 写入txt文件
  f = codecs.open(path, 'a', 'utf8')
  f.write(txt)
  f.close()
  return path


def read(path): # 读取txt文件,并返回list
  f = open(path, encoding="utf8")
  data = []
  for line in f.readlines():
    data.append(line)
  return data


def toword(txtlis): # 将一片文章按照‘/'切割成词表,返回list
  wordlist = []
  alltxt = ''
  for i in txtlis:
    alltxt = alltxt+str(i)
  ridenter = alltxt.replace('\n', '')
  wordlist = ridenter.split('/')
  return wordlist


def getstopword(path): # 获取停用词表
  swlis = []
  for i in read(path):
    outsw = str(i).replace('\n', '')
    swlis.append(outsw)
  return swlis


def getridofsw(lis, swlist): # 去除文章中的停用词
  afterswlis = []
  for i in lis:
    if str(i) in swlist:
      continue
    else:
      afterswlis.append(str(i))
  return afterswlis


def freqword(wordlis): # 统计词频,并返回字典
  freword = {}
  for i in wordlis:
    if str(i) in freword:
      count = freword[str(i)]
      freword[str(i)] = count+1
    else:
      freword[str(i)] = 1
  return freword


def corpus(filelist, swlist): # 建立语料库
  alllist = []
  for i in filelist:
    afterswlis = getridofsw(toword(read(str(i))), swlist)
    alllist.append(afterswlis)
  return alllist


def wordinfilecount(word, corpuslist): # 查出包含该词的文档数
  count = 0 # 计数器
  for i in corpuslist:
    for j in i:
      if word in set(j): # 只要文档出现该词,这计数器加1,所以这里用集合
        count = count+1
      else:
        continue
  return count


def tf_idf(wordlis, filelist, corpuslist): # 计算TF-IDF,并返回字典
  outdic = {}
  tf = 0
  idf = 0
  dic = freqword(wordlis)
  outlis = []
  for i in set(wordlis):
    tf = dic[str(i)]/len(wordlis) # 计算TF:某个词在文章中出现的次数/文章总词数
    # 计算IDF:log(语料库的文档总数/(包含该词的文档数+1))
    idf = math.log(len(filelist)/(wordinfilecount(str(i), corpuslist)+1))
    tfidf = tf*idf # 计算TF-IDF
    outdic[str(i)] = tfidf
  orderdic = sorted(outdic.items(), key=operator.itemgetter(
    1), reverse=True) # 给字典排序
  return orderdic


def befwry(lis): # 写入预处理,将list转为string
  outall = ''
  for i in lis:
    ech = str(i).replace("('", '').replace("',", '\t').replace(')', '')
    outall = outall+'\t'+ech+'\n'
  return outall


def main():
  swpath = r'D:\Alan\myBlog\20170411《人民日报》TFIDF\code\哈工大停用词表.txt'#停用词表路径
  swlist = getstopword(swpath) # 获取停用词表列表

  filepath = r'D:\Alan\myBlog\20170411《人民日报》TFIDF\corpus'
  filelist = fun(filepath) # 获取文件列表

  wrypath = r'D:\Alan\myBlog\20170411《人民日报》TFIDF\result\TFIDF.txt'

  corpuslist = corpus(filelist, swlist) # 建立语料库

  outall = ''

  for i in filelist:
    afterswlis = getridofsw(toword(read(str(i))), swlist) # 获取每一篇已经去除停用的词表
    tfidfdic = tf_idf(afterswlis, filelist, corpuslist) # 计算TF-IDF

    titleary = str(i).split('\\')
    title = str(titleary[-1]).replace('utf8.txt', '')
    echout = title+'\n'+befwry(tfidfdic)
    print(title+' is ok!')
    outall = outall+echout
  print(wry(outall, wrypath)+' is ok!')

if __name__ == '__main__':
  main()

运行效果:

python实现TF-IDF算法解析

最终结果

这里放两篇新闻的TFIDF

python实现TF-IDF算法解析

python实现TF-IDF算法解析

可以看到,第一篇新闻的关键词可以认为为:核工业、发展、安全

第二篇新闻:习近平总书记、廉政、党风

关于\u3000\u3000这个问题实在不知道怎么替换掉,各种方法使用过了,不知哪位大神看到恳请指点下。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
详解Python中的join()函数的用法
Apr 07 Python
Windows下Eclipse+PyDev配置Python+PyQt4开发环境
May 17 Python
Python错误提示:[Errno 24] Too many open files的分析与解决
Feb 16 Python
python中pandas.DataFrame的简单操作方法(创建、索引、增添与删除)
Mar 12 Python
Python通过命令开启http.server服务器的方法
Nov 04 Python
Python实现繁体中文与简体中文相互转换的方法示例
Dec 18 Python
Python判断字符串是否xx开始或结尾的示例
Aug 08 Python
python+jinja2实现接口数据批量生成工具
Aug 28 Python
使用python制作游戏下载进度条的代码(程序说明见注释)
Oct 24 Python
如何利用Python给自己的头像加一个小国旗(小月饼)
Oct 02 Python
Python eval函数介绍及用法
Nov 09 Python
Python3 用什么IDE开发工具比较好
Nov 28 Python
python实现xlsx文件分析详解
Jan 02 #Python
Python实现KNN邻近算法
Jan 28 #Python
Python+matplotlib+numpy绘制精美的条形统计图
Jan 02 #Python
基于Python实现的ID3决策树功能示例
Jan 02 #Python
python实现基于SVM手写数字识别功能
May 27 #Python
Python中字典的浅拷贝与深拷贝用法实例分析
Jan 02 #Python
python+matplotlib绘制简单的海豚(顶点和节点的操作)
Jan 02 #Python
You might like
终于听上了直流胆调频
2021/03/02 无线电
php中将时间差转换为字符串提示的实现代码
2011/08/08 PHP
鸡肋的PHP单例模式应用详解
2013/06/03 PHP
php使用curl通过代理获取数据的实现方法
2016/05/16 PHP
JavaScript为对象原型prototype添加属性的两种方式
2010/08/01 Javascript
JavaScript 图像动画的小demo
2012/05/23 Javascript
javaScript 动态访问JSon元素示例代码
2013/08/30 Javascript
jQuery实现自定义事件的方法
2015/04/17 Javascript
老司机带你解读jQuery插件开发流程
2016/05/16 Javascript
JS未跨域操作iframe里的DOM
2016/06/01 Javascript
vue组件父子间通信之综合练习(聊天室)
2017/11/07 Javascript
详解react-router 4.0 下服务器如何配合BrowserRouter
2017/12/29 Javascript
详解自定义ajax支持跨域组件封装
2018/02/08 Javascript
JS Math对象与Math方法实例小结
2019/07/05 Javascript
python 实现插入排序算法
2012/06/05 Python
python实现汉诺塔方法汇总
2016/07/25 Python
Python实现去除列表中重复元素的方法小结【4种方法】
2018/04/27 Python
解决pycharm中opencv-python导入cv2后无法自动补全的问题(不用作任何文件上的修改)
2020/03/05 Python
详解Python流程控制语句
2020/10/28 Python
python Pexpect模块的使用
2020/12/25 Python
详解Python Celery和RabbitMQ实战教程
2021/01/20 Python
详解python日志输出使用配置文件格式
2021/02/10 Python
国外平面设计第一市场:99designs
2016/10/25 全球购物
美国中小型企业领先的办公家具供应商:Office Designs
2016/11/26 全球购物
英国天然宝石首饰购买网站:Gemondo Jewellery
2018/10/23 全球购物
全球精选男装和家居用品:Article
2020/04/13 全球购物
Java的接口和C++的虚类的相同和不同处
2014/03/27 面试题
监理员的岗位职责
2013/11/13 职场文书
办公室文秘岗位职责
2013/11/15 职场文书
机电工程学生自荐信范文
2013/12/07 职场文书
银行办理业务介绍信
2014/01/18 职场文书
母亲追悼会答谢词
2014/01/27 职场文书
热爱祖国的演讲稿
2014/05/04 职场文书
创业计划书之暑假培训班
2019/11/09 职场文书
OpenCV-Python实现人脸美白算法的实例
2021/06/11 Python
浅谈JavaScript浅拷贝和深拷贝
2021/11/07 Javascript