python数据分析:关键字提取方式


Posted in Python onFebruary 24, 2020

TF-IDF

TF-IDF(Term Frequencey-Inverse Document Frequency)指词频-逆文档频率,它属于数值统计的范畴。使用TF-IDF,我们能够学习一个词对于数据集中的一个文档的重要性。

TF-IDF的概念

TF-IDF有两部分,词频和逆文档频率。首先介绍词频,这个词很直观,词频表示每个词在文档或数据集中出现的频率。等式如下:

TF(t)=词t在一篇文档中出现的次数/这篇文档的总词数

第二部分——逆文档频率实际上告诉了我们一个单词对文档的重要性。这是因为当计算TF的时候,我们对每个词赋予了同等的重要性,它出现得越多,它的TF就越高,如果它出现了100次,也许相比其他出现更少的词,它并不携带那么多信息,因此我们需要赋予它们权重,决定每个词的重要性。使用下面的等式得到IDF:

IDF(t)=(log10文档的篇数/包含词t文档的篇数)

那么,计算TF-IDF的方法如下:

TF * IDF=(词t在一篇文档中出现的次数/这篇文档的总词数)* log10(文档的篇数/包含词t文档的篇数)

应用

TF-IDF可以应用于如下场景:

通常可以使用TF-IDF进行文本数据分析,得到最准确的关键词信息。

如果你正开发一个文本摘要应用,并正在进行统计,TF-IDF是生成摘要最重要的特征。

TF-IDF权重的变动常用于搜索引擎,以求出文档的得分以及同用户检索的相关性。

文本分类应用将TF-IDF和BOW一起使用。

TextRank

TextRank 算法是一种用于文本的基于图的排序算法。其基本思想来源于谷歌的 PageRank算法, 通过把文本分割成若干组成单元(单词、句子)并建立图模型, 利用投票机制对文本中的重要成分进行排序, 仅利用单篇文档本身的信息即可实现关键词提取、文摘。和 LDA、HMM 等模型不同, TextRank不需要事先对多篇文档进行学习训练, 因其简洁有效而得到广泛应用。

基于TextRank的关键词提取

关键词抽取的任务就是从一段给定的文本中自动抽取出若干有意义的词语或词组。TextRank算法是利用局部词汇之间关系(共现窗口)对后续关键词进行排序,直接从文本本身抽取。其主要步骤如下:

把给定的文本T按照完整句子进行分割,即

对于每个句子,进行分词和词性标注处理,并过滤掉停用词,只保留指定词性的单词,如名词、动词、形容词,即,其中是保留后的候选关键词。

构建候选关键词图G = (V,E),其中V为节点集,由(2)生成的候选关键词组成,然后采用共现关系(co-occurrence)构造任两点之间的边,两个节点之间存在边仅当它们对应的词汇在长度为K的窗口中共现,K表示窗口大小,即最多共现K个单词。

根据上面公式,迭代传播各节点的权重,直至收敛。

对节点权重进行倒序排序,从而得到最重要的T个单词,作为候选关键词。

python实现:

# 导入库
import jieba.analyse # 导入关键字提取库
import pandas as pd # 导入pandas
import newspaper
# 读取文本数据
# 获取文章 银保监会出台新政为例
article = newspaper.Article('https://finance.sina.com.cn/money/bank/bank_hydt/2019-02-25/doc-ihsxncvf7656807.shtml', language='zh')
# 下载文章
article.download()
# 解析文章
article.parse()
# 对文章进行nlp处理
article.nlp()
# nlp处理后的文章拼接
string_data = "".join(article.keywords)
# 关键字提取
def get_key_words(string_data, how=''):
  # topK:提取的关键字数量,不指定则提取全部;
  # withWeight:设置为True指定输出词对应的IF-IDF权重
  if how == 'textrank':
    # 使用TextRank 算法
    tags_pairs = jieba.analyse.textrank(string_data, topK=5, withWeight=True) # 提取关键字标签
  else:
    # 使用TF-IDF 算法
    tags_pairs = jieba.analyse.extract_tags(string_data, topK=5, withWeight=True) # 提取关键字标签
  tags_list = [] # 空列表用来存储拆分后的三个值
  for i in tags_pairs: # 打印标签、分组和TF-IDF权重
    tags_list.append((i[0], i[1])) # 拆分三个字段值
  tags_pd = pd.DataFrame(tags_list, columns=['word', 'weight']) # 创建数据框
  return tags_pd

keywords = get_key_words(string_data)
print("#####################TF-IDF####################")
print(keywords)

keywords_tr = get_key_words(string_data, how='textrank')
print("#####################textrank####################")
print(keywords_tr)

结果如下:

#####################TF-IDF####################
  word  weight
0 民营企业 0.327466
1  贷款 0.112652
2  融资 0.089557
3 商业银行 0.084860
4  服务 0.072322
#####################textrank####################
  word  weight
0 民营企业 1.000000
1   要 0.553043
2  贷款 0.493173
3  融资 0.379846
4  服务 0.371273

以上这篇python数据分析:关键字提取方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python将文本转换成图片输出的方法
Apr 28 Python
Python验证码识别的方法
Jul 10 Python
分享一下Python 开发者节省时间的10个方法
Oct 02 Python
Python实现简单文本字符串处理的方法
Jan 22 Python
python取代netcat过程分析
Feb 10 Python
python 巧用正则寻找字符串中的特定字符的位置方法
May 02 Python
python3解析库BeautifulSoup4的安装配置与基本用法
Jun 26 Python
Python函数和模块的使用总结
May 20 Python
PyQt5 多窗口连接实例
Jun 19 Python
通过实例解析Python return运行原理
Mar 04 Python
Python tempfile模块生成临时文件和临时目录
Sep 30 Python
Python中第三方库Faker的使用详解
Apr 02 Python
python数据预处理 :数据共线性处理详解
Feb 24 #Python
使用python实现多维数据降维操作
Feb 24 #Python
python数据预处理 :数据抽样解析
Feb 24 #Python
Python找出列表中出现次数最多的元素三种方式
Feb 24 #Python
Python流程控制常用工具详解
Feb 24 #Python
深入浅析Python 函数注解与匿名函数
Feb 24 #Python
python数据预处理方式 :数据降维
Feb 24 #Python
You might like
一个简单计数器的源代码
2006/10/09 PHP
为IP查询添加GOOGLE地图功能的代码
2010/08/08 PHP
PHP 获取MySQL数据库里所有表的实现代码
2011/07/13 PHP
php一些错误处理的方法与技巧总结
2013/08/10 PHP
分享10段PHP常用代码
2015/11/11 PHP
php一个文件搞定微信jssdk配置
2016/12/12 PHP
js 内存释放问题
2010/04/25 Javascript
在jQuery 1.5中使用deferred对象的代码(翻译)
2011/03/10 Javascript
利用javascript的面向对象的特性实现限制试用期
2011/08/04 Javascript
jquery事件与函数的使用介绍
2013/09/29 Javascript
angular简介和其特点介绍
2015/01/29 Javascript
jQuery Validate表单验证深入学习
2015/12/18 Javascript
bootstrap输入框组代码分享
2016/06/07 Javascript
微信小程序 二维码canvas绘制实例详解
2017/01/06 Javascript
vue编译打包本地查看index文件的方法
2018/02/23 Javascript
基于vue2的canvas时钟倒计时组件步骤解析
2018/11/05 Javascript
在vue中使用G2图表的示例代码
2019/03/19 Javascript
关于layui的动态图标不显示的解决方法
2019/09/04 Javascript
解决Vue项目中tff报错的问题
2020/10/21 Javascript
使用js获取身份证年龄的示例代码
2020/12/11 Javascript
理解Python中的With语句
2016/03/18 Python
详解Python核心对象类型字符串
2018/02/11 Python
python for和else语句趣谈
2019/07/02 Python
keras中的loss、optimizer、metrics用法
2020/06/15 Python
HTML5 canvas基本绘图之绘制线段
2016/06/27 HTML / CSS
英国文胸专家:AmpleBosom.com
2018/02/06 全球购物
街头时尚在线:JESSICABUURMAN
2019/06/16 全球购物
澳大利亚最大的护发和护肤品购物网站:RY
2019/12/26 全球购物
优质飞蝇钓和渔具:RiverBum
2020/05/10 全球购物
大学生就业推荐信范文
2013/11/29 职场文书
小学中秋节活动方案
2014/02/06 职场文书
推荐信怎么写
2014/05/09 职场文书
省级优秀班集体申报材料
2014/05/25 职场文书
民政局副局长民主生活会个人对照检查材料
2014/09/19 职场文书
聘任通知书
2015/09/21 职场文书
nginx限制并发连接请求数的方法
2021/04/01 Servers