python实现关键词提取的示例讲解


Posted in Python onApril 28, 2018

新人小菜鸟又来写博客啦!!!没人表示不开心~~(>_<)~~

今天我来弄一个简单的关键词提取的代码

文章内容关键词的提取分为三大步:

(1) 分词

(2) 去停用词

(3) 关键词提取

分词方法有很多,我这里就选择常用的结巴jieba分词;去停用词,我用了一个停用词表。

具体代码如下:

import jieba
import jieba.analyse
#第一步:分词,这里使用结巴分词全模式
text = '''新闻,也叫消息,是指报纸、电台、电视台、互联网经常使用的记录社会、传播信息、反映时代的一种文体,具有真实性、时效性、简洁性、可读性、准确性的特点。新闻概念有广义与狭义之分。就其广义而言,除了发表于报刊、广播、电视上的评论与专文外的常用文本都属于新闻之列,包括消息、通讯、特写、速写(有的将速写纳入特写之列)等等。狭义的新闻则专指消息,消息是用概括的叙述方式,比较简明扼要的文字,迅速及时地报道国内外新近发生的、有价值的的事实。新闻也分公众新闻和小道新闻等。每则新闻在结构上,一般包括标题、导语、主体、背景和结语五部分。前三者是主要部分,后二者是辅助部分。写法上主要是叙述,有时兼有议论、描写、评论等。
'''
fenci_text = jieba.cut(text)
#print("/ ".join(fenci_text))
#第二步:去停用词
#这里是有一个文件存放要改的文章,一个文件存放停用表,然后和停用表里的词比较,一样的就删掉,最后把结果存放在一个文件中
stopwords = {}.fromkeys([ line.rstrip() for line in open('stopwords.txt') ])
final = ""
for word in fenci_text:
  if word not in stopwords:
    if (word != "。" and word != ",") :
      final = final + " " + word
print(final)
#第三步:提取关键词
a=jieba.analyse.extract_tags(text, topK = 5, withWeight = True, allowPOS = ())
print(a)
#text 为待提取的文本
# topK:返回几个 TF/IDF 权重最大的关键词,默认值为20。
# withWeight:是否一并返回关键词权重值,默认值为False。
# allowPOS:仅包括指定词性的词,默认值为空,即不进行筛选。

运行结果:

runfile('D:/Data/文本挖掘/xiaojieba.py', wdir='D:/Data/文本挖掘')
 新闻 消息 指 报纸 、 电台 、 电视台 、 互联网 记录 社会 、 传播 信息 、 时代 一种 文体 真实性 、 时效性 、 简洁性 、 可读性 、 准确性 新闻 概念 广义 狭义 之分 广义 发表 报刊 、 广播 、 电视 评论 专文 外 常用 文本 新闻 列 包括 消息 、 通讯 、 特写 、 速写 ( 速写 纳入 特写 列 ) 狭义 新闻 专指 消息 消息 概括 叙述 方式 简明扼要 文字 报道 国内外 新近 发生 、 价值 事实 新闻 分 公众 新闻 小道 新闻 每则 新闻 在结构上 包括 标题 、 导语 、 主体 、 背景 结语 五 前 三者 二者 辅助 写法 叙述 兼有 议论 、 描写 、 评论 
[('新闻', 0.4804811569680808), ('速写', 0.2121107125313131), ('消息', 0.20363211136040404), ('特写', 0.20023623445272729), ('狭义', 0.16168734917858588)]

好啦,是不是很简单?

以上这篇python实现关键词提取的示例讲解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python连接MySQL、MongoDB、Redis、memcache等数据库的方法
Nov 15 Python
本地文件上传到七牛云服务器示例(七牛云存储)
Jan 11 Python
跟老齐学Python之有点简约的元组
Sep 24 Python
在Python中使用SQLite的简单教程
Apr 29 Python
Python简单连接MongoDB数据库的方法
Mar 15 Python
python 容器总结整理
Apr 04 Python
python使用socket创建tcp服务器和客户端
Apr 12 Python
python flask框架实现传数据到js的方法分析
Jun 11 Python
解决python xx.py文件点击完之后一闪而过的问题
Jun 24 Python
解决Pycharm 包已经下载,但是运行代码提示找不到模块的问题
Aug 31 Python
如何从csv文件构建Tensorflow的数据集
Sep 21 Python
python解析json数据
Apr 29 Python
python实现扫描日志关键字的示例
Apr 28 #Python
python socket网络编程之粘包问题详解
Apr 28 #Python
在Windows中设置Python环境变量的实例讲解
Apr 28 #Python
PyTorch快速搭建神经网络及其保存提取方法详解
Apr 28 #Python
对Python中type打开文件的方式介绍
Apr 28 #Python
PyTorch上搭建简单神经网络实现回归和分类的示例
Apr 28 #Python
TensorFlow实现非线性支持向量机的实现方法
Apr 28 #Python
You might like
file_get_contents(&quot;php://input&quot;, &quot;r&quot;)实例介绍
2013/07/01 PHP
php实现文件下载实例分享
2014/06/02 PHP
Yii净化器CHtmlPurifier用法示例(过滤不良代码)
2016/07/15 PHP
PHP设计模式之PHP迭代器模式讲解
2019/03/22 PHP
jquery 元素控制(追加元素/追加内容)介绍及应用
2013/04/21 Javascript
jquery ui dialog实现弹窗特效的思路及代码
2013/08/03 Javascript
Jquery焦点图实例代码
2014/11/25 Javascript
javascript实现状态栏文字首尾相接循环滚动的方法
2015/07/22 Javascript
Nodejs从有门道无门菜鸟起飞必看教程
2016/07/20 NodeJs
js 中文汉字转Unicode、Unicode转中文汉字、ASCII转换Unicode、Unicode转换ASCII、中文转换
2016/12/06 Javascript
原生js实现无限循环轮播图效果
2017/01/20 Javascript
Angularjs的键盘事件的绑定
2017/07/27 Javascript
原生nodejs使用websocket代码分享
2018/04/07 NodeJs
JavaScript键盘事件常见用法实例分析
2019/01/03 Javascript
使用weixin-java-miniapp配置进行单个小程序的配置详解
2019/03/29 Javascript
vue鼠标悬停事件实例详解
2019/04/01 Javascript
原生javascript自定义input[type=radio]效果示例
2019/08/27 Javascript
Python首次安装后运行报错(0xc000007b)的解决方法
2016/10/18 Python
python爬虫入门教程--正则表达式完全指南(五)
2017/05/25 Python
Python常见数字运算操作实例小结
2019/03/22 Python
Python/Django后端使用PIL Image生成头像缩略图
2019/04/30 Python
python+selenium实现简历自动刷新的示例代码
2019/05/20 Python
Python图像处理模块ndimage用法实例分析
2019/09/05 Python
python GUI库图形界面开发之PyQt5图片显示控件QPixmap详细使用方法与实例
2020/02/27 Python
python中return如何写
2020/06/18 Python
Python通过fnmatch模块实现文件名匹配
2020/09/30 Python
css3动画 小球滚动 js控制动画暂停
2019/11/29 HTML / CSS
英国在线药房和在线医生:LloydsPharmacy
2019/10/21 全球购物
在使用非全零作为空指针内部表达的机器上, NULL是如何定义
2014/11/09 面试题
linux面试题参考答案(8)
2016/04/19 面试题
无犯罪记录证明
2014/09/19 职场文书
资产运营委托书范本
2014/10/16 职场文书
医生行业员工的辞职信
2019/06/24 职场文书
javascript的setTimeout()使用方法总结
2021/11/20 Javascript
springboot+zookeeper实现分布式锁
2022/03/21 Java/Android
Go结合Gin导出Mysql数据到Excel表格
2022/08/05 Golang