简述python四种分词工具,盘点哪个更好用?


Posted in Python onApril 13, 2021

大家好,我是安果!

分词在自然语言处理中有着常见的场景,比如从一篇文章自动提取关键词就需要用到分词工具,中文搜索领域同样离不开分词

Python 中有很多开源的分词工具,下面给大家介绍几款常见的分词依赖库

1. jieba 分词

“结巴” 分词,GitHub 最受欢迎的分词工具,立志做最好的 Python 中文分词组件,支持多种分词模式,支持自定义词典

github star:26k

代码示例

import jieba

strs=["我来到北京清华大学","乒乓球拍卖完了","中国科学技术大学"]

for str in strs:
    seg_list = jieba.cut(str,use_paddle=True) # 使用paddle模式
    print("Paddle Mode: " + '/'.join(list(seg_list)))

seg_list = jieba.cut("我来到北京清华大学", cut_all=True)
print("全模式: " + "/ ".join(seg_list))  # 全模式

seg_list = jieba.cut("我来到北京清华大学", cut_all=False)
print("精确模式: " + "/ ".join(seg_list))  # 精确模式

seg_list = jieba.cut("他来到了网易杭研大厦")  # 默认是精确模式
print("新词识别:", ",".join(seg_list))

seg_list = jieba.cut_for_search("小明硕士毕业于中国科学院计算所,后在日本京都大学深造")  # 搜索引擎模式
print("搜索引擎模式:", ".join(seg_list))

输出:

【全模式】: 我/ 来到/ 北京/ 清华/ 清华大学/ 华大/ 大学

【精确模式】: 我/ 来到/ 北京/ 清华大学

【新词识别】:他, 来到, 了, 网易, 杭研, 大厦    (此处,“杭研”并没有在词典中,但是也被Viterbi算法识别出来了)

【搜索引擎模式】: 小明, 硕士, 毕业, 于, 中国, 科学, 学院, 科学院, 中国科学院, 计算, 计算所, 后, 在, 日本, 京都, 大学, 日本京都大学, 深造

项目地址:

https://github.com/fxsjy/jieba

2. pkuseg 分词

pkuseg 是北大语言计算与机器学习研究组开源的一款分词工具

它的特点是支持多领域分词,目前支持新闻领域,网络领域,医药领域,旅游领域,以及混合领域的分词预训练模型,用户可以自由地选择不同的模型

相比通用分词工具,它的分词准确率更高 

github star:5.4k

代码示例

import pkuseg

seg = pkuseg.pkuseg()           # 以默认配置加载模型
text = seg.cut('python是一门很棒的语言')  # 进行分词
print(text)

输出

['python', '是', '一', '门', '很', '棒', '的', '语言']

项目地址:

https://github.com/lancopku/pkuseg-python

3. FoolNLTK 分词

基于 BiLSTM 模型训练而成,据说可能是最准的开源中文分词,同样支持用户自定义词典

GitHub  star: 1.6k

代码示例

import fool

text = "一个傻子在北京"
print(fool.cut(text))
# ['一个', '傻子', '在', '北京']

项目地址:

https://github.com/rockyzhengwu/FoolNLTK

4. THULAC

THULAC 由清华大学自然语言处理与社会人文计算实验室研制推出的一套中文词法分析工具包

具有词性标注功能,能分析出某个词是名词还是动词或者形容词

github star:1.5k

代码示例

 import thulac  

 thu1 = thulac.thulac()  #默认模式
 text = thu1.cut("我爱北京天安门", text=True)  #进行一句话分词
 print(text) # 我_r 爱_v 北京_ns 天安门_ns
 代码示例2
 thu1 = thulac.thulac(seg_only=True)  #只进行分词,不进行词性标注
 thu1.cut_f("input.txt", "output.txt")  #对input.txt文件内容进行分词,输出到output.txt

项目地址:

https://github.com/thunlp/THULAC-Python

目前我在用的还是结巴分词,配合用户自定义词典,解决常见的网络词语

你在用什么分词工具,欢迎留下你的意见

以上就是简述python四种分词工具,盘点哪个更好用?的详细内容,更多关于python 分词工具的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
python中 ? : 三元表达式的使用介绍
Oct 09 Python
Python 通过pip安装Django详细介绍
Apr 28 Python
Python模拟登陆实现代码
Jun 14 Python
Python嵌套列表转一维的方法(压平嵌套列表)
Jul 03 Python
在Python中,不用while和for循环遍历列表的实例
Feb 20 Python
python中将两组数据放在一起按照某一固定顺序shuffle的实例
Jul 15 Python
python实现几种归一化方法(Normalization Method)
Jul 31 Python
使用Keras画神经网络准确性图教程
Jun 15 Python
python和node.js生成当前时间戳的示例
Sep 29 Python
python 发送邮件的示例代码(Python2/3都可以直接使用)
Dec 03 Python
pandas 数据类型转换的实现
Dec 29 Python
变长双向rnn的正确使用姿势教学
May 31 Python
python自动化调用百度api解决验证码
利用Python网络爬虫爬取各大音乐评论的代码
用Python制作灯光秀短视频的思路详解
python实现socket简单通信的示例代码
使用Selenium实现微博爬虫(预登录、展开全文、翻页)
python用字节处理文件实例讲解
Apr 13 #Python
Python中相见恨晚的技巧
Apr 13 #Python
You might like
一键删除顽固的空文件夹 软件下载
2007/01/26 PHP
浅析PHP中的字符串编码转换(自动识别原编码)
2013/07/02 PHP
php格式化日期和时间格式化示例分享
2014/02/24 PHP
PHP实现批量修改文件名的方法示例
2019/09/18 PHP
在JavaScript并非所有的一切都是对象
2013/04/11 Javascript
jquery获得option的值和对option进行操作
2013/12/13 Javascript
firefox下jquery ajax返回object XMLDocument处理方法
2014/01/26 Javascript
从零学JSON之JSON数据结构
2014/05/19 Javascript
JS实现FLASH幻灯片图片切换效果的方法
2015/03/04 Javascript
JS实现黑色风格的网页TAB选项卡效果代码
2015/10/09 Javascript
跟我学习javascript的undefined与null
2015/11/17 Javascript
JQuery控制图片由中心点逐渐放大效果
2016/06/26 Javascript
微信小程序  modal弹框组件详解
2016/10/27 Javascript
bootstrap导航、选项卡实现代码
2016/12/28 Javascript
jQuery实现checkbox即点即改批量删除及中间遇到的坑
2017/11/11 jQuery
微信小程序中添加客服按钮contact-button功能
2018/04/27 Javascript
Vue中控制v-for循环次数的实现方法
2018/09/26 Javascript
vue实现表单未编辑或未保存离开弹窗提示功能
2020/04/08 Javascript
[01:55]TI9显影之尘系列 - Evil Geniuses
2019/08/22 DOTA
python网络编程学习笔记(四):域名系统
2014/06/09 Python
利用python获取某年中每个月的第一天和最后一天
2016/12/15 Python
python针对mysql数据库的连接、查询、更新、删除操作示例
2019/09/11 Python
Django框架静态文件处理、中间件、上传文件操作实例详解
2020/02/29 Python
详解pandas绘制矩阵散点图(scatter_matrix)的方法
2020/04/23 Python
用HTML5 Canvas API中的clearRect()方法实现橡皮擦功能
2016/03/15 HTML / CSS
网游商务专员求职信
2013/10/15 职场文书
远程教育心得体会
2014/01/03 职场文书
银行柜员求职自荐书
2014/06/18 职场文书
身边的榜样活动方案
2014/08/20 职场文书
习近平在党的群众路线教育实践活动总结大会上的讲话全文
2014/10/25 职场文书
个人专业技术总结
2015/03/05 职场文书
医院合作意向书范本
2015/05/08 职场文书
同意报考公务员证明
2015/06/17 职场文书
60条职场经典语录,总有一条能触动你的心
2019/08/21 职场文书
五年级作文之学校的四季
2019/12/05 职场文书
html中相对位置与绝对位置的具体使用
2022/05/15 HTML / CSS