简述python四种分词工具,盘点哪个更好用?


Posted in Python onApril 13, 2021

大家好,我是安果!

分词在自然语言处理中有着常见的场景,比如从一篇文章自动提取关键词就需要用到分词工具,中文搜索领域同样离不开分词

Python 中有很多开源的分词工具,下面给大家介绍几款常见的分词依赖库

1. jieba 分词

“结巴” 分词,GitHub 最受欢迎的分词工具,立志做最好的 Python 中文分词组件,支持多种分词模式,支持自定义词典

github star:26k

代码示例

import jieba

strs=["我来到北京清华大学","乒乓球拍卖完了","中国科学技术大学"]

for str in strs:
    seg_list = jieba.cut(str,use_paddle=True) # 使用paddle模式
    print("Paddle Mode: " + '/'.join(list(seg_list)))

seg_list = jieba.cut("我来到北京清华大学", cut_all=True)
print("全模式: " + "/ ".join(seg_list))  # 全模式

seg_list = jieba.cut("我来到北京清华大学", cut_all=False)
print("精确模式: " + "/ ".join(seg_list))  # 精确模式

seg_list = jieba.cut("他来到了网易杭研大厦")  # 默认是精确模式
print("新词识别:", ",".join(seg_list))

seg_list = jieba.cut_for_search("小明硕士毕业于中国科学院计算所,后在日本京都大学深造")  # 搜索引擎模式
print("搜索引擎模式:", ".join(seg_list))

输出:

【全模式】: 我/ 来到/ 北京/ 清华/ 清华大学/ 华大/ 大学

【精确模式】: 我/ 来到/ 北京/ 清华大学

【新词识别】:他, 来到, 了, 网易, 杭研, 大厦    (此处,“杭研”并没有在词典中,但是也被Viterbi算法识别出来了)

【搜索引擎模式】: 小明, 硕士, 毕业, 于, 中国, 科学, 学院, 科学院, 中国科学院, 计算, 计算所, 后, 在, 日本, 京都, 大学, 日本京都大学, 深造

项目地址:

https://github.com/fxsjy/jieba

2. pkuseg 分词

pkuseg 是北大语言计算与机器学习研究组开源的一款分词工具

它的特点是支持多领域分词,目前支持新闻领域,网络领域,医药领域,旅游领域,以及混合领域的分词预训练模型,用户可以自由地选择不同的模型

相比通用分词工具,它的分词准确率更高 

github star:5.4k

代码示例

import pkuseg

seg = pkuseg.pkuseg()           # 以默认配置加载模型
text = seg.cut('python是一门很棒的语言')  # 进行分词
print(text)

输出

['python', '是', '一', '门', '很', '棒', '的', '语言']

项目地址:

https://github.com/lancopku/pkuseg-python

3. FoolNLTK 分词

基于 BiLSTM 模型训练而成,据说可能是最准的开源中文分词,同样支持用户自定义词典

GitHub  star: 1.6k

代码示例

import fool

text = "一个傻子在北京"
print(fool.cut(text))
# ['一个', '傻子', '在', '北京']

项目地址:

https://github.com/rockyzhengwu/FoolNLTK

4. THULAC

THULAC 由清华大学自然语言处理与社会人文计算实验室研制推出的一套中文词法分析工具包

具有词性标注功能,能分析出某个词是名词还是动词或者形容词

github star:1.5k

代码示例

 import thulac  

 thu1 = thulac.thulac()  #默认模式
 text = thu1.cut("我爱北京天安门", text=True)  #进行一句话分词
 print(text) # 我_r 爱_v 北京_ns 天安门_ns
 代码示例2
 thu1 = thulac.thulac(seg_only=True)  #只进行分词,不进行词性标注
 thu1.cut_f("input.txt", "output.txt")  #对input.txt文件内容进行分词,输出到output.txt

项目地址:

https://github.com/thunlp/THULAC-Python

目前我在用的还是结巴分词,配合用户自定义词典,解决常见的网络词语

你在用什么分词工具,欢迎留下你的意见

以上就是简述python四种分词工具,盘点哪个更好用?的详细内容,更多关于python 分词工具的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
用python实现面向对像的ASP程序实例
Nov 10 Python
Python中urllib+urllib2+cookielib模块编写爬虫实战
Jan 20 Python
python算法演练_One Rule 算法(详解)
May 17 Python
利用Python暴力破解zip文件口令的方法详解
Dec 21 Python
python装饰器-限制函数调用次数的方法(10s调用一次)
Apr 21 Python
Django实现发送邮件功能
Jul 18 Python
关于Flask项目无法使用公网IP访问的解决方式
Nov 19 Python
Python使用pyexecjs代码案例解析
Jul 13 Python
Python获取浏览器窗口句柄过程解析
Jul 25 Python
python爬虫调度器用法及实例代码
Nov 30 Python
Python读取pdf表格写入excel的方法
Jan 22 Python
python pyhs2 的安装操作
Apr 07 Python
python自动化调用百度api解决验证码
利用Python网络爬虫爬取各大音乐评论的代码
用Python制作灯光秀短视频的思路详解
python实现socket简单通信的示例代码
使用Selenium实现微博爬虫(预登录、展开全文、翻页)
python用字节处理文件实例讲解
Apr 13 #Python
Python中相见恨晚的技巧
Apr 13 #Python
You might like
php去除HTML标签实例
2013/11/06 PHP
PHP获取一个字符串中间一部分字符的方法
2014/08/19 PHP
对PHP PDO的一些认识小结
2015/01/23 PHP
TP5框架实现自定义分页样式的方法示例
2020/04/05 PHP
javascript call方法使用说明
2010/01/11 Javascript
asp.net网站开发中用jquery实现滚动浏览器滚动条加载数据(类似于腾讯微博)
2012/03/14 Javascript
jquery方法+js一般方法+js面向对象方法实现拖拽效果
2012/08/30 Javascript
node.js中的fs.realpath方法使用说明
2014/12/16 Javascript
Javascript动画的实现原理浅析
2015/03/02 Javascript
AngularJS 模块详解及简单实例
2016/07/28 Javascript
js实现表单及时验证功能 用户信息立即验证
2016/09/13 Javascript
video.js使用改变ui过程
2017/03/05 Javascript
Angular2搜索和重置按钮过场动画
2017/05/24 Javascript
对象不支持indexOf属性或方法的解决方法(必看)
2017/05/28 Javascript
JavaSctit 利用FileReader和滤镜上传图片预览功能
2017/09/05 Javascript
请求时token过期自动刷新token操作
2020/09/11 Javascript
零基础学Python(一)Python环境安装
2014/08/20 Python
python日期相关操作实例小结
2019/06/24 Python
python 画出使用分类器得到的决策边界
2019/08/21 Python
Python3 tkinter 实现文件读取及保存功能
2019/09/12 Python
python3中sorted函数里cmp参数改变详解
2020/03/12 Python
用CSS3绘制三角形的简单方法
2015/07/17 HTML / CSS
比利时的在线灯具店:Lampen24.be
2019/07/01 全球购物
Dodax奥地利:音乐、电影、书籍、玩具、电子产品等
2019/08/31 全球购物
工程业务员岗位职责
2013/12/31 职场文书
决心书标准格式
2014/03/11 职场文书
销售主管竞聘书
2014/03/31 职场文书
合作协议书格式
2014/08/19 职场文书
课内比教学心得体会
2014/09/09 职场文书
解放思想大讨论活动心得体会
2014/09/11 职场文书
法务专员岗位职责
2015/02/14 职场文书
同学聚会通知书
2015/04/20 职场文书
交通事故被告答辩状
2015/05/22 职场文书
拔河比赛新闻稿
2015/07/17 职场文书
幼儿教师远程研修感悟
2015/11/18 职场文书
python实现进度条的多种实现
2021/04/29 Python