python 中的jieba分词库


Posted in Python onNovember 23, 2021
jieba 库是优秀的中文分词第三方库,中文文本需要通过分词获得单个的词语

1、jieba库安装

管理员身份运行cmd窗口输入命令:pip install jieba

2、jieba库功能介绍

特征:
支持三种分词模式:
精确模式:试图将句子最精确地切开,适合文本分析
全模式:把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义
搜索引擎模式:在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词
  • 支持繁体分词
  • 支持自定义词典
分词功能:
jieba.cutjieba.lcut 方法接受两个传入参数:
  • 第一个参数为需要分词的字符串
  • cut_all参数用来控制是否采用全模式
lcut 将返回的对象转化为 list 对象返回
jieba.cut_for_search 和 jieba.lcut_for_search 方法接受一个参数
  • 需要分词的字符串
该方法适合用于搜索引擎构建倒排索引的分词,颗粒度较细
jieba.lcut_for_search 方法返回列表类型
添加自定义词典:
开发者可以指定自己自定义的词典,以便包含jieba词库里没有的词。虽然jieba有新词识别能力,但是自行添加新词可以保证更高的正确率
用法:
使用自定义词典文件:
jieba.load_userdict(file_name) # file_name 是自定义词典的路径
使用jieba在程序中动态修改词典:
jieba.add_word(new_words) # new_words 是想要添加的新词
jieba.del_word(words) # 删除words
关键词提取:
jieba.analyse.extract_tags(sentence,topK) #需要先import jieba.analyse
sentence 为待提取的文本
topK 为返回几个TF/IDF权重最大的关键词,默认是20
词性标注:
jieba.posseg.POSTokenizer(tokenizer=None) 新建自定义分词器,tokenizer参数可指定内部使用的jieba.Tokenizer 分词
jieba.posseg.dt 为默认词性标注分词器
标注句子分词后每个词的词性,采用和ictclas兼容的标记法

3、案例

3.1、精确模式

import jieba
list1 = jieba.lcut("中华人民共和国是一个伟大的国家")
print(list1)
print("精确模式:"+"/".join(list1))

3.2、全模式

list2 = jieba.lcut("中华人民共和国是一个伟大的国家",cut_all = True)
print(list2,end=",")
print("全模式:"+"/".join(list2))

3.3、搜索引擎模式

list3 = jieba.lcut_for_search("中华人民共和国是一个伟大的国家")
print(list3)
print("搜索引擎模式:"+"  ".join(list3))

3.4、修改词典

 
import jieba
text = "中信建投投资公司了一款游戏,中信也投资了一个游戏公司"
word = jieba.lcut(text)
print(word)
# 添加词
jieba.add_word("中信建投")
jieba.add_word("投资公司")
word1 = jieba.lcut(text)
print(word1)
# 删除词
jieba.del_word("中信建投")
word2 = jieba.lcut(text)
print(word2)

3.5、词性标注

import jieba.posseg as pseg
words = pseg.cut("我爱北京天安门")
for i in words:
print(i.word,i.flag)

3.6、统计三国演义中人物出场的次数

三演义文本下载:
import  jieba
txt = open("文件路径", "r", encoding='utf-8').read()    # 打开并读取文件
words = jieba.lcut(txt)     # 使用精确模式对文本进行分词
counts = {}     # 通过键值对的形式存储词语及其出现的次数
for word in words:
    if  len(word) == 1:    # 单个词语不计算在内
        continue
    else:
        counts[word] = counts.get(word, 0) + 1    # 遍历所有词语,每出现一次其对应的值加 1   
items = list(counts.items())     #将键值对转换成列表
items.sort(key=lambda x: x[1], reverse=True)    # 根据词语出现的次数进行从大到小排序 
for i in range(15):
    word, count = items[i]
    print("{0:<10}{1:>5}".format(word, count))
import jieba
excludes = {"将军","却说","荆州","二人","不可","不能","如此","如何"}
txt = open("三国演义.txt", "r", encoding='utf-8').read()
words  = jieba.lcut(txt)
counts = {}
for word in words:
    if len(word) == 1:
        continue
    elif word == "诸葛亮" or word == "孔明曰":
        rword = "孔明"
    elif word == "关公" or word == "云长":
        rword = "关羽"
    elif word == "玄德" or word == "玄德曰":
        rword = "刘备"
    elif word == "孟德" or word == "丞相":
        rword = "曹操"
    else:
        rword = word
        counts[rword] = counts.get(rword,0) + 1
    
for i in excludes:
    del counts[i]
    
items = list(counts.items())
items.sort(key=lambda x:x[1], reverse=True) 
for i in range(10):
    word, count = items[i]
    print ("{0:<10}{1:>5}".format(word, count)) 

到此这篇关于python 中的jieba分词库的文章就介绍到这了,更多相关python jieba分词库内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python中super的用法实例
May 28 Python
浅析Python中元祖、列表和字典的区别
Aug 17 Python
Python爬虫实例爬取网站搞笑段子
Nov 08 Python
Python数据结构与算法之常见的分配排序法示例【桶排序与基数排序】
Dec 15 Python
对pandas处理json数据的方法详解
Feb 08 Python
2019 Python最新面试题及答案16道题
Apr 11 Python
简单了解python字符串前面加r,u的含义
Dec 26 Python
Python使用ElementTree美化XML格式的操作
Mar 06 Python
浅谈python3 构造函数和析构函数
Mar 12 Python
基于Python3读写INI配置文件过程解析
Jul 23 Python
Python如何合并多个字典或映射
Jul 24 Python
OpenCV-Python实现油画效果的实例
Jun 08 Python
python周期任务调度工具Schedule使用详解
Nov 23 #Python
python百行代码实现汉服圈图片爬取
python可视化大屏库big_screen示例详解
python数据可视化JupyterLab实用扩展程序Mito
python入门学习关于for else的特殊特性讲解
Nov 20 #Python
Python标准库pathlib操作目录和文件
Nov 20 #Python
python数据可视化使用pyfinance分析证券收益示例详解
You might like
PHP spl_autoload_register实现自动加载研究
2011/12/06 PHP
基于PHP开发中的安全防范知识详解
2013/06/06 PHP
JS 页面计时器示例代码
2013/10/28 Javascript
使图片旋转的3种解决方案
2013/11/21 Javascript
JavaScript执行顺序详细介绍
2013/12/04 Javascript
jQuery判断checkbox(复选框)是否被选中以及全选、反选实现代码
2014/02/21 Javascript
浅谈jQuery中的事件
2015/03/23 Javascript
javascript获取重复次数最多的字符
2015/07/08 Javascript
js代码实现无缝滚动(文字和图片)
2015/08/20 Javascript
高性能JavaScript循环语句和条件语句
2016/01/20 Javascript
JavaScript实战之菜单特效
2016/08/16 Javascript
JSON对象 详解及实例代码
2016/10/18 Javascript
Angular2表单自定义验证器的实现
2016/10/19 Javascript
jquery mobile移动端幻灯片滑动切换效果
2020/04/15 Javascript
微信小程序使用navigateTo数据传递的实例
2017/09/26 Javascript
Vue实现拖放排序功能的实例代码
2019/07/08 Javascript
js实现简单的倒计时
2021/01/28 Javascript
[03:58]2014DOTA2国际邀请赛 龙宝赛后解密DK获胜之道
2014/07/14 DOTA
python多线程扫描端口示例
2014/01/16 Python
在Django的form中使用CSS进行设计的方法
2015/07/18 Python
Python爬虫DOTA排行榜爬取实例(分享)
2017/06/13 Python
Python函数式编程
2017/07/20 Python
Python实现获取前100组勾股数的方法示例
2018/05/04 Python
Python如何使用k-means方法将列表中相似的句子归类
2019/08/08 Python
基于virtualenv创建python虚拟环境过程图解
2020/03/30 Python
python 常用日期处理-- datetime 模块的使用
2020/09/02 Python
新西兰珠宝品牌:Michael Hill
2017/09/16 全球购物
ShellScript面试题一则-ShellScript编程
2014/03/05 面试题
公司拓展活动方案
2014/02/13 职场文书
8和9的加减法教学反思
2014/05/01 职场文书
组织鉴定材料
2014/06/02 职场文书
社区两委对照检查材料
2014/08/23 职场文书
党员群众路线教育实践活动学习笔记
2014/11/05 职场文书
甜美蛋糕店的创业计划书模板,拿来即用!
2019/08/21 职场文书
Python基本数据类型之字符串str
2021/07/21 Python
vue组件冲突之引用另一个组件出现组件不显示的问题
2022/04/13 Vue.js