pyhanlp安装介绍和简单应用


Posted in Python onFebruary 22, 2019

1. 前言

中文分词≠自然语言处理!

Hanlp

HanLP是由一系列模型与算法组成的Java工具包,目标是普及自然语言处理在生产环境中的应用。HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点。

功能:中文分词 词性标注 命名实体识别 依存句法分析 关键词提取新词发现 短语提取 自动摘要 文本分类 拼音简繁

中文分词只是第一步;HanLP从中文分词开始,覆盖词性标注、命名实体识别、句法分析、文本分类等常用任务,提供了丰富的API。

不同于一些简陋的分词类库,HanLP精心优化了内部数据结构和IO接口,做到了毫秒级的冷启动、千万字符每秒的处理速度,而内存最低仅需120MB。无论是移动设备还是大型集群,都能获得良好的体验。

不同于市面上的商业工具,HanLP提供训练模块,可以在用户的语料上训练模型并替换默认模型,以适应不同的领域。项目主页上提供了详细的文档,以及在一些开源语料上训练的模型。

HanLP希望兼顾学术界的精准与工业界的效率,在两者之间取一个平衡,真正将自然语言处理普及到生产环境中去。

我们使用的pyhanlp是用python包装了HanLp的java接口。

2. pyhanlp的安装和使用

2.1 python下安装pyhanlp

pip安装

sudo pip3 install pyhanlp

第一次import pyhanlp会下载一个比较大的数据集,需要耐心等待下,后面再import就不会有了。

from pyhanlp import *

详情请见pyhanlp官方文档

2.2 pyhanlp简单使用方法

分词使用

from pyhanlp import *
print(HanLP.segment("今天开心了吗?"))
>>> [今天/t, 开心/a, 了/ule, 吗/y, ?/w]

依存分析使用

from pyhanlp import *
print(HanLP.parseDependency("今天开心了吗?"))
>>> 1  今天 今天 nt t  _  2  状中结构  _  _
>>> 2  开心 开心 a  a  _  0  核心关系  _  _
>>> 3  了  了  e  y  _  2  右附加关系  _  _
>>> 4  吗  吗  e  y  _  2  右附加关系  _  _
>>> 5  ?  ?  wp w  _  2  标点符号  _  _

2.3 pyhanlp可视化

如果大家看不太清楚上面的输出,pyhanlp提供了一个很好的展示交付界面,只要一句命令就能启动一个web服务

hanlp serve

登录http://localhost:8765就能看下可视化界面,能看到分词结果和依存关系的结果,是不是很直观。这个网页上还有安装说明、源码链接、文档链接、常见的问题(FAQ)。

pyhanlp安装介绍和简单应用

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python制作一个桌面便签软件
Aug 09 Python
Django自定义分页与bootstrap分页结合
Feb 22 Python
python机器人行走步数问题的解决
Jan 29 Python
Python实现对一个函数应用多个装饰器的方法示例
Feb 09 Python
django 解决manage.py migrate无效的问题
May 27 Python
python实现微信自动回复及批量添加好友功能
Jul 03 Python
Python操作redis和mongoDB的方法
Dec 19 Python
PyTorch使用cpu加载模型运算方式
Jan 13 Python
python GUI库图形界面开发之PyQt5布局控件QHBoxLayout详细使用方法与实例
Mar 06 Python
通过python 执行 nohup 不生效的解决
Apr 16 Python
教你如何用Python实现人脸识别(含源代码)
Jun 23 Python
图神经网络GNN算法
May 11 Python
Python3.7 dataclass使用指南小结
Feb 22 #Python
Python文件读写常见用法总结
Feb 22 #Python
Python 通过requests实现腾讯新闻抓取爬虫的方法
Feb 22 #Python
解决python3.5 正常安装 却不能直接使用Tkinter包的问题
Feb 22 #Python
浅谈python3.6的tkinter运行问题
Feb 22 #Python
Scrapy框架爬取西刺代理网免费高匿代理的实现代码
Feb 22 #Python
在Python运行时动态查看进程内部信息的方法
Feb 22 #Python
You might like
Zend Framework教程之Zend_Db_Table用法详解
2016/03/21 PHP
详谈php静态方法及普通方法的区别
2016/10/04 PHP
php实现与python进行socket通信的方法示例
2017/08/30 PHP
一端时间轮换的广告
2006/06/26 Javascript
javascript正则表达式中参数g(全局)的作用
2010/11/11 Javascript
改进UCHOME的记录发布,增强可访问性用户体验
2011/01/17 Javascript
js文件包含的几种方式介绍
2014/09/28 Javascript
Javascript中实现trim()函数的两种方法
2015/02/04 Javascript
JQuery使用$.ajax和checkbox实现下次不在通知功能
2015/04/16 Javascript
JavaScript File API文件上传预览
2016/02/02 Javascript
浅析jquery数组删除指定元素的方法:grep()
2016/05/19 Javascript
AngularJS中过滤器的使用与自定义实例代码
2016/09/17 Javascript
AngularJS出现$http异步后台无法获取请求参数问题的解决方法
2016/11/03 Javascript
JavaScript实现格式化字符串函数String.format
2016/12/16 Javascript
JavaScript简单验证表单空值及邮箱格式的方法
2017/01/20 Javascript
网页中的图片查看器viewjs使用方法
2017/07/11 Javascript
JavaScript数值类型知识汇总
2019/11/17 Javascript
深入浅析vue全局环境变量和模式
2020/04/28 Javascript
[17:00]DOTA2 HEROS教学视频教你分分钟做大人-帕克
2014/06/10 DOTA
Python模拟登陆淘宝并统计淘宝消费情况的代码实例分享
2016/07/04 Python
python中实现迭代器(iterator)的方法示例
2017/01/19 Python
python机器学习实战之最近邻kNN分类器
2017/12/20 Python
Tensorflow卷积神经网络实例
2018/05/24 Python
Python rstrip()方法实例详解
2018/11/11 Python
Python实现的排列组合、破解密码算法示例
2019/04/12 Python
Python 实现数据结构中的的栈队列
2019/05/16 Python
css3实现背景模糊的三种方式(小结)
2020/05/15 HTML / CSS
迪奥官网:Dior.com
2018/12/04 全球购物
意大利中国电子产品购物网站:Geekmall.com
2019/09/30 全球购物
全球精选男装和家居用品:Article
2020/04/13 全球购物
共产党员岗位承诺书
2014/05/29 职场文书
2014年无财产无子女离婚协议书范本
2014/10/09 职场文书
党员检讨书范文
2014/12/27 职场文书
悬崖上的金鱼姬观后感
2015/06/15 职场文书
教你使用pyinstaller打包Python教程
2021/05/27 Python
CSS中Single Div 绘图技巧的实现
2021/06/18 HTML / CSS