Python smallseg分词用法实例分析


Posted in Python onMay 28, 2015

本文实例讲述了Python smallseg分词用法。分享给大家供大家参考。具体分析如下:

#encoding=utf-8 
#import psyco 
#psyco.full() 
words = [x.rstrip() for x in open("main.dic",mode='r',encoding='utf-8') ] 
from smallseg import SEG 
seg = SEG() 
print('Load dict...') 
seg.set(words) 
print("Dict is OK.") 
def cuttest(text): 
  wlist = seg.cut(text) 
  wlist.reverse() 
  tmp = " ".join(wlist) 
  print(tmp) 
  print("================================") 
if __name__=="__main__": 
  cuttest("这是一个伸手不见五指的黑夜。我叫孙悟空,我爱北京,我爱Python和C++。") 
  cuttest("我不喜欢日本和服。") 
  cuttest("雷猴回归人间。") 
  cuttest("工信处女干事每月经过下属科室都要亲口交代24口交换机等技术性器件的安装工作") 
  cuttest("我需要廉租房") 
  cuttest("永和服装饰品有限公司") 
  cuttest("我爱北京天安门") 
  cuttest("abc") 
  cuttest("隐马尔可夫") 
  cuttest("雷猴是个好网站") 
  cuttest("“Microsoft”一词由“MICROcomputer(微型计算机)”和“SOFTware(软件)”两部分组成") 
  cuttest("草泥马和欺实马是今年的流行词汇") 
  cuttest("伊藤洋华堂总府店") 
  cuttest("中国科学院计算技术研究所") 
  cuttest("罗密欧与朱丽叶") 
  cuttest("我购买了道具和服装")

smallseg分词,在python3.3上运行稍微有些问题。py代码xrange在3.*中已经改名字为range了。另外,3.*中也没有decode函数了。

修改了上面的两个地方,代码就可移植性了。效果还可以。

希望本文所述对大家的Python程序设计有所帮助。

Python 相关文章推荐
用Python实现斐波那契(Fibonacci)函数
Mar 25 Python
详解Python的Flask框架中的signals信号机制
Jun 13 Python
python实现unicode转中文及转换默认编码的方法
Apr 29 Python
python与sqlite3实现解密chrome cookie实例代码
Jan 20 Python
python中sys.argv函数精简概括
Jul 08 Python
应用OpenCV和Python进行SIFT算法的实现详解
Aug 21 Python
Pandas聚合运算和分组运算的实现示例
Oct 17 Python
python numpy 反转 reverse示例
Dec 04 Python
Python数据可视化:顶级绘图库plotly详解
Dec 07 Python
关于Python字符编码与二进制不得不说的一些事
Oct 04 Python
只需要100行Python代码就可以实现的贪吃蛇小游戏
May 27 Python
代码复现python目标检测yolo3详解预测
May 06 Python
Python基于smtplib实现异步发送邮件服务
May 28 #Python
Python使用Scrapy爬取妹子图
May 28 #Python
Python实现统计单词出现的个数
May 28 #Python
Python下载懒人图库JavaScript特效
May 28 #Python
Python实现给qq邮箱发送邮件的方法
May 28 #Python
Python import用法以及与from...import的区别
May 28 #Python
Python中使用不同编码读写txt文件详解
May 28 #Python
You might like
PHP编程基本语法快速入门手册
2016/01/07 PHP
php 从一个数组中随机的取出若干个不同的数实例
2016/12/31 PHP
Laravel5.5 手动分页和自定义分页样式的简单实现
2019/10/15 PHP
基于node.js的快速开发透明代理
2010/12/25 Javascript
JS Loading功能的简单实现
2013/11/29 Javascript
复制网页内容,粘贴之后自动加上网址的实现方法(脚本之家特别整理)
2014/10/16 Javascript
jQuery验证元素是否为空的两种常用方法
2015/03/17 Javascript
js实现每日自动换一张图片的方法
2015/05/04 Javascript
巧方法 JavaScript获取超链接的绝对URL地址
2016/06/14 Javascript
AngularJS中的API(接口)简单实现
2016/07/28 Javascript
利用Mongoose让JSON数据直接插入或更新到MongoDB
2017/05/03 Javascript
JavaScript中使用Async实现异步控制
2017/08/15 Javascript
基于Swiper实现移动端页面图片轮播效果
2017/12/28 Javascript
关于Webpack dev server热加载失败的解决方法
2018/02/22 Javascript
Vue.js单向绑定和双向绑定实例分析
2018/08/14 Javascript
vue学习笔记五:在vue项目里面使用引入公共方法详解
2019/04/04 Javascript
JS立即执行的匿名函数用法分析
2019/11/04 Javascript
[01:14]英雄,所敬略同——2018完美盛典宣传视频
2018/12/05 DOTA
Python中使用partial改变方法默认参数实例
2015/04/28 Python
使用Python+Splinter自动刷新抢12306火车票
2018/01/03 Python
Python基于聚类算法实现密度聚类(DBSCAN)计算【测试可用】
2018/12/26 Python
keras使用Sequence类调用大规模数据集进行训练的实现
2020/06/22 Python
教育学专业毕业生的自我评价
2013/11/21 职场文书
大学生入党思想汇报
2014/01/01 职场文书
电子信息工程专业推荐信
2014/02/14 职场文书
优秀学生获奖感言
2014/02/15 职场文书
初中国旗下的演讲稿
2014/08/28 职场文书
简单租房协议书(范本)
2014/10/13 职场文书
网络研修随笔感言
2015/11/18 职场文书
高一英语教学反思
2016/03/03 职场文书
学术会议开幕词
2016/03/03 职场文书
投资入股协议书
2016/03/22 职场文书
2016年大学生党员承诺书
2016/03/24 职场文书
vue实现拖拽交换位置
2022/04/07 Vue.js
mysql 索引的数据结构为什么要采用B+树
2022/04/26 MySQL
Tomcat安装使用及部署Web项目的3种方法汇总
2022/08/14 Servers