Python smallseg分词用法实例分析


Posted in Python onMay 28, 2015

本文实例讲述了Python smallseg分词用法。分享给大家供大家参考。具体分析如下:

#encoding=utf-8 
#import psyco 
#psyco.full() 
words = [x.rstrip() for x in open("main.dic",mode='r',encoding='utf-8') ] 
from smallseg import SEG 
seg = SEG() 
print('Load dict...') 
seg.set(words) 
print("Dict is OK.") 
def cuttest(text): 
  wlist = seg.cut(text) 
  wlist.reverse() 
  tmp = " ".join(wlist) 
  print(tmp) 
  print("================================") 
if __name__=="__main__": 
  cuttest("这是一个伸手不见五指的黑夜。我叫孙悟空,我爱北京,我爱Python和C++。") 
  cuttest("我不喜欢日本和服。") 
  cuttest("雷猴回归人间。") 
  cuttest("工信处女干事每月经过下属科室都要亲口交代24口交换机等技术性器件的安装工作") 
  cuttest("我需要廉租房") 
  cuttest("永和服装饰品有限公司") 
  cuttest("我爱北京天安门") 
  cuttest("abc") 
  cuttest("隐马尔可夫") 
  cuttest("雷猴是个好网站") 
  cuttest("“Microsoft”一词由“MICROcomputer(微型计算机)”和“SOFTware(软件)”两部分组成") 
  cuttest("草泥马和欺实马是今年的流行词汇") 
  cuttest("伊藤洋华堂总府店") 
  cuttest("中国科学院计算技术研究所") 
  cuttest("罗密欧与朱丽叶") 
  cuttest("我购买了道具和服装")

smallseg分词,在python3.3上运行稍微有些问题。py代码xrange在3.*中已经改名字为range了。另外,3.*中也没有decode函数了。

修改了上面的两个地方,代码就可移植性了。效果还可以。

希望本文所述对大家的Python程序设计有所帮助。

Python 相关文章推荐
Python常见数据结构详解
Jul 24 Python
Python中运行并行任务技巧
Feb 26 Python
python遍历 truple list dictionary的几种方法总结
Sep 11 Python
Python3实现带附件的定时发送邮件功能
Dec 22 Python
python sys,os,time模块的使用(包括时间格式的各种转换)
Apr 27 Python
如何基于Python代码实现高精度免费OCR工具
Jun 18 Python
python3.6中anaconda安装sklearn踩坑实录
Jul 28 Python
Python 发送邮件方法总结
Aug 10 Python
使用Python中tkinter库简单gui界面制作及打包成exe的操作方法(二)
Oct 12 Python
pycharm如何设置官方中文(如何汉化)
Dec 29 Python
OpenCV图像变换之傅里叶变换的一些应用
Jul 26 Python
python获取带有返回值的多线程
May 02 Python
Python基于smtplib实现异步发送邮件服务
May 28 #Python
Python使用Scrapy爬取妹子图
May 28 #Python
Python实现统计单词出现的个数
May 28 #Python
Python下载懒人图库JavaScript特效
May 28 #Python
Python实现给qq邮箱发送邮件的方法
May 28 #Python
Python import用法以及与from...import的区别
May 28 #Python
Python中使用不同编码读写txt文件详解
May 28 #Python
You might like
php生成WAP页面
2006/10/09 PHP
PHP中Cookie的使用详解(简单易懂)
2017/04/28 PHP
thinkphp框架page类与bootstrap分页(美化)
2017/06/25 PHP
PHP的PDO事务与自动提交
2019/01/24 PHP
用javascript控制iframe滚动的代码
2007/04/10 Javascript
为JavaScript类型增加方法的实现代码(增加功能)
2011/12/29 Javascript
JavaScript tab选项卡插件实例代码
2016/02/23 Javascript
微信小程序 倒计时组件实现代码
2016/10/24 Javascript
详解用node.js实现简单的反向代理
2017/06/26 Javascript
JS中跳出循环的示例代码
2017/09/14 Javascript
vue-devtools的安装步骤
2018/04/23 Javascript
JavaScript创建对象的常用方式总结
2018/08/10 Javascript
微信小程序时间标签和时间范围的联动效果
2019/02/15 Javascript
微信公众平台 客服接口发消息的实现代码(Java接口开发)
2019/04/17 Javascript
Websocket 向指定用户发消息的方法
2020/01/09 Javascript
如何通过vscode运行调试javascript代码
2020/07/24 Javascript
[02:45]DOTA2英雄敌法师基础教程
2013/11/25 DOTA
Python实现的简单hangman游戏实例
2015/06/28 Python
python实现回旋矩阵方式(旋转矩阵)
2019/12/04 Python
Python爬虫scrapy框架Cookie池(微博Cookie池)的使用
2021/01/13 Python
Python中正则表达式对单个字符,多个字符和匹配边界等使用
2021/01/27 Python
css3中单位px,em,rem,vh,vw,vmin,vmax的区别及浏览器支持情况
2016/12/06 HTML / CSS
欧洲领先的电子和电信零售商和服务提供商:Currys PC World Business
2017/12/05 全球购物
String和StringBuffer的区别
2015/08/13 面试题
数据库专业英语
2012/11/30 面试题
PHP使用Redis队列执行定时任务实例讲解
2021/03/24 PHP
特色冷饮店创业计划书
2014/01/28 职场文书
自荐书范文范例
2014/02/13 职场文书
《一株紫丁香》教学反思
2014/02/19 职场文书
创建学习型党组织实施方案
2014/03/29 职场文书
主题班会演讲稿
2014/05/22 职场文书
后备干部培训方案
2014/05/22 职场文书
行政求职信
2014/07/04 职场文书
学校安全教育月活动总结
2014/07/07 职场文书
企业愿景口号
2015/12/25 职场文书
Python爬虫基础之简单说一下scrapy的框架结构
2021/06/26 Python