Python smallseg分词用法实例分析


Posted in Python onMay 28, 2015

本文实例讲述了Python smallseg分词用法。分享给大家供大家参考。具体分析如下:

#encoding=utf-8 
#import psyco 
#psyco.full() 
words = [x.rstrip() for x in open("main.dic",mode='r',encoding='utf-8') ] 
from smallseg import SEG 
seg = SEG() 
print('Load dict...') 
seg.set(words) 
print("Dict is OK.") 
def cuttest(text): 
  wlist = seg.cut(text) 
  wlist.reverse() 
  tmp = " ".join(wlist) 
  print(tmp) 
  print("================================") 
if __name__=="__main__": 
  cuttest("这是一个伸手不见五指的黑夜。我叫孙悟空,我爱北京,我爱Python和C++。") 
  cuttest("我不喜欢日本和服。") 
  cuttest("雷猴回归人间。") 
  cuttest("工信处女干事每月经过下属科室都要亲口交代24口交换机等技术性器件的安装工作") 
  cuttest("我需要廉租房") 
  cuttest("永和服装饰品有限公司") 
  cuttest("我爱北京天安门") 
  cuttest("abc") 
  cuttest("隐马尔可夫") 
  cuttest("雷猴是个好网站") 
  cuttest("“Microsoft”一词由“MICROcomputer(微型计算机)”和“SOFTware(软件)”两部分组成") 
  cuttest("草泥马和欺实马是今年的流行词汇") 
  cuttest("伊藤洋华堂总府店") 
  cuttest("中国科学院计算技术研究所") 
  cuttest("罗密欧与朱丽叶") 
  cuttest("我购买了道具和服装")

smallseg分词,在python3.3上运行稍微有些问题。py代码xrange在3.*中已经改名字为range了。另外,3.*中也没有decode函数了。

修改了上面的两个地方,代码就可移植性了。效果还可以。

希望本文所述对大家的Python程序设计有所帮助。

Python 相关文章推荐
解决谷歌搜索技术文章时打不开网页问题的python脚本
Feb 10 Python
python通过shutil实现快速文件复制的方法
Mar 14 Python
Python使用struct处理二进制的实例详解
Sep 11 Python
Python字符串格式化的方法(两种)
Sep 19 Python
python实现随机森林random forest的原理及方法
Dec 21 Python
DataFrame中去除指定列为空的行方法
Apr 08 Python
numpy 对矩阵中Nan的处理:采用平均值的方法
Oct 30 Python
解决Pandas的DataFrame输出截断和省略的问题
Feb 08 Python
详解Python_shutil模块
Mar 15 Python
Python 字符串处理特殊空格\xc2\xa0\t\n Non-breaking space
Feb 23 Python
Python pandas 列转行操作详解(类似hive中explode方法)
May 18 Python
Python基础之操作MySQL数据库
May 06 Python
Python基于smtplib实现异步发送邮件服务
May 28 #Python
Python使用Scrapy爬取妹子图
May 28 #Python
Python实现统计单词出现的个数
May 28 #Python
Python下载懒人图库JavaScript特效
May 28 #Python
Python实现给qq邮箱发送邮件的方法
May 28 #Python
Python import用法以及与from...import的区别
May 28 #Python
Python中使用不同编码读写txt文件详解
May 28 #Python
You might like
帖几个PHP的无限分类实现想法~
2007/01/02 PHP
php使用session二维数组实例
2014/11/06 PHP
php随机生成数字字母组合的方法
2015/03/18 PHP
php parse_str() 函数的定义和用法
2016/05/23 PHP
JavaScript 设计模式学习 Singleton
2009/07/27 Javascript
不安全的常用的js写法
2009/09/15 Javascript
映彩衣的js随笔(js图片切换效果)
2011/07/31 Javascript
Javascript递归打印Document层次关系实例分析
2015/05/15 Javascript
程序员必知35个jQuery 代码片段
2015/11/05 Javascript
纯JS代码实现隔行变色鼠标移入高亮
2016/11/23 Javascript
BootStrap注意事项小结(五)表单
2017/03/10 Javascript
自适应布局meta标签中viewport、content、width、initial-scale、minimum-scale、maximum-scale总结
2017/08/18 Javascript
详解如何让InstantClick兼容MathJax、百度统计等
2017/09/12 Javascript
jquery实现图片跟随鼠标的实例
2017/10/17 jQuery
vue全局使用axios的方法实例详解
2018/11/22 Javascript
layui实现数据表格点击搜索功能
2020/03/26 Javascript
微信小程序 flexbox layout快速实现基本布局的解决方案
2020/03/24 Javascript
[02:08]我的刀塔不可能这么可爱 胡晓桃_1
2014/06/20 DOTA
Python matplotlib绘图可视化知识点整理(小结)
2018/03/16 Python
Python实现的多叉树寻找最短路径算法示例
2018/07/30 Python
python覆盖写入,追加写入的实例
2019/06/26 Python
Python爬虫实现“盗取”微信好友信息的方法分析
2019/09/16 Python
详解Python的三种拷贝方式
2020/02/11 Python
Python selenium抓取虎牙短视频代码实例
2020/03/02 Python
Smashbox英国官网:美国知名彩妆品牌
2017/11/13 全球购物
来自美国主售篮球鞋的零售商店:KICKSUSA
2017/11/28 全球购物
少先队学雷锋活动月总结
2014/03/09 职场文书
社区食品安全实施方案
2014/03/28 职场文书
《一个小村庄的故事》教学反思
2014/04/13 职场文书
租赁协议书范本
2014/04/22 职场文书
丧事答谢词
2015/01/05 职场文书
专业技术职务聘任证明
2015/03/02 职场文书
2016年教师学习廉政准则心得体会
2016/01/20 职场文书
理解python中装饰器的作用
2021/07/21 Python
Shell脚本一键安装Nginx服务自定义Nginx版本
2022/03/20 Servers
Go获取两个时区的时间差
2022/04/20 Golang