Python实现针对中文排序的方法


Posted in Python onMay 09, 2017

本文实例讲述了Python实现针对中文排序的方法。分享给大家供大家参考,具体如下:

Python比较字符串大小时,根据的是ord函数得到的编码值。基于它的排序函数sort可以很容易为数字和英文字母排序,因为它们在编码表中就是顺序排列的。

>> print ','< '1'<'A'<'a'<'阿'
True

但要很处理中文就没那么容易了。中文通常有拼音和笔画两种排序方式,在最常用中文标准字符集GB2312中,3755个一级中文汉字是按照拼音序进行编码的,而3008个二级汉字则是按部首笔画排列,

>> print '曙'< '鲑','曾'<'怡'
True True

出现这样的结果是因为‘曙'和‘曾'都是常用字,而‘鲑'和‘怡'都是次常用字,但无论从笔画还是拼音来看,这两对顺序都应该反过来。后来扩充的GBK和GB18030编码为了向下兼容,都没有更改之前的汉字顺序,于是sort之后的次序就很乱了。

另一方面unicode编码的中文是按《康熙字典》的偏旁部首和笔画数来排列的,所以排序结果和GB编码又不一样。

# encoding=utf8
char=['赵','钱','孙','李','佘']
char.sort()
for item in char:
  print item.decode('utf-8').encode('gb2312')

输出是:"佘孙李赵钱";而保存成gb2312编码后

# encoding=gb2312
char=['赵','钱','孙','李','佘']
char.sort()
for item in char:
  print item

输出是:“李钱孙赵佘”。显然,这两个结果都不是我们想要的。那我们究竟怎样才能对中文正确排序呢?

先要弄清楚中文词典的排序规则:先按拼音排列,区分四声,拼音相同的就看笔画数目多少,笔画数也相同的再按笔顺中的具体笔划类型来区分,新华字典采用的顺序是一丨丿丶乙,也称作“天上人间”,应该没有笔划类型也完全一样的。所以中文排序不仅需要带音调的汉字拼音对照表,还需要有具体笔顺的数据。

本以为有现成的模块,试了几个都不理想。pyzh的转换代码只支持不到7千字,而且还没有音调。水木的roy的代码涵盖了2万多字符,但需要pysqlite支持......还是自立更生吧~

我找到最全的数据是slowwind9999上传到csdn的unicode汉字编码表(点击此处本站下载。),包括全部20902个汉字的全拼、五笔、郑码、UNICODE、GBK、笔画数 部首,以及笔顺编号(拼音部分没有音调,而且个别注音有误,如 ?郑?g,??茸郑?褂眯枳⒁狻#┪姨崛×似渲械谋仕呈?荩?钟媒?炯?摹笆涤煤鹤肿?匆簟背绦蛑谱髁?nicode汉字音调版,其中中文汉字用四声标注,319个日韩汉字没有音调以示区别,并根据汉典的数据略作修正(但仍可能存在错误)。有了这两个对照表,下面的工作就简单了。

# 建立拼音辞典
dic_py = dict()
f_py = open('py.txt','r')
content_py = f_py.read()
lines_py = content_py.split('\n')
n=len(lines_py)
for i in range(0,n-1):
  word_py, mean_py = lines_py[i].split('\t', 1)
  dic_py[word_py]=mean_py
f_py.close()

笔顺字典的处理方法也完全相同,虽然文本有两万行,导入还是很快的,0.5秒左右。如果把这两个文件合并起来统一处理,应该可以更快。

# 辞典查找函数
def searchdict(dic,uchar):
  if isinstance(uchar, str):
    uchar = unicode(uchar,'utf-8')
  if uchar >= u'\u4e00' and uchar < = u'\u9fa5':
    value=dic.get(uchar.encode('utf-8'))
    if value == None:
      value = '*'
  else:
    value = uchar
  return value

查找中文,一律转为UTF8字符串,汉字外的其他字符不做处理,原样输出。如果需要声母,只输出拼音的第一个字符就是了。只要资料准确,比较起来就很轻松了。数字在字母之前,爱(ai4)便会比昂(ang2)靠前,而笔顺值的位数代表了笔画数,数值对应笔划权重,直接比较数字大小就可以得到正确的顺序。代码如下:

#比较单个字符
def comp_char_PY(A,B):
  if A==B:
    return -1
  pyA=searchdict(dic_py,A)
  pyB=searchdict(dic_py,B)
  if pyA > pyB:
    return 1
  elif pyA < pyB:
    return 0
  else:
    bhA=eval(searchdict(dic_bh,A))
    bhB=eval(searchdict(dic_bh,B))
    if bhA > bhB:
      return 1
    elif bhA < bhB:
      return 0
    else:
      return 'Are you kidding?'
#比较字符串
def comp_char(A,B):
  charA = A.decode('utf-8')
  charB = B.decode('utf-8')
  n=min(len(charA),len(charB))
  i=0
  while i < n:
    dd=comp_char_PY(charA[i],charB[i])
    if dd == -1:
      i=i+1
      if i==n:
        dd=len(charA)>len(charB)
    else:
      break
  return dd
# 排序函数
def cnsort(nline):
  n = len(nline)
  lines='\n'.join(nline)
  for i in range(1, n): #插入法
    tmp = nline[i]
    j = i
    while j > 0 and comp_char(nline[j-1],tmp):
      nline[j] = nline[j-1]
      j -= 1
    nline[j] = tmp
  return nline

现在我们就可以按照字典的规范给中文排序了。

char=['赵','钱','孙','李','佘']
char=cnsort(char)
for item in char:
  print item.decode('utf-8').encode('gb2312')

终于得到了“李钱佘孙赵”,示例文件点此下载

这里我没有考虑多音字的情况。如果想让程序自动识别,可以增加多音词组对照表,通过上下文来判断。我不知道哪里有这样的数据,反正对于多音字不太多的情形,手动调整也就够了。

Python 相关文章推荐
Python3读取文件常用方法实例分析
May 22 Python
python 环境变量和import模块导入方法(详解)
Jul 11 Python
python 实现调用子文件下的模块方法
Dec 07 Python
DJango的创建和使用详解(默认数据库sqlite3)
Nov 18 Python
DataFrame.to_excel多次写入不同Sheet的实例
Dec 02 Python
你需要学会的8个Python列表技巧
Jun 24 Python
Python不支持 i ++ 语法的原因解析
Jul 22 Python
python GUI计算器的实现
Oct 09 Python
python 如何设置守护进程
Oct 29 Python
Python将list元素转存为CSV文件的实现
Nov 16 Python
浅谈Python实现opencv之图片色素的数值运算和逻辑运算
Jun 23 Python
Python&Matlab实现灰狼优化算法的示例代码
Mar 21 Python
浅谈python socket函数中,send与sendall的区别与使用方法
May 09 #Python
Python利用operator模块实现对象的多级排序详解
May 09 #Python
网站渗透常用Python小脚本查询同ip网站
May 08 #Python
Python获取当前路径实现代码
May 08 #Python
Django自定义分页与bootstrap分页结合
Feb 22 #Python
利用python写个下载teahour音频的小脚本
May 08 #Python
通过源码分析Python中的切片赋值
May 08 #Python
You might like
SONY SRF-40W电路分析
2021/03/02 无线电
php动态生成版权所有信息的方法
2015/03/24 PHP
PHP获取指定月份第一天和最后一天的方法
2015/07/18 PHP
php array_multisort 对数组进行排序详解及实例代码
2016/10/27 PHP
在laravel中实现ORM模型使用第二个数据库设置
2019/10/24 PHP
高效率JavaScript编写技巧整理
2013/08/23 Javascript
查看大图功能代码jquery版
2013/11/05 Javascript
jQuery实现的一个自定义Placeholder属性插件
2014/08/11 Javascript
深入理解JavaScript编程中的同步与异步机制
2015/06/24 Javascript
Bootstrap Paginator分页插件与ajax相结合实现动态无刷新分页效果
2016/05/27 Javascript
BootStrap中的Fontawesome 图标
2017/05/25 Javascript
js自定义Tab选项卡效果
2017/06/05 Javascript
Nodejs模块载入运行原理
2018/02/23 NodeJs
JavaScript同源策略和跨域访问实例详解
2018/04/03 Javascript
vue.js响应式原理解析与实现
2020/06/22 Javascript
JS闭包原理与应用经典示例
2018/12/20 Javascript
在vue中使用jsx语法的使用方法
2019/09/30 Javascript
基于JS实现简单滑块拼图游戏
2019/10/12 Javascript
Vue.extend 编程式插入组件的实现
2019/11/18 Javascript
antd的select下拉框因为数据量太大造成卡顿的解决方式
2020/10/31 Javascript
pandas 选择某几列的方法
2018/07/03 Python
详解Python 正则表达式模块
2018/11/05 Python
Python基础之循环语句用法示例【for、while循环】
2019/03/23 Python
pycharm 2020.2.4 pip install Flask 报错 Error:Non-zero exit code的问题
2020/12/04 Python
html5的input的required使用中遇到的问题及解决方法
2018/04/24 HTML / CSS
ProBikeKit新西兰:自行车套件,跑步和铁人三项装备
2017/04/05 全球购物
Unineed旗下时尚轻奢网站:FABHunt
2019/05/13 全球购物
解释一下钝化(Swap out)
2016/12/26 面试题
大学毕业生简单自荐信
2013/11/05 职场文书
文史专业毕业生自荐信
2013/11/17 职场文书
行政办公室岗位职责
2014/03/18 职场文书
办理信用卡收入证明范例
2014/09/13 职场文书
2016年大学生暑期社会实践方案
2015/11/26 职场文书
维护民族团结心得体会2016
2016/01/15 职场文书
2016大一新生入学教育心得体会
2016/01/23 职场文书
民事纠纷协议书
2016/03/23 职场文书