Python中使用中文的方法


Posted in Python onFebruary 19, 2011

先来看看python的版本:
>>> import sys
>>> sys.version
'2.5.1 (r251:54863, Apr 18 2007, 08:51:08) [MSC v.1310 32 bit (Intel)]'

(一)
用记事本创建一个文件ChineseTest.py,默认ANSI:
s = "中文"
print s

测试一下瞧瞧:
E:\Project\Python\Test>python ChineseTest.py
File "ChineseTest.py", line 1
SyntaxError: Non-ASCII character '\xd6' in file ChineseTest.py on line 1, but no encoding declared; see http://www.python.org/peps/pep-0263.html for details

偷偷地把文件编码改成UTF-8:
E:\Project\Python\Test>python ChineseTest.py
File "ChineseTest.py", line 1
SyntaxError: Non-ASCII character '\xe4' in file ChineseTest.py on line 1, but no encoding declared; see http://www.python.org/peps/pep-0263.html for details

无济于事。。。
既然它提供了网址,那就看看吧。简单地浏览一下,终于知道如果文件里有非ASCII字符,需要在第一行或第二行指定编码声明。把ChineseTest.py文件的编码重新改为ANSI,并加上编码声明:
# coding=gbk
s = "中文"
print s

再试一下:
E:\Project\Python\Test>python ChineseTest.py
中文

正常咯:)
(二)
看一看它的长度:
# coding=gbk
s = "中文"
print len(s)
结果:4。
s这里是str类型,所以计算的时候一个中文相当于两个英文字符,因此长度为4。
我们这样写:
# coding=gbk
s = "中文"
s1 = u"中文"
s2 = unicode(s, "gbk") #省略参数将用python默认的ASCII来解码
s3 = s.decode("gbk") #把str转换成unicode是decode,unicode函数作用与之相同
print len(s1)
print len(s2)
print len(s3)
结果:
2
2

(三)
接着来看看文件的处理:
建立一个文件test.txt,文件格式用ANSI,内容为:
abc中文
用python来读取
# coding=gbk
print open("Test.txt").read()
结果:abc中文
把文件格式改成UTF-8:
结果:abc涓???
显然,这里需要解码:
# coding=gbk
import codecs
print open("Test.txt").read().decode("utf-8")
结果:abc中文
上面的test.txt我是用Editplus来编辑的,但当我用Windows自带的记事本编辑并存成UTF-8格式时,
运行时报错:
Traceback (most recent call last):
File "ChineseTest.py", line 3, in <module>
print open("Test.txt").read().decode("utf-8")
UnicodeEncodeError: 'gbk' codec can't encode character u'\ufeff' in position 0: illegal multibyte sequence

原来,某些软件,如notepad,在保存一个以UTF-8编码的文件时,会在文件开始的地方插入三个不可见的字符(0xEF 0xBB 0xBF,即BOM)。
因此我们在读取时需要自己去掉这些字符,python中的codecs module定义了这个常量:
# coding=gbk
import codecs
data = open("Test.txt").read()
if data[:3] == codecs.BOM_UTF8:
data = data[3:]
print data.decode("utf-8")
结果:abc中文

(四)一点遗留问题
在第二部分中,我们用unicode函数和decode方法把str转换成unicode。为什么这两个函数的参数用"gbk"呢?
第一反应是我们的编码声明里用了gbk(# coding=gbk),但真是这样?
修改一下源文件:
# coding=utf-8
s = "中文"
print unicode(s, "utf-8")
运行,报错:
Traceback (most recent call last):
File "ChineseTest.py", line 3, in <module>
s = unicode(s, "utf-8")
UnicodeDecodeError: 'utf8' codec can't decode bytes in position 0-1: invalid data
显然,如果前面正常是因为两边都使用了gbk,那么这里我保持了两边utf-8一致,也应该正常,不至于报错。
更进一步的例子,如果我们这里转换仍然用gbk:
# coding=utf-8
s = "中文"
print unicode(s, "gbk")
结果:中文
翻阅了一篇英文资料,它大致讲解了python中的print原理:
When Python executes a print statement, it simply passes the output to the operating system (using fwrite() or something like it), and some other program is responsible for actually displaying that output on the screen. For example, on Windows, it might be the Windows console subsystem that displays the result. Or if you're using Windows and running Python on a Unix box somewhere else, your Windows SSH client is actually responsible for displaying the data. If you are running Python in an xterm on Unix, then xterm and your X server handle the display. <>

To print data reliably, you must know the encoding that this display program expects.

简单地说,python中的print直接把字符串传递给操作系统,所以你需要把str解码成与操作系统一致的格式。Windows使用CP936(几乎与gbk相同),所以这里可以使用gbk。
最后测试:
# coding=utf-8
s = "中文"
print unicode(s, "cp936")
结果:中文

Python 相关文章推荐
python自动格式化json文件的方法
Mar 11 Python
举例详解Python中threading模块的几个常用方法
Jun 18 Python
python实现爬取千万淘宝商品的方法
Jun 30 Python
Python采用Django开发自己的博客系统
Sep 29 Python
python中MethodType方法介绍与使用示例
Aug 03 Python
对Python3 pyc 文件的使用详解
Feb 16 Python
Python实现简单查找最长子串功能示例
Feb 26 Python
Python3.5 Pandas模块之Series用法实例分析
Apr 23 Python
解决Django连接db遇到的问题
Aug 29 Python
python pprint模块中print()和pprint()两者的区别
Feb 10 Python
Python 捕获代码中所有异常的方法
Aug 03 Python
教你用Python写一个植物大战僵尸小游戏
Apr 25 Python
python实现的防DDoS脚本
Feb 08 #Python
Python牛刀小试密码爆破
Feb 03 #Python
初学python数组的处理代码
Jan 04 #Python
让python json encode datetime类型
Dec 28 #Python
让python的Cookie.py模块支持冒号做key的方法
Dec 28 #Python
python封装对象实现时间效果
Apr 23 #Python
python下函数参数的传递(参数带星号的说明)
Sep 19 #Python
You might like
德生S2000南麂列岛台湾FM收听记录
2021/03/02 无线电
什么是MVC,好东西啊
2007/05/03 PHP
关于PHP自动判断字符集并转码的详解
2013/06/26 PHP
PHP魔术方法__GET、__SET使用实例
2014/11/25 PHP
Yii控制器中操作视图js的方法
2016/07/04 PHP
javascript 模拟JQuery的Ready方法实现并出现的问题
2009/12/06 Javascript
JavaScript 参数中的数组展开 [译]
2012/09/21 Javascript
JQuery onload、ready概念介绍及使用方法
2013/04/27 Javascript
Microsfot .NET Framework4.0框架 安装失败的解决方法
2013/08/14 Javascript
可插入图片的TEXT文本框
2013/12/27 Javascript
JavaScript中join()方法的使用简介
2015/06/09 Javascript
jQuery Mobile页面返回不需要重新get
2016/04/26 Javascript
Javascript中arguments对象的详解与使用方法
2016/10/04 Javascript
深入理解Node.js 事件循环和回调函数
2016/11/02 Javascript
使用js在layui中实现上传图片压缩
2019/06/18 Javascript
Vue状态模式实现窗口停靠功能(灵动、自由, 管理后台Admin界面)
2020/03/06 Javascript
简单介绍Python中的decode()方法的使用
2015/05/18 Python
解决python3 安装完Pycurl在import pycurl时报错的问题
2018/10/15 Python
python判断输入日期为第几天的实例
2018/11/13 Python
django将数组传递给前台模板的方法
2019/08/06 Python
pytorch三层全连接层实现手写字母识别方式
2020/01/14 Python
Python bytes string相互转换过程解析
2020/03/05 Python
python3用PyPDF2解析pdf文件,用正则匹配数据方式
2020/05/12 Python
实列教程 一款基于jquery和css3的响应式二级导航菜单
2014/11/13 HTML / CSS
波兰数码相机及配件网上商店: Cyfrowe.pl
2017/06/19 全球购物
生物技术专业研究生自荐信
2013/09/22 职场文书
六十岁生日答谢词
2014/01/10 职场文书
2014年学生会部门工作总结
2014/11/07 职场文书
遗失说明具结保证书
2015/02/26 职场文书
2015年酒店前台工作总结
2015/04/20 职场文书
工会经费申请报告
2015/05/15 职场文书
二审代理词范文
2015/05/25 职场文书
python使用pywinauto驱动微信客户端实现公众号爬虫
2021/05/19 Python
浅谈Golang 切片(slice)扩容机制的原理
2021/06/09 Golang
教你修复 Win11应用商店加载空白问题
2021/12/06 数码科技
vue中使用mockjs配置和使用方式
2022/04/06 Vue.js