Python中使用中文的方法


Posted in Python onFebruary 19, 2011

先来看看python的版本:
>>> import sys
>>> sys.version
'2.5.1 (r251:54863, Apr 18 2007, 08:51:08) [MSC v.1310 32 bit (Intel)]'

(一)
用记事本创建一个文件ChineseTest.py,默认ANSI:
s = "中文"
print s

测试一下瞧瞧:
E:\Project\Python\Test>python ChineseTest.py
File "ChineseTest.py", line 1
SyntaxError: Non-ASCII character '\xd6' in file ChineseTest.py on line 1, but no encoding declared; see http://www.python.org/peps/pep-0263.html for details

偷偷地把文件编码改成UTF-8:
E:\Project\Python\Test>python ChineseTest.py
File "ChineseTest.py", line 1
SyntaxError: Non-ASCII character '\xe4' in file ChineseTest.py on line 1, but no encoding declared; see http://www.python.org/peps/pep-0263.html for details

无济于事。。。
既然它提供了网址,那就看看吧。简单地浏览一下,终于知道如果文件里有非ASCII字符,需要在第一行或第二行指定编码声明。把ChineseTest.py文件的编码重新改为ANSI,并加上编码声明:
# coding=gbk
s = "中文"
print s

再试一下:
E:\Project\Python\Test>python ChineseTest.py
中文

正常咯:)
(二)
看一看它的长度:
# coding=gbk
s = "中文"
print len(s)
结果:4。
s这里是str类型,所以计算的时候一个中文相当于两个英文字符,因此长度为4。
我们这样写:
# coding=gbk
s = "中文"
s1 = u"中文"
s2 = unicode(s, "gbk") #省略参数将用python默认的ASCII来解码
s3 = s.decode("gbk") #把str转换成unicode是decode,unicode函数作用与之相同
print len(s1)
print len(s2)
print len(s3)
结果:
2
2

(三)
接着来看看文件的处理:
建立一个文件test.txt,文件格式用ANSI,内容为:
abc中文
用python来读取
# coding=gbk
print open("Test.txt").read()
结果:abc中文
把文件格式改成UTF-8:
结果:abc涓???
显然,这里需要解码:
# coding=gbk
import codecs
print open("Test.txt").read().decode("utf-8")
结果:abc中文
上面的test.txt我是用Editplus来编辑的,但当我用Windows自带的记事本编辑并存成UTF-8格式时,
运行时报错:
Traceback (most recent call last):
File "ChineseTest.py", line 3, in <module>
print open("Test.txt").read().decode("utf-8")
UnicodeEncodeError: 'gbk' codec can't encode character u'\ufeff' in position 0: illegal multibyte sequence

原来,某些软件,如notepad,在保存一个以UTF-8编码的文件时,会在文件开始的地方插入三个不可见的字符(0xEF 0xBB 0xBF,即BOM)。
因此我们在读取时需要自己去掉这些字符,python中的codecs module定义了这个常量:
# coding=gbk
import codecs
data = open("Test.txt").read()
if data[:3] == codecs.BOM_UTF8:
data = data[3:]
print data.decode("utf-8")
结果:abc中文

(四)一点遗留问题
在第二部分中,我们用unicode函数和decode方法把str转换成unicode。为什么这两个函数的参数用"gbk"呢?
第一反应是我们的编码声明里用了gbk(# coding=gbk),但真是这样?
修改一下源文件:
# coding=utf-8
s = "中文"
print unicode(s, "utf-8")
运行,报错:
Traceback (most recent call last):
File "ChineseTest.py", line 3, in <module>
s = unicode(s, "utf-8")
UnicodeDecodeError: 'utf8' codec can't decode bytes in position 0-1: invalid data
显然,如果前面正常是因为两边都使用了gbk,那么这里我保持了两边utf-8一致,也应该正常,不至于报错。
更进一步的例子,如果我们这里转换仍然用gbk:
# coding=utf-8
s = "中文"
print unicode(s, "gbk")
结果:中文
翻阅了一篇英文资料,它大致讲解了python中的print原理:
When Python executes a print statement, it simply passes the output to the operating system (using fwrite() or something like it), and some other program is responsible for actually displaying that output on the screen. For example, on Windows, it might be the Windows console subsystem that displays the result. Or if you're using Windows and running Python on a Unix box somewhere else, your Windows SSH client is actually responsible for displaying the data. If you are running Python in an xterm on Unix, then xterm and your X server handle the display. <>

To print data reliably, you must know the encoding that this display program expects.

简单地说,python中的print直接把字符串传递给操作系统,所以你需要把str解码成与操作系统一致的格式。Windows使用CP936(几乎与gbk相同),所以这里可以使用gbk。
最后测试:
# coding=utf-8
s = "中文"
print unicode(s, "cp936")
结果:中文

Python 相关文章推荐
python套接字流重定向实例汇总
Mar 03 Python
Python生成数字图片代码分享
Oct 31 Python
python3调用R的示例代码
Feb 23 Python
python自动截取需要区域,进行图像识别的方法
May 17 Python
python读取图片并修改格式与大小的方法
Jul 24 Python
Pycharm2017版本设置启动时默认自动打开项目的方法
Oct 29 Python
python实现矩阵打印
Mar 02 Python
django富文本编辑器的实现示例
Apr 10 Python
python爬虫之快速对js内容进行破解
Jul 09 Python
flask框架路由常用定义方式总结
Jul 23 Python
使用python绘制cdf的多种实现方法
Feb 25 Python
Django数据模型中on_delete使用详解
Nov 30 Python
python实现的防DDoS脚本
Feb 08 #Python
Python牛刀小试密码爆破
Feb 03 #Python
初学python数组的处理代码
Jan 04 #Python
让python json encode datetime类型
Dec 28 #Python
让python的Cookie.py模块支持冒号做key的方法
Dec 28 #Python
python封装对象实现时间效果
Apr 23 #Python
python下函数参数的传递(参数带星号的说明)
Sep 19 #Python
You might like
Trying to clone an uncloneable object of class Imagic的解决方法
2012/01/11 PHP
采用ThinkPHP中F方法实现快速缓存实例
2014/06/13 PHP
PHP通过引用传递参数用法分析
2016/12/01 PHP
laravel 实现登陆后返回登陆前的页面方法
2019/10/03 PHP
JS 参数传递的实际应用代码分析
2009/09/13 Javascript
js中创建对象的几种方式示例介绍
2014/01/26 Javascript
用JS在浏览器中创建下载文件
2014/03/05 Javascript
jQuery检测鼠标左键和右键点击的方法
2015/03/17 Javascript
js实现select下拉框菜单
2015/12/08 Javascript
JS+DIV实现的卷帘效果示例
2017/03/22 Javascript
VueJs使用Amaze ui调整列表和内容页面
2017/11/30 Javascript
vue项目优化之通过keep-alive数据缓存的方法
2017/12/11 Javascript
nodejs实现简单的gulp打包
2017/12/21 NodeJs
JavaScript中常见内置函数用法示例
2018/05/14 Javascript
发布Angular应用至生产环境的方法
2018/12/10 Javascript
这15个Vue指令,让你的项目开发爽到爆
2019/10/11 Javascript
浅析Vue下的components模板使用及应用
2019/11/27 Javascript
微信小程序实现菜单左右联动
2020/05/19 Javascript
Element Tooltip 文字提示的使用示例
2020/07/26 Javascript
jquery实现简单每周轮换的日历
2020/09/10 jQuery
Python使用面向对象方式创建线程实现12306售票系统
2015/12/24 Python
图文讲解选择排序算法的原理及在Python中的实现
2016/05/04 Python
python shell根据ip获取主机名代码示例
2017/11/25 Python
Python通过属性手段实现只允许调用一次的示例讲解
2018/04/21 Python
python3.x 将byte转成字符串的方法
2018/07/17 Python
Flask 上传自定义头像的实例详解
2020/01/09 Python
Python基础教程(一)——Windows搭建开发Python开发环境
2020/07/20 Python
怎样声明子类
2013/07/02 面试题
骨干教师培训感言
2014/01/16 职场文书
市委常委会班子党的群众路线教育实践活动整改方案
2014/10/25 职场文书
大国崛起英国观后感
2015/06/02 职场文书
团队执行力培训心得体会
2015/08/15 职场文书
2016最新离婚协议书范本及程序
2016/03/18 职场文书
python编写函数注意事项总结
2021/03/29 Python
一篇文章带你搞懂Python类的相关知识
2021/05/20 Python
golang三种设计模式之简单工厂、方法工厂和抽象工厂
2022/04/10 Golang