Python中使用中文的方法


Posted in Python onFebruary 19, 2011

先来看看python的版本:
>>> import sys
>>> sys.version
'2.5.1 (r251:54863, Apr 18 2007, 08:51:08) [MSC v.1310 32 bit (Intel)]'

(一)
用记事本创建一个文件ChineseTest.py,默认ANSI:
s = "中文"
print s

测试一下瞧瞧:
E:\Project\Python\Test>python ChineseTest.py
File "ChineseTest.py", line 1
SyntaxError: Non-ASCII character '\xd6' in file ChineseTest.py on line 1, but no encoding declared; see http://www.python.org/peps/pep-0263.html for details

偷偷地把文件编码改成UTF-8:
E:\Project\Python\Test>python ChineseTest.py
File "ChineseTest.py", line 1
SyntaxError: Non-ASCII character '\xe4' in file ChineseTest.py on line 1, but no encoding declared; see http://www.python.org/peps/pep-0263.html for details

无济于事。。。
既然它提供了网址,那就看看吧。简单地浏览一下,终于知道如果文件里有非ASCII字符,需要在第一行或第二行指定编码声明。把ChineseTest.py文件的编码重新改为ANSI,并加上编码声明:
# coding=gbk
s = "中文"
print s

再试一下:
E:\Project\Python\Test>python ChineseTest.py
中文

正常咯:)
(二)
看一看它的长度:
# coding=gbk
s = "中文"
print len(s)
结果:4。
s这里是str类型,所以计算的时候一个中文相当于两个英文字符,因此长度为4。
我们这样写:
# coding=gbk
s = "中文"
s1 = u"中文"
s2 = unicode(s, "gbk") #省略参数将用python默认的ASCII来解码
s3 = s.decode("gbk") #把str转换成unicode是decode,unicode函数作用与之相同
print len(s1)
print len(s2)
print len(s3)
结果:
2
2

(三)
接着来看看文件的处理:
建立一个文件test.txt,文件格式用ANSI,内容为:
abc中文
用python来读取
# coding=gbk
print open("Test.txt").read()
结果:abc中文
把文件格式改成UTF-8:
结果:abc涓???
显然,这里需要解码:
# coding=gbk
import codecs
print open("Test.txt").read().decode("utf-8")
结果:abc中文
上面的test.txt我是用Editplus来编辑的,但当我用Windows自带的记事本编辑并存成UTF-8格式时,
运行时报错:
Traceback (most recent call last):
File "ChineseTest.py", line 3, in <module>
print open("Test.txt").read().decode("utf-8")
UnicodeEncodeError: 'gbk' codec can't encode character u'\ufeff' in position 0: illegal multibyte sequence

原来,某些软件,如notepad,在保存一个以UTF-8编码的文件时,会在文件开始的地方插入三个不可见的字符(0xEF 0xBB 0xBF,即BOM)。
因此我们在读取时需要自己去掉这些字符,python中的codecs module定义了这个常量:
# coding=gbk
import codecs
data = open("Test.txt").read()
if data[:3] == codecs.BOM_UTF8:
data = data[3:]
print data.decode("utf-8")
结果:abc中文

(四)一点遗留问题
在第二部分中,我们用unicode函数和decode方法把str转换成unicode。为什么这两个函数的参数用"gbk"呢?
第一反应是我们的编码声明里用了gbk(# coding=gbk),但真是这样?
修改一下源文件:
# coding=utf-8
s = "中文"
print unicode(s, "utf-8")
运行,报错:
Traceback (most recent call last):
File "ChineseTest.py", line 3, in <module>
s = unicode(s, "utf-8")
UnicodeDecodeError: 'utf8' codec can't decode bytes in position 0-1: invalid data
显然,如果前面正常是因为两边都使用了gbk,那么这里我保持了两边utf-8一致,也应该正常,不至于报错。
更进一步的例子,如果我们这里转换仍然用gbk:
# coding=utf-8
s = "中文"
print unicode(s, "gbk")
结果:中文
翻阅了一篇英文资料,它大致讲解了python中的print原理:
When Python executes a print statement, it simply passes the output to the operating system (using fwrite() or something like it), and some other program is responsible for actually displaying that output on the screen. For example, on Windows, it might be the Windows console subsystem that displays the result. Or if you're using Windows and running Python on a Unix box somewhere else, your Windows SSH client is actually responsible for displaying the data. If you are running Python in an xterm on Unix, then xterm and your X server handle the display. <>

To print data reliably, you must know the encoding that this display program expects.

简单地说,python中的print直接把字符串传递给操作系统,所以你需要把str解码成与操作系统一致的格式。Windows使用CP936(几乎与gbk相同),所以这里可以使用gbk。
最后测试:
# coding=utf-8
s = "中文"
print unicode(s, "cp936")
结果:中文

Python 相关文章推荐
Python操作json数据的一个简单例子
Apr 17 Python
使用Python3制作TCP端口扫描器
Apr 17 Python
Python中的pygal安装和绘制直方图代码分享
Dec 08 Python
python list删除元素时要注意的坑点分享
Apr 18 Python
基于OpenCV python3实现证件照换背景的方法
Mar 22 Python
python语言元素知识点详解
May 15 Python
opencv3/C++ 平面对象识别&amp;透视变换方式
Dec 11 Python
浅谈ROC曲线的最佳阈值如何选取
Feb 28 Python
利用jupyter网页版本进行python函数查询方式
Apr 14 Python
Keras loss函数剖析
Jul 06 Python
Python 使用office365邮箱的示例
Oct 29 Python
Python离线安装openpyxl模块的步骤
Mar 30 Python
python实现的防DDoS脚本
Feb 08 #Python
Python牛刀小试密码爆破
Feb 03 #Python
初学python数组的处理代码
Jan 04 #Python
让python json encode datetime类型
Dec 28 #Python
让python的Cookie.py模块支持冒号做key的方法
Dec 28 #Python
python封装对象实现时间效果
Apr 23 #Python
python下函数参数的传递(参数带星号的说明)
Sep 19 #Python
You might like
一个ftp类(ini.php)
2006/10/09 PHP
PHP下编码转换函数mb_convert_encoding与iconv的使用说明
2009/12/16 PHP
PHP和Mysqlweb应用开发核心技术 第1部分 Php基础-3 代码组织和重用2
2011/07/03 PHP
PHP获取数组最后一个值的2种方法
2015/01/21 PHP
JS对象转换为Jquery对象示例
2014/01/26 Javascript
JS中FRAME的操作问题实例分析
2014/10/21 Javascript
node.js中使用socket.io的方法
2014/12/15 Javascript
JS动态创建DOM元素的方法
2015/06/09 Javascript
javascript中SetInterval与setTimeout的定时器用法
2015/08/24 Javascript
javascript中的正则表达式使用详解
2015/08/30 Javascript
JS如何判断是否为ie浏览器的方法(包括IE10、IE11在内)
2015/12/13 Javascript
javascript设置和获取cookie的方法实例详解
2016/01/05 Javascript
JavaScript中的对象和原型(一)
2016/08/12 Javascript
浅谈JavaScript 数据属性和访问器属性
2016/09/01 Javascript
vue-cli3.0+element-ui上传组件el-upload的使用
2018/12/03 Javascript
JS实现计算小于非负数n的素数的数量算法示例
2019/02/26 Javascript
详解解决小程序中webview页面多层history返回问题
2019/08/20 Javascript
Django中的Signal代码详解
2018/02/05 Python
Python自定义装饰器原理与用法实例分析
2018/07/16 Python
Django实战之用户认证(用户登录与注销)
2018/07/16 Python
Django Celery异步任务队列的实现
2019/07/24 Python
django 自定义过滤器(filter)处理较为复杂的变量方法
2019/08/12 Python
pytorch 更改预训练模型网络结构的方法
2019/08/19 Python
ipad上运行python的方法步骤
2019/10/12 Python
用Python进行websocket接口测试
2020/10/16 Python
添柏岚英国官方网站:Timberland英国
2019/11/28 全球购物
公司财务自我评价分享
2013/12/17 职场文书
毕业生的自我评价范文
2013/12/31 职场文书
医生进修自我鉴定
2014/01/19 职场文书
企业军训感想
2014/02/07 职场文书
办公自动化毕业生求职信
2014/03/09 职场文书
区级文明单位申报材料
2014/05/15 职场文书
扬尘污染防治方案
2014/06/15 职场文书
工程竣工验收申请报告
2015/05/15 职场文书
比较node.js和Deno
2021/04/27 Javascript
详解Python flask的前后端交互
2022/03/31 Python