Python中使用中文的方法


Posted in Python onFebruary 19, 2011

先来看看python的版本:
>>> import sys
>>> sys.version
'2.5.1 (r251:54863, Apr 18 2007, 08:51:08) [MSC v.1310 32 bit (Intel)]'

(一)
用记事本创建一个文件ChineseTest.py,默认ANSI:
s = "中文"
print s

测试一下瞧瞧:
E:\Project\Python\Test>python ChineseTest.py
File "ChineseTest.py", line 1
SyntaxError: Non-ASCII character '\xd6' in file ChineseTest.py on line 1, but no encoding declared; see http://www.python.org/peps/pep-0263.html for details

偷偷地把文件编码改成UTF-8:
E:\Project\Python\Test>python ChineseTest.py
File "ChineseTest.py", line 1
SyntaxError: Non-ASCII character '\xe4' in file ChineseTest.py on line 1, but no encoding declared; see http://www.python.org/peps/pep-0263.html for details

无济于事。。。
既然它提供了网址,那就看看吧。简单地浏览一下,终于知道如果文件里有非ASCII字符,需要在第一行或第二行指定编码声明。把ChineseTest.py文件的编码重新改为ANSI,并加上编码声明:
# coding=gbk
s = "中文"
print s

再试一下:
E:\Project\Python\Test>python ChineseTest.py
中文

正常咯:)
(二)
看一看它的长度:
# coding=gbk
s = "中文"
print len(s)
结果:4。
s这里是str类型,所以计算的时候一个中文相当于两个英文字符,因此长度为4。
我们这样写:
# coding=gbk
s = "中文"
s1 = u"中文"
s2 = unicode(s, "gbk") #省略参数将用python默认的ASCII来解码
s3 = s.decode("gbk") #把str转换成unicode是decode,unicode函数作用与之相同
print len(s1)
print len(s2)
print len(s3)
结果:
2
2

(三)
接着来看看文件的处理:
建立一个文件test.txt,文件格式用ANSI,内容为:
abc中文
用python来读取
# coding=gbk
print open("Test.txt").read()
结果:abc中文
把文件格式改成UTF-8:
结果:abc涓???
显然,这里需要解码:
# coding=gbk
import codecs
print open("Test.txt").read().decode("utf-8")
结果:abc中文
上面的test.txt我是用Editplus来编辑的,但当我用Windows自带的记事本编辑并存成UTF-8格式时,
运行时报错:
Traceback (most recent call last):
File "ChineseTest.py", line 3, in <module>
print open("Test.txt").read().decode("utf-8")
UnicodeEncodeError: 'gbk' codec can't encode character u'\ufeff' in position 0: illegal multibyte sequence

原来,某些软件,如notepad,在保存一个以UTF-8编码的文件时,会在文件开始的地方插入三个不可见的字符(0xEF 0xBB 0xBF,即BOM)。
因此我们在读取时需要自己去掉这些字符,python中的codecs module定义了这个常量:
# coding=gbk
import codecs
data = open("Test.txt").read()
if data[:3] == codecs.BOM_UTF8:
data = data[3:]
print data.decode("utf-8")
结果:abc中文

(四)一点遗留问题
在第二部分中,我们用unicode函数和decode方法把str转换成unicode。为什么这两个函数的参数用"gbk"呢?
第一反应是我们的编码声明里用了gbk(# coding=gbk),但真是这样?
修改一下源文件:
# coding=utf-8
s = "中文"
print unicode(s, "utf-8")
运行,报错:
Traceback (most recent call last):
File "ChineseTest.py", line 3, in <module>
s = unicode(s, "utf-8")
UnicodeDecodeError: 'utf8' codec can't decode bytes in position 0-1: invalid data
显然,如果前面正常是因为两边都使用了gbk,那么这里我保持了两边utf-8一致,也应该正常,不至于报错。
更进一步的例子,如果我们这里转换仍然用gbk:
# coding=utf-8
s = "中文"
print unicode(s, "gbk")
结果:中文
翻阅了一篇英文资料,它大致讲解了python中的print原理:
When Python executes a print statement, it simply passes the output to the operating system (using fwrite() or something like it), and some other program is responsible for actually displaying that output on the screen. For example, on Windows, it might be the Windows console subsystem that displays the result. Or if you're using Windows and running Python on a Unix box somewhere else, your Windows SSH client is actually responsible for displaying the data. If you are running Python in an xterm on Unix, then xterm and your X server handle the display. <>

To print data reliably, you must know the encoding that this display program expects.

简单地说,python中的print直接把字符串传递给操作系统,所以你需要把str解码成与操作系统一致的格式。Windows使用CP936(几乎与gbk相同),所以这里可以使用gbk。
最后测试:
# coding=utf-8
s = "中文"
print unicode(s, "cp936")
结果:中文

Python 相关文章推荐
Python中使用装饰器和元编程实现结构体类实例
Jan 28 Python
python实现提取百度搜索结果的方法
May 19 Python
python从入门到精通(DAY 3)
Dec 20 Python
pandas数据筛选和csv操作的实现方法
Jul 02 Python
python中pygame安装过程(超级详细)
Aug 04 Python
Pycharm远程调试原理及具体配置详解
Aug 08 Python
python实现交并比IOU教程
Apr 16 Python
python实现读取类别频数数据画水平条形图案例
Apr 24 Python
Keras 数据增强ImageDataGenerator多输入多输出实例
Jul 03 Python
django rest framework 自定义返回方式
Jul 12 Python
python代码实现图书管理系统
Nov 30 Python
Python 高级库15 个让新手爱不释手(推荐)
May 15 Python
python实现的防DDoS脚本
Feb 08 #Python
Python牛刀小试密码爆破
Feb 03 #Python
初学python数组的处理代码
Jan 04 #Python
让python json encode datetime类型
Dec 28 #Python
让python的Cookie.py模块支持冒号做key的方法
Dec 28 #Python
python封装对象实现时间效果
Apr 23 #Python
python下函数参数的传递(参数带星号的说明)
Sep 19 #Python
You might like
PHP 程序员也要学会使用“异常”
2009/06/16 PHP
php 无限分类的树类代码
2009/12/03 PHP
YII2自动登录Cookie总是失效的解决方法
2017/06/28 PHP
php删除二维数组中的重复值方法
2018/03/12 PHP
docker-compose部署php项目实例详解
2019/07/30 PHP
javascript json 新手入门文档
2009/12/03 Javascript
JavaScript中的作用域链和闭包
2012/06/30 Javascript
Javascript的表单验证长度
2016/03/16 Javascript
React中jquery引用的实现方法
2017/09/12 jQuery
JavaScript中this关键字用法实例分析
2018/08/24 Javascript
小程序实现列表点赞功能
2018/11/02 Javascript
JavaScript模板引擎实现原理实例详解
2018/12/14 Javascript
微信小程序文章详情功能完整实例
2020/06/03 Javascript
Node.js 深度调试方法解析
2020/07/28 Javascript
vue使用svg文件补充-svg放大缩小操作(使用d3.js)
2020/09/22 Javascript
[51:29]Alliance vs TNC 2019国际邀请赛小组赛 BO2 第二场 8.16
2019/08/18 DOTA
python3.5实现socket通讯示例(TCP)
2017/02/07 Python
在Windows中设置Python环境变量的实例讲解
2018/04/28 Python
python 图像平移和旋转的实例
2019/01/10 Python
python实现弹窗祝福效果
2019/04/07 Python
详解Python 4.0 预计推出的新功能
2019/07/26 Python
使用python批量转换文件编码为UTF-8的实现
2020/04/03 Python
如何配置关联Python 解释器 Anaconda的教程(图解)
2020/04/30 Python
使用CSS3 制作一个material-design 风格登录界面实例
2016/12/12 HTML / CSS
Kiwi.com中国:找到特价机票并发现新目的地
2019/10/27 全球购物
优秀中学生事迹材料
2014/01/31 职场文书
幼儿园中班教学反思
2014/02/10 职场文书
工作过失检讨书
2014/02/23 职场文书
物业公司的岗位任命书
2014/06/06 职场文书
建筑安全标语
2014/06/07 职场文书
个人优缺点总结
2015/02/28 职场文书
2015年社区卫生工作总结
2015/04/21 职场文书
组织委员竞选稿
2015/11/21 职场文书
用JS创建一个录屏功能
2021/11/11 Javascript
MySQL Server层四个日志的实现
2022/03/31 MySQL
Spring Boot项目传参校验的最佳实践指南
2022/04/05 Java/Android