Python中使用中文的方法


Posted in Python onFebruary 19, 2011

先来看看python的版本:
>>> import sys
>>> sys.version
'2.5.1 (r251:54863, Apr 18 2007, 08:51:08) [MSC v.1310 32 bit (Intel)]'

(一)
用记事本创建一个文件ChineseTest.py,默认ANSI:
s = "中文"
print s

测试一下瞧瞧:
E:\Project\Python\Test>python ChineseTest.py
File "ChineseTest.py", line 1
SyntaxError: Non-ASCII character '\xd6' in file ChineseTest.py on line 1, but no encoding declared; see http://www.python.org/peps/pep-0263.html for details

偷偷地把文件编码改成UTF-8:
E:\Project\Python\Test>python ChineseTest.py
File "ChineseTest.py", line 1
SyntaxError: Non-ASCII character '\xe4' in file ChineseTest.py on line 1, but no encoding declared; see http://www.python.org/peps/pep-0263.html for details

无济于事。。。
既然它提供了网址,那就看看吧。简单地浏览一下,终于知道如果文件里有非ASCII字符,需要在第一行或第二行指定编码声明。把ChineseTest.py文件的编码重新改为ANSI,并加上编码声明:
# coding=gbk
s = "中文"
print s

再试一下:
E:\Project\Python\Test>python ChineseTest.py
中文

正常咯:)
(二)
看一看它的长度:
# coding=gbk
s = "中文"
print len(s)
结果:4。
s这里是str类型,所以计算的时候一个中文相当于两个英文字符,因此长度为4。
我们这样写:
# coding=gbk
s = "中文"
s1 = u"中文"
s2 = unicode(s, "gbk") #省略参数将用python默认的ASCII来解码
s3 = s.decode("gbk") #把str转换成unicode是decode,unicode函数作用与之相同
print len(s1)
print len(s2)
print len(s3)
结果:
2
2

(三)
接着来看看文件的处理:
建立一个文件test.txt,文件格式用ANSI,内容为:
abc中文
用python来读取
# coding=gbk
print open("Test.txt").read()
结果:abc中文
把文件格式改成UTF-8:
结果:abc涓???
显然,这里需要解码:
# coding=gbk
import codecs
print open("Test.txt").read().decode("utf-8")
结果:abc中文
上面的test.txt我是用Editplus来编辑的,但当我用Windows自带的记事本编辑并存成UTF-8格式时,
运行时报错:
Traceback (most recent call last):
File "ChineseTest.py", line 3, in <module>
print open("Test.txt").read().decode("utf-8")
UnicodeEncodeError: 'gbk' codec can't encode character u'\ufeff' in position 0: illegal multibyte sequence

原来,某些软件,如notepad,在保存一个以UTF-8编码的文件时,会在文件开始的地方插入三个不可见的字符(0xEF 0xBB 0xBF,即BOM)。
因此我们在读取时需要自己去掉这些字符,python中的codecs module定义了这个常量:
# coding=gbk
import codecs
data = open("Test.txt").read()
if data[:3] == codecs.BOM_UTF8:
data = data[3:]
print data.decode("utf-8")
结果:abc中文

(四)一点遗留问题
在第二部分中,我们用unicode函数和decode方法把str转换成unicode。为什么这两个函数的参数用"gbk"呢?
第一反应是我们的编码声明里用了gbk(# coding=gbk),但真是这样?
修改一下源文件:
# coding=utf-8
s = "中文"
print unicode(s, "utf-8")
运行,报错:
Traceback (most recent call last):
File "ChineseTest.py", line 3, in <module>
s = unicode(s, "utf-8")
UnicodeDecodeError: 'utf8' codec can't decode bytes in position 0-1: invalid data
显然,如果前面正常是因为两边都使用了gbk,那么这里我保持了两边utf-8一致,也应该正常,不至于报错。
更进一步的例子,如果我们这里转换仍然用gbk:
# coding=utf-8
s = "中文"
print unicode(s, "gbk")
结果:中文
翻阅了一篇英文资料,它大致讲解了python中的print原理:
When Python executes a print statement, it simply passes the output to the operating system (using fwrite() or something like it), and some other program is responsible for actually displaying that output on the screen. For example, on Windows, it might be the Windows console subsystem that displays the result. Or if you're using Windows and running Python on a Unix box somewhere else, your Windows SSH client is actually responsible for displaying the data. If you are running Python in an xterm on Unix, then xterm and your X server handle the display. <>

To print data reliably, you must know the encoding that this display program expects.

简单地说,python中的print直接把字符串传递给操作系统,所以你需要把str解码成与操作系统一致的格式。Windows使用CP936(几乎与gbk相同),所以这里可以使用gbk。
最后测试:
# coding=utf-8
s = "中文"
print unicode(s, "cp936")
结果:中文

Python 相关文章推荐
Python异常学习笔记
Feb 03 Python
以windows service方式运行Python程序的方法
Jun 03 Python
Python判断字符串与大小写转换
Jun 08 Python
python连接mysql实例分享
Oct 09 Python
Python中collections模块的基本使用教程
Dec 07 Python
Python实现定时执行任务的三种方式简单示例
Mar 30 Python
python写程序统计词频的方法
Jul 29 Python
详解PyTorch中Tensor的高阶操作
Aug 18 Python
Python获取统计自己的qq群成员信息的方法
Nov 15 Python
使用OpenCV circle函数图像上画圆的示例代码
Dec 27 Python
在Windows上安装和配置 Jupyter Lab 作为桌面级应用程序教程
Apr 22 Python
python 使用openpyxl读取excel数据
Feb 18 Python
python实现的防DDoS脚本
Feb 08 #Python
Python牛刀小试密码爆破
Feb 03 #Python
初学python数组的处理代码
Jan 04 #Python
让python json encode datetime类型
Dec 28 #Python
让python的Cookie.py模块支持冒号做key的方法
Dec 28 #Python
python封装对象实现时间效果
Apr 23 #Python
python下函数参数的传递(参数带星号的说明)
Sep 19 #Python
You might like
如何判断php数组的维度
2013/06/10 PHP
PHP闭包实例解析
2014/09/08 PHP
php计算给定时间之前的函数用法实例
2015/04/03 PHP
Symfony控制层深入详解
2016/03/17 PHP
一些易混淆且不常用的属性,希望有用
2007/01/29 Javascript
JavaScript 类似flash效果的立体图片浏览器
2010/02/08 Javascript
浏览器加载、渲染和解析过程黑箱简析
2012/11/29 Javascript
Ext JS 4实现带week(星期)的日期选择控件(实战二)
2013/08/21 Javascript
给js文件传参数(详解)
2014/07/13 Javascript
javascript强制点击广告的方法
2015/02/06 Javascript
javascript中的previousSibling和nextSibling的正确用法
2015/09/16 Javascript
jquery实现删除一个元素后面的所有元素功能
2015/12/21 Javascript
bootstrap模态框消失问题的解决方法
2016/12/02 Javascript
JavaScript日期对象(Date)基本用法示例
2017/01/18 Javascript
js实现文字跑马灯效果
2017/02/23 Javascript
微信小程序实现移动端滑动分页效果(ajax)
2017/06/13 Javascript
vue中将网页打印成pdf实例代码
2017/06/15 Javascript
薪资那么高的Web前端必看书单
2017/10/13 Javascript
微信小程序之onLaunch与onload异步问题详解
2019/03/28 Javascript
JQuery常见节点操作实例分析
2019/05/15 jQuery
Vue中img的src是动态渲染时不显示的解决
2019/11/14 Javascript
解决antd 表单设置默认值initialValue后验证失效的问题
2020/11/02 Javascript
[02:04]2018DOTA2亚洲邀请赛Secret赛前采访
2018/04/03 DOTA
Python模块搜索概念介绍及模块安装方法介绍
2015/06/03 Python
python根据日期返回星期几的方法
2015/07/06 Python
Python如何生成树形图案
2018/01/03 Python
Zookeeper接口kazoo实例解析
2018/01/22 Python
CentOS下Python3的安装及创建虚拟环境的方法
2018/11/28 Python
python实现给scatter设置颜色渐变条colorbar的方法
2018/12/13 Python
通过python实现弹窗广告拦截过程详解
2019/07/10 Python
python科学计算之numpy——ufunc函数用法
2019/11/25 Python
利用python3 的pygame模块实现塔防游戏
2019/12/30 Python
python 制作简单的音乐播放器
2020/11/25 Python
Melissa香港官网:MDreams
2016/07/01 全球购物
审计局2014法制宣传日活动总结
2014/11/01 职场文书
js 实现验证码输入框示例详解
2022/09/23 Javascript