Python编码爬坑指南(必看)


Posted in Python onJune 10, 2016

自己最近有在学习python,这实在是一门非常短小精悍的语言,很喜欢这种语言精悍背后又有强大函数库支撑的语言。可是刚接触不久就遇到了让人头疼的关于编码的问题,在网上查了很多资料现在在这里做一番总结,权当一个记录也为后来的兄弟姐妹们服务,如果可以让您少走一些弯路本人将倍感荣幸。

先来描述下现象吧:

import os
for i in os.listdir("E:\Torchlight II"):
  print i

代码很简单我们使用os的listdir函数遍历了E:\Torchlight II这个目录(Torchlight ?! :)),由于这个目录下有些文件是以中文命名的,所以在最后print结果时出现了乱码,像这样:

Python编码爬坑指南(必看)

那么问题出在哪儿呢? 别急,我们一点一点来分析它。

这里这里我们几乎能够肯定的知道问题是出在:

This means that the python console app can't write the given character to the console's encoding.
More specifically, the python console app created a _io.TextIOWrapperd instance with an encoding that cannot represent the given character.
sys.stdout --> _io.TextIOWrapperd --> (your console)

看到这里不知你是否与我想的一样,能不能去设置console的编码,将其设置为能够理解中文字符的编码不就可以正常的显示出中文了吗?等等,让我们在多Google一会儿,

Python determines the encoding of stdout and stderr based on the value of the LC_CTYPE variable, but only if the stdout is a tty. So if I just output to the terminal, LC_CTYPE (or LC_ALL) define the encoding. However, when the output is piped to a file or to a different process, the encoding is not defined, and defaults to 7-bit ASCII.

更详细的说明如下:

1). When Python finds its output attached to a terminal, it sets the sys.stdout.encoding attribute to the terminal's encoding. The print statement's handler will automatically encode unicode arguments into str output.
2). When Python does not detect the desired character set of the output, it sets sys.stdout.encoding to None, and print will invoke the "ascii" codec.

嚯嚯,看来刚才的想法是可行的只是不太优雅罢了,因为我们得去修改系统的设置。事实上上面的论述是基于linux环境的,在linux下可能需要我们去更改某个环境变量的值(LC_CTYPE or LANG);如果我们是在windows下面的话,console的编码设置是跟操作系统的区域设置相关的。比如在中文的win7环境下,console默认的编码就是GBK(cp936)。你可以试试下面的代码:

import locale
print locale.getdefaultlocale()[1]

console的编码不好设置了那能否对stdout.out.encoding进行设置以达到我们的目的呢?很遗憾,答案是否定的,这家伙压根就是只读的:

Python编码爬坑指南(必看)

没有办法了么?不会,其实我们离成功已经很近了,来,根据上面检索到的那些资料分析整理下看看我们现在掌握到的情况都有哪些:

 

1). console不能正常显示中文,console的编码是由操作系统决定的(windows环境下);
 2). 我的操作系统是win7中文版(GBK),enc = locale.getdefaultlocale()[1];
 3). console的编码决定了sys.stdout.encoding的取值,sys.stdout.encoding = utf-8;
 4). 从操作系统枚举目录(E:\Torchlight II)列表返回的字符串也是GBK编码

 是不是已经看出问题来了。最上面截图中那么奇奇怪怪的问号尖角符号就是因为字符串本身是按照gbk进行编码的,但是由于sys.stdout.encoding = utf-8,导致print会按照utf-8对input的数据进行encode从而转换为unicode字符。这,当然错误了。原因已经清楚了,来改改代码吧:

import os
for i in os.listdir("E:\Torchlight II"):
  print i.decode('gbk')

在代码中我们手动告诉了python对读入的字符串按章gbk编码来进行解码,而这一个动作之后数据已经是标准的unicode字符了,可以放心的交给print去打印输出了(即使这会儿sys.stdout.encoding = utf-8):

Python编码爬坑指南(必看)

 ps:

实际在google中还查到过很多相关的类似编码的问题,比如这里的,还有这里的。虽然问题的样子千变万化并且解决方式多种多样甚至是python自己的特定解决方式,比如这里。但这些问题本质都是一样的都是关于字符的编码和解码,搞清楚了其中的本质所有问题都能够迎刃而解。

以上这篇Python编码爬坑指南(必看)就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
解决谷歌搜索技术文章时打不开网页问题的python脚本
Feb 10 Python
Python中使用ConfigParser解析ini配置文件实例
Aug 30 Python
python base64 decode incorrect padding错误解决方法
Jan 08 Python
Python程序中的观察者模式结构编写示例
May 27 Python
python实现读取并显示图片的两种方法
Jan 13 Python
Python selenium抓取微博内容的示例代码
May 17 Python
Flask框架配置与调试操作示例
Jul 23 Python
Python3.5文件读与写操作经典实例详解
May 01 Python
Python yield生成器和return对比代码实例
Apr 20 Python
python如何更新包
Jun 11 Python
python和php哪个更适合写爬虫
Jun 22 Python
Python pip install之SSL异常处理操作
Sep 03 Python
浅析Python中的for 循环
Jun 09 #Python
Python多层嵌套list的递归处理方法(推荐)
Jun 08 #Python
Python-嵌套列表list的全面解析
Jun 08 #Python
PYTHON压平嵌套列表的简单实现
Jun 08 #Python
Python用Bottle轻量级框架进行Web开发
Jun 08 #Python
浅谈Python数据类型之间的转换
Jun 08 #Python
浅谈python 四种数值类型(int,long,float,complex)
Jun 08 #Python
You might like
php关于array_multisort多维数组排序的使用说明
2011/01/04 PHP
php使用curl并发减少后端访问时间的方法分析
2016/05/12 PHP
基于jQuery的一个扩展form序列化到json对象
2010/12/09 Javascript
模拟jQuery中的ready方法及实现按需加载css,js实例代码
2013/09/27 Javascript
比较不错的JS/JQuery显示或隐藏文本的方法
2014/02/13 Javascript
Node.js node-schedule定时任务隔多少分钟执行一次的方法
2015/02/10 Javascript
JavaScript实现Flash炫光波动特效
2015/05/14 Javascript
把Node.js程序加入服务实现随机启动
2015/06/25 Javascript
JS使用正则表达式过滤多个词语并替换为相同长度星号的方法
2016/08/03 Javascript
很酷的星级评分系统原生JS实现
2016/08/25 Javascript
基于jQuery实现歌词滚动版音乐播放器的代码
2016/09/17 Javascript
javascript创建对象的3种方法
2016/11/02 Javascript
BootStrap中
2016/12/10 Javascript
微信小程序之MaterialDesign--input组件详解
2017/02/15 Javascript
Angular 2父子组件数据传递之@Input和@Output详解(下)
2017/07/05 Javascript
layui实现二维码弹窗、并下载到本地的方法
2019/09/25 Javascript
[56:41]2018DOTA2亚洲邀请赛 3.31 小组赛 A组 Newbee vs OG
2018/04/01 DOTA
跟老齐学Python之编写类之三子类
2014/10/11 Python
python中string模块各属性以及函数的用法介绍
2016/05/30 Python
cmd运行python文件时对结果进行保存的方法
2018/05/16 Python
Python多线程原理与用法实例剖析
2019/01/22 Python
pandas 使用均值填充缺失值列的小技巧分享
2019/07/04 Python
python SVD压缩图像的实现代码
2019/11/05 Python
python脚本监控logstash进程并邮件告警实例
2020/04/28 Python
Django 如何使用日期时间选择器规范用户的时间输入示例代码详解
2020/05/22 Python
使用Python实现微信拍一拍功能的思路代码
2020/07/09 Python
python中判断文件结束符的具体方法
2020/08/04 Python
html5 canvas-1.canvas介绍(hello canvas)
2013/01/07 HTML / CSS
一些Unix笔试题和面试题
2013/01/22 面试题
英文版区域经理求职信
2013/10/23 职场文书
机械专业应届生求职信
2013/12/12 职场文书
集团公司总经理岗位职责
2013/12/20 职场文书
宿舍使用违章电器检讨书
2014/01/12 职场文书
写给老师的感谢信
2015/01/20 职场文书
2015年维修工作总结
2015/04/25 职场文书
【海涛解说】暗牧也疯狂,牛蛙成配角
2022/04/01 DOTA