浅谈Python爬取网页的编码处理


Posted in Python onNovember 04, 2016

背景

中秋的时候,一个朋友给我发了一封邮件,说他在爬链家的时候,发现网页返回的代码都是乱码,让我帮他参谋参谋(中秋加班,真是敬业= =!),其实这个问题我很早就遇到过,之前在爬小说的时候稍微看了一下,不过没当回事,其实这个问题就是对编码的理解不到位导致的。

问题

很普通的一个爬虫代码,代码是这样的:

# ecoding=utf-8
import re
import requests
import sys
reload(sys)
sys.setdefaultencoding('utf8')

url = 'http://3water.com/ershoufang/rs%E6%8B%9B%E5%95%86%E6%9E%9C%E5%B2%AD/'
res = requests.get(url)
print res.text

目的其实很简单,就是爬一下链家的内容,但是这样执行之后,返回的结果,所有涉及到中文的内容,全部会变成乱码,比如这样

浅谈Python爬取网页的编码处理

<script type="text/template" id="newAddHouseTpl">
 <div class="newAddHouse">
  自从您上次浏览(<%=time%>)之后,该搜索条件下æ?°å¢žåŠ 了<%=count%>套房源
  <a href="<%=url%>" class="LOGNEWERSHOUFANGSHOW" <%=logText%>><%=linkText%></a>
  <span class="newHouseRightClose">x</span>
 </div>
</script>

这样的数据拿来可以说毫无作用。

问题分析

这里的问题很明显了,就是文字的编码不正确,导致了乱码。

查看网页的编码

从爬取的目标网页的头来看,网页是用utf-8来编码的。

<meta http-equiv="Content-Type" content="text/html; charset=utf-8">

所以,最终的编码,我们肯定也要用utf-8来处理,也就是说,最终的文本处理,要用utf-8来解码,也就是:decode('utf-8')

文本的编码解码

Python的编码解码的过程是这样的,源文件 ===》 encode(编码方式) ===》decode(解码方式),在很大的程度上,不推荐使用

import sys
reload(sys)
sys.setdefaultencoding('utf8')

这种方式来硬处理文字编码。不过在某些时候不影响的情况下,偷偷懒也不是什么大问题,不过比较建议的就是获取源文件之后,使用encode和decode的方式来处理文本。

回到问题

现在问题最大的是源文件的编码方式,我们正常使用requests的时候,它会自动猜源文件的编码方式,然后转码成Unicode的编码,但是,毕竟是程序,是有可能猜错的,所以如果猜错了,我们就需要手工来指定编码方式。官方文档的描述如下:

When you make a request, Requests makes educated guesses about the encoding of the response based on the HTTP headers. The text encoding guessed by Requests is used when you access r.text. You can find out what encoding Requests is using, and change it, using the r.encoding property.

所以我们需要查看requests返回的编码方式到底是什么?

# ecoding=utf-8
import re
import requests
from bs4 import BeautifulSoup
import sys
reload(sys)
sys.setdefaultencoding('utf8')

url = 'http://3water.com/ershoufang/rs%E6%8B%9B%E5%95%86%E6%9E%9C%E5%B2%AD/'

res = requests.get(url)
print res.encoding

打印的结果如下:

ISO-8859-1

也就是说,源文件使用的是ISO-8859-1来编码。百度一下ISO-8859-1,结果如下:

ISO8859-1,通常叫做Latin-1。Latin-1包括了书写所有西方欧洲语言不可缺少的附加字符。

问题解决

发现了这个东东,问题就很好解决了,只要指定一下编码,就能正确的打出中文了。代码如下:

# ecoding=utf-8
import requests
import sys
reload(sys)
sys.setdefaultencoding('utf8')

url = 'http://3water.com/ershoufang/rs%E6%8B%9B%E5%95%86%E6%9E%9C%E5%B2%AD/'

res = requests.get(url)
res.encoding = ('utf8')

print res.text

打印的结果就很明显,中文都正确的显示出来了。

浅谈Python爬取网页的编码处理

另一种方式是在源文件上做解码和编码,代码如下:

# ecoding=utf-8
import requests
import sys
reload(sys)
sys.setdefaultencoding('utf8')

url = 'http://3water.com/ershoufang/rs%E6%8B%9B%E5%95%86%E6%9E%9C%E5%B2%AD/'

res = requests.get(url)
# res.encoding = ('utf8')

print res.text.encode('ISO-8859-1').decode('utf-8')

另:ISO-8859-1也叫做latin1,使用latin1做解码结果也是正常的。

关于字符的编码,很多东西可以说,想了解的朋友可以参考以下大神的资料。

•《The Absolute Minimum Every Software Developer Absolutely, Positively Must Know About Unicode and Character Sets (No Excuses!)》

以上这篇浅谈Python爬取网页的编码处理就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python多线程http下载实现示例
Dec 30 Python
详解Python中内置的NotImplemented类型的用法
Mar 31 Python
python之从文件读取数据到list的实例讲解
Apr 19 Python
用Python将mysql数据导出成json的方法
Aug 21 Python
在pycharm中python切换解释器失败的解决方法
Oct 29 Python
基于Python对数据shape的常见操作详解
Dec 25 Python
解决pyinstaller打包pyqt5的问题
Jan 08 Python
PyQt QListWidget修改列表项item的行高方法
Jun 20 Python
python读取tif图片时保留其16bit的编码格式实例
Jan 13 Python
Django中FilePathField字段的用法
May 21 Python
在Python中字典按值排序的实现方法
Nov 12 Python
python文本处理的方案(结巴分词并去除符号)
May 26 Python
Django接受前端数据的几种方法总结
Nov 04 #Python
Python多维/嵌套字典数据无限遍历的实现
Nov 04 #Python
浅谈Python数据类型判断及列表脚本操作
Nov 04 #Python
浅谈python字典多键值及重复键值的使用
Nov 04 #Python
用Python将动态GIF图片倒放播放的方法
Nov 02 #Python
各种Python库安装包下载地址与安装过程详细介绍(Windows版)
Nov 02 #Python
Python实现简单的四则运算计算器
Nov 02 #Python
You might like
透析PHP的配置文件php.ini
2006/10/09 PHP
php下的权限算法的实现
2007/04/28 PHP
php和数据库结合的一个简单的web实例 代码分析 (php初学者)
2011/07/28 PHP
php 中文字符串首字母的获取函数分享
2013/11/04 PHP
PHP中静态变量的使用方法实例分析
2016/12/01 PHP
php 从一个数组中随机的取出若干个不同的数实例
2016/12/31 PHP
PHP实现cookie跨域session共享的方法分析
2019/08/23 PHP
基于laravel Request的所有方法详解
2019/09/29 PHP
网页上的Javascript编辑器和代码格式化
2010/04/25 Javascript
Jquery通过Ajax方式来提交Form表单的具体实现
2013/11/07 Javascript
javascript打印html内容功能的方法示例
2013/11/28 Javascript
javascript生成json数据简单示例分享
2014/02/14 Javascript
运用jQuery定时器的原理实现banner图片切换
2014/10/22 Javascript
Eclipse引入jquery报错如何解决
2015/12/01 Javascript
JS获取多维数组中相同键的值实现方法示例
2017/01/06 Javascript
JS轮播图中缓动函数的封装
2020/11/25 Javascript
详谈js遍历集合(Array,Map,Set)
2017/04/06 Javascript
vue-resource请求实现http登录拦截或者路由拦截的方法
2018/07/11 Javascript
angularJs select绑定的model取不到值的解决方法
2018/10/08 Javascript
详解angularjs跨页面传参遇到的一些问题
2018/11/01 Javascript
layui表格数据重载
2019/07/27 Javascript
详解vue中v-bind:style效果的自定义指令
2020/01/21 Javascript
对于Python异常处理慎用“except:pass”建议
2015/04/02 Python
Python EOL while scanning string literal问题解决方法
2020/09/18 Python
Python中常用的高阶函数实例详解
2020/02/21 Python
Python 找出出现次数超过数组长度一半的元素实例
2020/05/11 Python
python怎么调用自己的函数
2020/07/01 Python
解决python打开https出现certificate verify failed的问题
2020/09/03 Python
Python读写锁实现实现代码解析
2020/11/28 Python
Melissa鞋英国官方网站:Nonnon
2019/05/01 全球购物
女大学生毕业找工作的自我评价
2013/10/03 职场文书
皮肤科医师岗位职责
2013/12/04 职场文书
2014年大学生职业规划书:未来不是梦,只要勇敢冲!
2014/09/22 职场文书
2014年旅游局法制宣传日活动总结
2014/11/01 职场文书
同意报考证明
2015/06/17 职场文书
golang 实现Location跳转方式
2021/05/02 Golang