首页
所有分类
TAGS
文字工具 EMOJI BIBLE
编程 Python

Python爬虫中urllib库的进阶学习

Posted in Python onJanuary 05, 2018

urllib的基本用法

urllib库的基本组成

利用最简单的urlopen方法爬取网页html

利用Request方法构建headers模拟浏览器操作

error的异常操作

urllib库除了以上基础的用法外，还有很多高级的功能，可以更加灵活的适用在爬虫应用中，比如：

使用HTTP的POST请求方法向服务器提交数据实现用户登录

使用代理IP解决防止反爬

设置超时提高爬虫效率

解析URL的方法

本次将会对这些内容进行详细的分析和讲解。

POST请求

POST是HTTP协议的请求方法之一，也是比较常用到的一种方法，用于向服务器提交数据。博主先介绍进行post请求的一些准备工作，然后举一个例子，对其使用以及更深层概念进行详细的的剖析。

POST请求的准备工作

既然要提交信息给服务器，我们就需要知道信息往哪填，填什么，填写格式是什么？带这些问题，我们往下看。

同样提交用户登录信息（用户名和密码），不同网站可能需要的东西不一样，比如淘宝反爬机制较复杂，会有其它一大串的额外信息。这里，我们以豆瓣为例（相对简单），目标是弄清楚POST是如何使用的，复杂内容会在后续实战部分与大家继续分享。

抛出上面像淘宝一样需要的复杂信息，如果仅考虑用户名和密码的话，我们的准备工作其实就是要弄明白用户名和密码标签的属性name是什么，以下两种方法可以实现。

浏览器F12查看element获取

也可以通过抓包工具Fiddler获取。

废话不多说了，让我们看看到底如何找到name？

1. 浏览器F12

通过浏览器F12元素逐层查看到（我是用的Chrome），邮箱/手机号标签的name="form_email", 密码的标签name="form_email"，如下图红框所示。

Python爬虫中urllib库的进阶学习

但要说明的是，两个标签的name名称并不是固定的，上面查看的name名称只是豆瓣网站定义的，不代表所有。其它的网站可能有会有不同的名称，比如name="username", name="password"之类的。因此，针对不同网站的登录，需要每次查看name是什么。

2. 通过fiddler抓包工具

Python爬虫中urllib库的进阶学习

博主推荐使用fiddler工具，非常好用。爬虫本身就是模拟浏览器工作，我们只需要知道浏览器是怎么工作的就可以了。

fiddler会帮助我们抓取浏览器POST请求的所有内容，这样我们得到了浏览器POST的信息，把它填到爬虫程序里模拟浏览器操作就OK了。另外，也可以通过fiddler抓到浏览器请求的headers，非常方便。

安装fiddler的小伙伴们注意：fiddler证书问题的坑（无法抓取HTTPs包），可以通过Tools —> Options —>HTTPS里面打勾Decrypt HTTPS traffic修改证书来解决。否则会一直显示抓取 Tunnel 信息包...

好了，完成了准备工作，我们直接上一段代码理解下。

POST请求的使用

# coding: utf-8
import urllib.request
import urllib.error
import urllib.parse

# headers 信息，从fiddler上或你的浏览器上可复制下来
headers = {'Accept': 'text/html,application/xhtml+xml,
    application/xml;q=0.9,image/webp,image/apng,
    */*;q=0.8',
    'Accept-Language': 'zh-CN,zh;q=0.9',
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; 
           Win64; x64) AppleWebKit/537.36 
           (KHTML, like Gecko)Chrome/48.0
           .2564.48 Safari/537.36'
    }
# POST请求的信息，填写你的用户名和密码
value = {'source': 'index_nav',
   'form_password': 'your password',
   'form_email': 'your username'
   }
try:
data = urllib.parse.urlencode(value).encode('utf8')
response = urllib.request.Request(
'https://www.douban.com/', data=data, headers=headers)
html = urllib.request.urlopen(response)
result = html.read().decode('utf8')
print(result)
except urllib.error.URLError as e:
if hasattr(e, 'reason'):
  print('错误原因是' + str(e.reason))
except urllib.error.HTTPError as e:
if hasattr(e, 'code'):
  print('错误编码是' + str(e.code))
else:
print('请求成功通过。')

运行结果：

<!DOCTYPE HTML>
<html lang="zh-cmn-Hans" class="ua-windows ua-webkit">
<head>
<meta charset="UTF-8">
<meta name="description" content="提供图书、电影、音乐唱片的
推荐、评论和价格比较，以及城市独特的文化生活。">
.....
window.attachEvent('onload', _ga_init);
}
</script>
</body>
</html>

注意：复制header的时候请去掉 这一项'Accept-Encoding':' gzip, deflate， 否则会提示decode的错误。

POST请求代码分析

我们来分析一下上面的代码，与urllib库request的使用基本一致，urllib库request的基本用法可参考上篇文章Python从零学爬虫，这里多出了post的data参数和一些解析的内容，着重讲解一下。

data = urllib.parse.urlencode(value).encode('utf8')

这句的意思是利用了urllib库的parse来对post内容解析，为什么要解析呢？

这是因为post内容需要进行一定的编码格式处理后才能发送，而编码的规则需要遵从RFC标准，百度了一下RFC定义，供大家参考：

Request ForComments（RFC），是一系列以编号排定的文件。文件收集了有关互联网相关信息，以及UNIX和互联网社区的软件文件。目前RFC文件是由InternetSociety（ISOC）赞助发行。基本的互联网通信协议都有在RFC文件内详细说明。RFC文件还额外加入许多的论题在标准内，例如对于互联网新开发的协议及发展中所有的记录。因此几乎所有的互联网标准都有收录在RFC文件之中。

而parse的urlencode方法是将一个字典或者有顺序的二元素元组转换成为URL的查询字符串（说白了就是按照RFC标准转换了一下格式）。然后再将转换好的字符串按UTF-8的编码转换成为二进制格式才能使用。

注：以上是在Python3.x环境下完成，Python3.x中编码解码规则为 byte—>string—>byte的模式，其中byte—>string为解码，string—>byte为编码

代理IP

代理IP的使用

为什么要使用代理IP？因为各种反爬机制会检测同一IP爬取网页的频率速度，如果速度过快，就会被认定为机器人封掉你的IP。但是速度过慢又会影响爬取的速度，因此，我们将使用代理IP取代我们自己的IP，这样不断更换新的IP地址就可以达到快速爬取网页而降低被检测为机器人的目的了。

同样利用urllib的request就可以完成代理IP的使用，但是与之前用到的urlopen不同，我们需要自己创建订制化的opener。什么意思呢？

urlopen就好像是opener的通用版本，当我们需要特殊功能（例如代理IP）的时候，urlopen满足不了我们的需求，我们就不得不自己定义并创建特殊的opener了。

request里面正好有处理各种功能的处理器方法，如下：

ProxyHandler, UnknownHandler, HTTPHandler,
HTTPDefaultErrorHandler, HTTPRedirectHandler,
FTPHandler, FileHandler, HTTPErrorProcessor, DataHandler

我们要用的是第一个ProxyHandler来处理代理问题。

让我们看一段代码如何使用。

# coding:utf-8
import urllib.request
import urllib.error
import urllib.parse
# headers信息，从fiddler上或浏览器上可复制下来
headers = {'Accept': 'text/html,application/xhtml+xml,
    application/xml;q=0.9,image/webp,image/apng,
    */*;q=0.8',
    'Accept-Language': 'zh-CN,zh;q=0.9',
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.3;
           Win64;
           x64) AppleWebKit/537.36 (KHTML, 
           like Gecko)Chrome/48.0.2564.48 
           Safari/537.36'
    }
# POST请求的信息
value = {'source': 'index_nav',
   'form_password': 'your password',
   'form_email': 'your username'
   }
# 代理IP信息为字典格式，key为'http'，value为'代理ip：端口号'
proxy = {'http': '115.193.101.21:61234'}
try:
data = urllib.parse.urlencode(value).encode('utf8')
response = urllib.request.Request(
'https://www.douban.com/', data=data, headers=headers)
# 使用ProxyHandler方法生成处理器对象
proxy_handler = urllib.request.ProxyHandler(proxy)
# 创建代理IP的opener实例
opener = urllib.request.build_opener(proxy_handler)
# 将设置好的post信息和headers的response作为参数
html = opener.open(response)
result = html.read().decode('utf8')
print(result)
except urllib.error.URLError as e:
if hasattr(e, 'reason'):
  print('错误原因是' + str(e.reason))
except urllib.error.HTTPError as e:
if hasattr(e, 'code'):
  print('错误编码是' + str(e.code))
else:
print('请求成功通过。')

在上面post请求代码的基础上，用自己创建的opener替换urlopen即可完成代理IP的操作，代理ip可以到一些免费的代理IP网站上查找。

以上就是我们整理的全部内容，感谢你对三水点靠木的支持。

Python爬虫中urllib库的进阶学习

- Author -

laozhang

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐
wxpython 学习笔记 第一天
Mar 16 Python
Python实现从订阅源下载图片的方法
Mar 11 Python
python中sys.argv参数用法实例分析
May 20 Python
python判断字符串编码的简单实现方法(使用chardet)
Jul 01 Python
通过5个知识点轻松搞定Python的作用域
Sep 09 Python
python socket网络编程之粘包问题详解
Apr 28 Python
Python 统计字数的思路详解
May 08 Python
pycharm配置pyqt5-tools开发环境的方法步骤
Feb 11 Python
python的range和linspace使用详解
Nov 27 Python
Django {{ MEDIA_URL }}无法显示图片的解决方式
Apr 07 Python
如何查看python关键字
Jan 17 Python
使用Selenium实现微博爬虫(预登录、展开全文、翻页)
Apr 13 Python
浅谈django model postgres的json字段编码问题
Jan 05 #Python
django admin添加数据自动记录user到表中的实现方法
Jan 05 #Python
Python3 queue队列模块详细介绍
Jan 05 #Python
python多进程中的内存复制(实例讲解)
Jan 05 #Python
使用python和Django完成博客数据库的迁移方法
Jan 05 #Python
Python3多线程爬虫实例讲解代码
Jan 05 #Python
python编写微信远程控制电脑的程序
Jan 05 #Python
伪静态(1) 跨域(4) URL重定向(3) 443(1) lnmp(1) SSL(3) lamp(1) Centos(8) Rewrite(4) 压力测试(1)
You might like
PHP字符过滤函数去除字符串最后一个逗号(rtrim)
2013/03/26 PHP
解析php中heredoc的使用方法
2013/06/17 PHP
php下载excel无法打开的解决方法
2013/12/24 PHP
再Docker中架设完整的WordPress站点全攻略
2015/07/29 PHP
php实现数组纵向转横向并过滤重复值的方法分析
2017/05/29 PHP
PHP反射实际应用示例
2019/04/03 PHP
自己的js工具 Event封装
2009/08/21 Javascript
让网页跳转到指定位置的jquery代码非书签
2013/09/06 Javascript
提取字符串中年月日的函数代码
2013/11/05 Javascript
NodeJS的url截取模块url-extract的使用实例
2013/11/18 NodeJs
深入理解jQuery中live与bind方法的区别
2013/12/18 Javascript
新增加的内容是如何将div的scrollbar自动移动最下面
2014/01/02 Javascript
jQuery实现切换页面过渡动画效果
2015/10/29 Javascript
原生js实现图片轮播特效
2015/12/18 Javascript
js学习总结_选项卡封装(实例讲解)
2017/07/13 Javascript
Bootstrap实现翻页效果
2017/11/27 Javascript
js判断文件类型大小并给出提示的实现方法
2018/01/03 Javascript
学习JS中的DOM节点以及操作
2018/04/30 Javascript
JS实现根据指定值删除数组中的元素操作示例
2018/08/02 Javascript
Vue源码分析之Vue实例初始化详解
2019/08/25 Javascript
解决layer.open后laydate失效的问题
2019/09/06 Javascript
JavaScript 常见的继承方式汇总
2020/09/17 Javascript
布同 Python中文问题解决方法（总结了多位前人经验，初学者必看）
2011/03/13 Python
在Python的Flask框架中使用日期和时间的教程
2015/04/21 Python
python 运用Django 开发后台接口的实例
2018/12/11 Python
解决python写入带有中文的字符到文件错误的问题
2019/01/31 Python
python-itchat 获取微信群用户信息的实例
2019/02/21 Python
python实现人工智能Ai抠图功能
2019/09/05 Python
python 项目目录结构设置
2020/02/14 Python
基于pandas向csv添加新的行和列
2020/05/25 Python
pycharm如何设置官方中文(如何汉化)
2020/12/29 Python
应届毕业生求职信范文
2013/12/18 职场文书
简历里的自我评价范文
2014/02/24 职场文书
励志演讲稿3分钟
2014/08/21 职场文书
入党宣誓仪式主持词
2015/06/29 职场文书
初中体育课教学反思
2016/02/16 职场文书