Python爬虫 urllib2的使用方法详解


Posted in Python onSeptember 23, 2019

所谓网页抓取,就是把URL地址中指定的网络资源从网络流中读取出来,保存到本地。在Python中有很多库可以用来抓取网页,我们先学习urllib2。

urllib2是Python2.x自带的模块(不需要下载,导入即可使用)

urllib2官网文档:https://docs.python.org/2/library/urllib2.html

urllib2源码

urllib2在python3.x中被改为urllib.request

urlopen

我们先来段代码:

#-*- coding:utf-8 -*-
#01.urllib2_urlopen.py
#导入urllib2库
import urllib2
#向指定的url发送请求,并返回服务器的类文件对象
response = urllib2.urlopen("http://www.baidu.com")
#类文件对象支持文件对象的操作方法,如read()方法读取文件
html = response.read()
#打印字符串
print(html)

执行写好的python代码,将打印结果:

python2 01.urllib2_urlopen.py

实际上,如果我们在浏览器打上百度主页,右键选择"查看源代码",你会发现,跟我们刚才打印出来的是一模一样的。也就是说,上面的4行代码就已经帮我们把百度的首页的全部代码爬了下来。
一个基本的url请求对应的python代码真的非常简单。

Request

查看官方文档url的用法如下:

urllib2.urlopen(url[, data[, timeout[, cafile[, capath[, cadefault[, context]]]]])
Open the URL url, which can be either a string or a Request object.

在我们第一个例子里,urlopen()的参数就是一个url地址;

但是如果需要执行更复杂的操作,比如增加http报头,则必须创建一个Request实例来作为urlopen()的参数;而需要访问的url地址则作为Request实例的参数。

#-*- coding:utf-8 -*-
#02.urllib2_request.py

import urllib2

#url作为Request()方法的参数,构造并返回一个Request对象
request = urllib2.Request("http://www.baidu.com")

#Request对象作为一个urlopen()方法的参数,发送给服务器并接收响应
response = urllib2.urlopen(request)

html = response.read()

print(html)

运行结果是完全一样的:

新建Request实例,除了必须要有url参数之外,还可以设置另外两个参数:

data(默认空):是伴随url提交的数据(比如要post的数据),同时HTTP请求将从"GET"方式改为"POST"方式。
headers(默认空):是一个字典,包含了需要发送的HTTP报头的键值对。
这两个参数下面会说到。

User-Agent

但是这样直接用urllib2给一个网站发送请求的话,确实略有些唐突了,就好比,人家每家都有门,你以一个路人的身份直接闯进去显然不是很礼貌。而且有一些站点不喜欢被程序(非人为访问)访问,有可能会拒绝你的访问请求。

但是如果我们用一个合法的身份去请求别人网站,显然人家就是欢迎的,所以我们就应该给我们的这个代码加上一个身份,就是所谓的User-Agent头。

浏览器就是互联网世界公认被允许的身份,如果我们希望我们的爬虫程序更像一个真实用户,那我们第一步,就是需要伪装成一个被公认的浏览器。用不同的浏览器在发送请求的时候,会有不同的User-Agent头。urllib2默认的User-Agent头为:Python-urllib/x.y(x和y是Python主版本和次版本号,例如Python-urllib/2.7)

#-*- coding:utf-8 -*-
#03.urllib2_useragent.py

import urllib2

url = "http://www.itcast.cn"

#IE 9.0的User-Agent,包含ua-header里
ua_header = {"User-Agent":"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;"}

# url连同headers,一起构造Request请求,这个请求将附带IE9.0浏览器的User-Agent
request = urllib2.Request(url, headers = ua_header)

#向服务器发送这个请求
response = urllib2.urlopen(request)

html = response.read()

print(html)

添加更多的Header信息

在HTTP Request中加入特定的Header,来构造一个完整的HTTP请求。

可以通过调用Request.add_header()添加/修改一个特定的header也可以通过调用Request.get_header()来查看已有的header。

添加一个特定的header

#-*- coding:utf-8 -*-
#04.urllib2_headers.py

import urllib2

url = "http://www.itcast.cn"

#IE 9.0的User-Agent
header = {"User-Agent":"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;"}
request =urllib2.Request(url, headers = header)

#也可以通过调用Request.add_header()添加/修改一个特定的header
request.add_header("Connection","keep-alive")

#也可以通过调用Request.get_header()来查看header信息
request.get_header(header_name = "Connection")

response = urllib2.urlopen(request)
print(response.code)  #可以查看响应状态码

html = response.read()
print(html)

  随机添加/修改User-Agent

#-*- coding:utf-8 -*-
#05.urllib2_add_headers.py

import urllib2
import random

url = "http://www.itcast.cn"

ua_list = [
  "Mozilla/5.0 (Windows NT 6.1; ) Apple.... ",
  "Mozilla/5.0 (X11; CrOS i686 2268.111.0)... ",
  "Mozilla/5.0 (Macintosh; U; PPC Mac OS X.... ",
  "Mozilla/5.0 (Macintosh; Intel Mac OS... "
]

user_agent = random.choice(ua_list)

request = urllib2.Request(url)

#也可以通过调用Request.add_header()添加/修改一个特定的header
request.add_header("User-Agent", user_agent)

#第一个字母大写,后面的全部小写
request.add_header("User-agent")

response = urllib2.urlopen(req)

html = response.read()

print(html)

注意

The urllib2 module has been split across several modules in Python 3 named urllib.request and urllib.error

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python实现简单的TCP代理服务器
Oct 08 Python
Python实现的使用telnet登陆聊天室实例
Jun 17 Python
Python自动化运维之IP地址处理模块详解
Dec 10 Python
Python实现KNN邻近算法
Jan 28 Python
Python数据分析之获取双色球历史信息的方法示例
Feb 03 Python
Python把csv数据写入list和字典类型的变量脚本方法
Jun 15 Python
用python实现将数组元素按从小到大的顺序排列方法
Jul 02 Python
python画折线图的程序
Jul 26 Python
Python中print和return的作用及区别解析
May 05 Python
详解将Python程序(.py)转换为Windows可执行文件(.exe)
Jul 19 Python
python使用paramiko模块通过ssh2协议对交换机进行配置的方法
Jul 25 Python
python单向循环链表原理与实现方法示例
Dec 03 Python
Python 正则表达式爬虫使用案例解析
Sep 23 #Python
python处理document文档保留原样式
Sep 23 #Python
python 进程间数据共享multiProcess.Manger实现解析
Sep 23 #Python
python程序 线程队列queue使用方法解析
Sep 23 #Python
python程序 创建多线程过程详解
Sep 23 #Python
详解python播放音频的三种方法
Sep 23 #Python
Python进程间通信 multiProcessing Queue队列实现详解
Sep 23 #Python
You might like
PHPMailer邮件发送的实现代码
2013/05/04 PHP
golang与PHP输出excel示例
2016/07/22 PHP
PhpStorm terminal无法输入命令的解决方法
2016/10/09 PHP
JS中confirm,alert,prompt函数区别分析
2011/01/17 Javascript
用JS判断IE版本的代码 超管用!
2011/08/09 Javascript
JS随机漂浮广告代码具体实例
2013/11/19 Javascript
Javascript Objects详解
2014/09/04 Javascript
ECMA5数组的新增方法有哪些及forEach()模仿实现
2015/11/03 Javascript
jQuery获取及设置表单input各种类型值的方法小结
2016/05/24 Javascript
JavaScript中的操作符类型转换示例总结
2016/05/30 Javascript
node网页分段渲染详解
2016/09/05 Javascript
jQuery中layer分页器的使用
2017/03/13 Javascript
Vue框架中正确引入JS库的方法介绍
2017/07/30 Javascript
vue router下的html5 history在iis服务器上的设置方法
2017/10/18 Javascript
利用Node.js如何实现文件循环覆写
2019/04/05 Javascript
vue 如何从单页应用改造成多页应用
2020/10/23 Javascript
解决vue打包报错Unexpected token: punc的问题
2020/10/24 Javascript
进一步理解Python中的函数编程
2015/04/13 Python
如何使用七牛Python SDK写一个同步脚本及使用教程
2015/08/23 Python
举例讲解Python面向对象编程中类的继承
2016/06/17 Python
Python入门必须知道的11个知识点
2018/03/21 Python
PyTorch学习笔记之回归实战
2018/05/28 Python
Linux下安装python3.6和第三方库的教程详解
2018/11/09 Python
浅谈python requests 的put, post 请求参数的问题
2019/01/02 Python
python scatter散点图用循环分类法加图例
2019/03/19 Python
Python学习笔记之抓取某只基金历史净值数据实战案例
2019/06/03 Python
python自动发微信监控报警
2019/09/06 Python
Django框架实现在线考试系统的示例代码
2020/11/30 Python
美国眼镜在线零售商:Dualens
2019/12/07 全球购物
销售员岗位职责
2014/06/09 职场文书
2014年乡镇民政工作总结
2014/12/02 职场文书
党小组鉴定意见
2015/06/02 职场文书
2016大学生毕业实习心得体会
2016/01/23 职场文书
详解TS数字分隔符和更严格的类属性检查
2021/05/06 Javascript
在 HTML 页面中使用 React的场景分析
2022/01/18 Javascript
Win11电源已接通但未充电怎么办?Win11电源已接通未充电的解决方法
2022/04/05 数码科技