Python爬虫 urllib2的使用方法详解


Posted in Python onSeptember 23, 2019

所谓网页抓取,就是把URL地址中指定的网络资源从网络流中读取出来,保存到本地。在Python中有很多库可以用来抓取网页,我们先学习urllib2。

urllib2是Python2.x自带的模块(不需要下载,导入即可使用)

urllib2官网文档:https://docs.python.org/2/library/urllib2.html

urllib2源码

urllib2在python3.x中被改为urllib.request

urlopen

我们先来段代码:

#-*- coding:utf-8 -*-
#01.urllib2_urlopen.py
#导入urllib2库
import urllib2
#向指定的url发送请求,并返回服务器的类文件对象
response = urllib2.urlopen("http://www.baidu.com")
#类文件对象支持文件对象的操作方法,如read()方法读取文件
html = response.read()
#打印字符串
print(html)

执行写好的python代码,将打印结果:

python2 01.urllib2_urlopen.py

实际上,如果我们在浏览器打上百度主页,右键选择"查看源代码",你会发现,跟我们刚才打印出来的是一模一样的。也就是说,上面的4行代码就已经帮我们把百度的首页的全部代码爬了下来。
一个基本的url请求对应的python代码真的非常简单。

Request

查看官方文档url的用法如下:

urllib2.urlopen(url[, data[, timeout[, cafile[, capath[, cadefault[, context]]]]])
Open the URL url, which can be either a string or a Request object.

在我们第一个例子里,urlopen()的参数就是一个url地址;

但是如果需要执行更复杂的操作,比如增加http报头,则必须创建一个Request实例来作为urlopen()的参数;而需要访问的url地址则作为Request实例的参数。

#-*- coding:utf-8 -*-
#02.urllib2_request.py

import urllib2

#url作为Request()方法的参数,构造并返回一个Request对象
request = urllib2.Request("http://www.baidu.com")

#Request对象作为一个urlopen()方法的参数,发送给服务器并接收响应
response = urllib2.urlopen(request)

html = response.read()

print(html)

运行结果是完全一样的:

新建Request实例,除了必须要有url参数之外,还可以设置另外两个参数:

data(默认空):是伴随url提交的数据(比如要post的数据),同时HTTP请求将从"GET"方式改为"POST"方式。
headers(默认空):是一个字典,包含了需要发送的HTTP报头的键值对。
这两个参数下面会说到。

User-Agent

但是这样直接用urllib2给一个网站发送请求的话,确实略有些唐突了,就好比,人家每家都有门,你以一个路人的身份直接闯进去显然不是很礼貌。而且有一些站点不喜欢被程序(非人为访问)访问,有可能会拒绝你的访问请求。

但是如果我们用一个合法的身份去请求别人网站,显然人家就是欢迎的,所以我们就应该给我们的这个代码加上一个身份,就是所谓的User-Agent头。

浏览器就是互联网世界公认被允许的身份,如果我们希望我们的爬虫程序更像一个真实用户,那我们第一步,就是需要伪装成一个被公认的浏览器。用不同的浏览器在发送请求的时候,会有不同的User-Agent头。urllib2默认的User-Agent头为:Python-urllib/x.y(x和y是Python主版本和次版本号,例如Python-urllib/2.7)

#-*- coding:utf-8 -*-
#03.urllib2_useragent.py

import urllib2

url = "http://www.itcast.cn"

#IE 9.0的User-Agent,包含ua-header里
ua_header = {"User-Agent":"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;"}

# url连同headers,一起构造Request请求,这个请求将附带IE9.0浏览器的User-Agent
request = urllib2.Request(url, headers = ua_header)

#向服务器发送这个请求
response = urllib2.urlopen(request)

html = response.read()

print(html)

添加更多的Header信息

在HTTP Request中加入特定的Header,来构造一个完整的HTTP请求。

可以通过调用Request.add_header()添加/修改一个特定的header也可以通过调用Request.get_header()来查看已有的header。

添加一个特定的header

#-*- coding:utf-8 -*-
#04.urllib2_headers.py

import urllib2

url = "http://www.itcast.cn"

#IE 9.0的User-Agent
header = {"User-Agent":"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;"}
request =urllib2.Request(url, headers = header)

#也可以通过调用Request.add_header()添加/修改一个特定的header
request.add_header("Connection","keep-alive")

#也可以通过调用Request.get_header()来查看header信息
request.get_header(header_name = "Connection")

response = urllib2.urlopen(request)
print(response.code)  #可以查看响应状态码

html = response.read()
print(html)

  随机添加/修改User-Agent

#-*- coding:utf-8 -*-
#05.urllib2_add_headers.py

import urllib2
import random

url = "http://www.itcast.cn"

ua_list = [
  "Mozilla/5.0 (Windows NT 6.1; ) Apple.... ",
  "Mozilla/5.0 (X11; CrOS i686 2268.111.0)... ",
  "Mozilla/5.0 (Macintosh; U; PPC Mac OS X.... ",
  "Mozilla/5.0 (Macintosh; Intel Mac OS... "
]

user_agent = random.choice(ua_list)

request = urllib2.Request(url)

#也可以通过调用Request.add_header()添加/修改一个特定的header
request.add_header("User-Agent", user_agent)

#第一个字母大写,后面的全部小写
request.add_header("User-agent")

response = urllib2.urlopen(req)

html = response.read()

print(html)

注意

The urllib2 module has been split across several modules in Python 3 named urllib.request and urllib.error

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python和shell变量互相传递的几种方法
Nov 20 Python
Python使用MySQLdb for Python操作数据库教程
Oct 11 Python
Python自定义主从分布式架构实例分析
Sep 19 Python
Python中音频处理库pydub的使用教程
Jun 07 Python
python 识别图片中的文字信息方法
May 10 Python
Python中偏函数用法示例
Jun 07 Python
通过python扫描二维码/条形码并打印数据
Nov 14 Python
python系统指定文件的查找只输出目录下所有文件及文件夹
Jan 19 Python
python 写函数在一定条件下需要调用自身时的写法说明
Jun 01 Python
django的autoreload机制实现
Jun 03 Python
Pytest如何使用skip跳过执行测试
Aug 13 Python
分布式全文检索引擎ElasticSearch原理及使用实例
Nov 14 Python
Python 正则表达式爬虫使用案例解析
Sep 23 #Python
python处理document文档保留原样式
Sep 23 #Python
python 进程间数据共享multiProcess.Manger实现解析
Sep 23 #Python
python程序 线程队列queue使用方法解析
Sep 23 #Python
python程序 创建多线程过程详解
Sep 23 #Python
详解python播放音频的三种方法
Sep 23 #Python
Python进程间通信 multiProcessing Queue队列实现详解
Sep 23 #Python
You might like
《星际争霸2》终章已出 RTS时代宣告终结
2017/02/07 星际争霸
解析wamp5下虚拟机配置文档
2013/06/27 PHP
PHP中的日期加减方法示例
2014/08/21 PHP
详细解读PHP中接口的应用
2015/08/12 PHP
详解PHP的Yii框架中日志的相关配置及使用
2015/12/08 PHP
thinkphp3.2点击刷新生成验证码
2016/02/16 PHP
php解决DOM乱码的方法示例代码
2016/11/20 PHP
在 Laravel 中动态隐藏 API 字段的方法
2019/10/25 PHP
理解JavaScript中的对象 推荐
2011/01/09 Javascript
js获取元素到文档区域document的(横向、纵向)坐标的两种方法
2013/05/17 Javascript
easyui datagrid 键盘上下控制选中行示例
2014/03/31 Javascript
js简单的弹出框有关闭按钮
2014/05/05 Javascript
javascript中String对象的slice()方法分析
2014/12/20 Javascript
jQuery中delegate()方法用法实例
2015/01/19 Javascript
js获取域名的方法
2015/01/27 Javascript
详解javascript的变量与标识符
2016/01/04 Javascript
BootStrap iCheck插件全选与获取value值的解决方法
2016/08/24 Javascript
Javascript 实现微信分享(QQ、朋友圈、分享给朋友)
2016/10/21 Javascript
svg动画之动态描边效果
2017/02/22 Javascript
react性能优化达到最大化的方法 immutable.js使用的必要性
2017/03/09 Javascript
JS实现520 表白简单代码
2018/05/21 Javascript
JS函数本身的作用域实例分析
2020/03/16 Javascript
Python实现自定义读写分离代码实例
2019/11/16 Python
布隆过滤器的概述及Python实现方法
2019/12/08 Python
Scrapy项目实战之爬取某社区用户详情
2020/09/17 Python
CSS3 三维变形实现立体方块特效源码
2016/12/15 HTML / CSS
配置H5的滚动条样式的示例代码
2018/03/09 HTML / CSS
TripAdvisor斯洛伐克:阅读评论、比较价格和酒店预订
2018/04/25 全球购物
电脑饰品店的创业计划书
2014/01/21 职场文书
安全责任书范本
2014/04/15 职场文书
学生安全承诺书
2014/05/22 职场文书
软件测试专业推荐信
2014/09/18 职场文书
寒山寺导游词
2015/02/03 职场文书
社区文明倡议书
2015/04/28 职场文书
党员反腐倡廉学习心得体会
2015/08/15 职场文书
VUE中的v-if与v-show区别介绍
2022/03/13 Vue.js