Python爬虫 urllib2的使用方法详解


Posted in Python onSeptember 23, 2019

所谓网页抓取,就是把URL地址中指定的网络资源从网络流中读取出来,保存到本地。在Python中有很多库可以用来抓取网页,我们先学习urllib2。

urllib2是Python2.x自带的模块(不需要下载,导入即可使用)

urllib2官网文档:https://docs.python.org/2/library/urllib2.html

urllib2源码

urllib2在python3.x中被改为urllib.request

urlopen

我们先来段代码:

#-*- coding:utf-8 -*-
#01.urllib2_urlopen.py
#导入urllib2库
import urllib2
#向指定的url发送请求,并返回服务器的类文件对象
response = urllib2.urlopen("http://www.baidu.com")
#类文件对象支持文件对象的操作方法,如read()方法读取文件
html = response.read()
#打印字符串
print(html)

执行写好的python代码,将打印结果:

python2 01.urllib2_urlopen.py

实际上,如果我们在浏览器打上百度主页,右键选择"查看源代码",你会发现,跟我们刚才打印出来的是一模一样的。也就是说,上面的4行代码就已经帮我们把百度的首页的全部代码爬了下来。
一个基本的url请求对应的python代码真的非常简单。

Request

查看官方文档url的用法如下:

urllib2.urlopen(url[, data[, timeout[, cafile[, capath[, cadefault[, context]]]]])
Open the URL url, which can be either a string or a Request object.

在我们第一个例子里,urlopen()的参数就是一个url地址;

但是如果需要执行更复杂的操作,比如增加http报头,则必须创建一个Request实例来作为urlopen()的参数;而需要访问的url地址则作为Request实例的参数。

#-*- coding:utf-8 -*-
#02.urllib2_request.py

import urllib2

#url作为Request()方法的参数,构造并返回一个Request对象
request = urllib2.Request("http://www.baidu.com")

#Request对象作为一个urlopen()方法的参数,发送给服务器并接收响应
response = urllib2.urlopen(request)

html = response.read()

print(html)

运行结果是完全一样的:

新建Request实例,除了必须要有url参数之外,还可以设置另外两个参数:

data(默认空):是伴随url提交的数据(比如要post的数据),同时HTTP请求将从"GET"方式改为"POST"方式。
headers(默认空):是一个字典,包含了需要发送的HTTP报头的键值对。
这两个参数下面会说到。

User-Agent

但是这样直接用urllib2给一个网站发送请求的话,确实略有些唐突了,就好比,人家每家都有门,你以一个路人的身份直接闯进去显然不是很礼貌。而且有一些站点不喜欢被程序(非人为访问)访问,有可能会拒绝你的访问请求。

但是如果我们用一个合法的身份去请求别人网站,显然人家就是欢迎的,所以我们就应该给我们的这个代码加上一个身份,就是所谓的User-Agent头。

浏览器就是互联网世界公认被允许的身份,如果我们希望我们的爬虫程序更像一个真实用户,那我们第一步,就是需要伪装成一个被公认的浏览器。用不同的浏览器在发送请求的时候,会有不同的User-Agent头。urllib2默认的User-Agent头为:Python-urllib/x.y(x和y是Python主版本和次版本号,例如Python-urllib/2.7)

#-*- coding:utf-8 -*-
#03.urllib2_useragent.py

import urllib2

url = "http://www.itcast.cn"

#IE 9.0的User-Agent,包含ua-header里
ua_header = {"User-Agent":"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;"}

# url连同headers,一起构造Request请求,这个请求将附带IE9.0浏览器的User-Agent
request = urllib2.Request(url, headers = ua_header)

#向服务器发送这个请求
response = urllib2.urlopen(request)

html = response.read()

print(html)

添加更多的Header信息

在HTTP Request中加入特定的Header,来构造一个完整的HTTP请求。

可以通过调用Request.add_header()添加/修改一个特定的header也可以通过调用Request.get_header()来查看已有的header。

添加一个特定的header

#-*- coding:utf-8 -*-
#04.urllib2_headers.py

import urllib2

url = "http://www.itcast.cn"

#IE 9.0的User-Agent
header = {"User-Agent":"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;"}
request =urllib2.Request(url, headers = header)

#也可以通过调用Request.add_header()添加/修改一个特定的header
request.add_header("Connection","keep-alive")

#也可以通过调用Request.get_header()来查看header信息
request.get_header(header_name = "Connection")

response = urllib2.urlopen(request)
print(response.code)  #可以查看响应状态码

html = response.read()
print(html)

  随机添加/修改User-Agent

#-*- coding:utf-8 -*-
#05.urllib2_add_headers.py

import urllib2
import random

url = "http://www.itcast.cn"

ua_list = [
  "Mozilla/5.0 (Windows NT 6.1; ) Apple.... ",
  "Mozilla/5.0 (X11; CrOS i686 2268.111.0)... ",
  "Mozilla/5.0 (Macintosh; U; PPC Mac OS X.... ",
  "Mozilla/5.0 (Macintosh; Intel Mac OS... "
]

user_agent = random.choice(ua_list)

request = urllib2.Request(url)

#也可以通过调用Request.add_header()添加/修改一个特定的header
request.add_header("User-Agent", user_agent)

#第一个字母大写,后面的全部小写
request.add_header("User-agent")

response = urllib2.urlopen(req)

html = response.read()

print(html)

注意

The urllib2 module has been split across several modules in Python 3 named urllib.request and urllib.error

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python创建文件和追加文件内容实例
Oct 21 Python
Python查找相似单词的方法
Mar 05 Python
Python图形绘制操作之正弦曲线实现方法分析
Dec 25 Python
python中多层嵌套列表的拆分方法
Jul 02 Python
python 中字典嵌套列表的方法
Jul 03 Python
Python获取一个用户名的组ID过程解析
Sep 03 Python
QML使用Python的函数过程解析
Sep 26 Python
10个Python面试常问的问题(小结)
Nov 20 Python
Python能做什么
Jun 02 Python
keras 简单 lstm实例(基于one-hot编码)
Jul 02 Python
如何向scrapy中的spider传递参数的几种方法
Nov 18 Python
Python初学者必备的文件读写指南
Jun 23 Python
Python 正则表达式爬虫使用案例解析
Sep 23 #Python
python处理document文档保留原样式
Sep 23 #Python
python 进程间数据共享multiProcess.Manger实现解析
Sep 23 #Python
python程序 线程队列queue使用方法解析
Sep 23 #Python
python程序 创建多线程过程详解
Sep 23 #Python
详解python播放音频的三种方法
Sep 23 #Python
Python进程间通信 multiProcessing Queue队列实现详解
Sep 23 #Python
You might like
php session处理的定制
2009/03/16 PHP
ThinkPHP表单令牌错误的相关解决方法分析
2016/05/20 PHP
javascript判断单选框或复选框是否选中方法集锦
2007/04/04 Javascript
用CSS+JS实现的进度条效果效果
2007/06/05 Javascript
JS增加行复制行删除行的实现代码
2013/11/09 Javascript
JS动态添加与删除select中的Option对象(示例代码)
2013/12/20 Javascript
jQuery中绑定事件bind() on() live() one()的异同
2017/02/23 Javascript
vue组件父子间通信详解(三)
2017/11/07 Javascript
js与jQuery实现的用户注册协议倒计时功能实例【三种方法】
2017/11/09 jQuery
jQuery图片加载失败替换默认图片方法汇总
2017/11/29 jQuery
微信小程序实现打开内置地图功能【附源码下载】
2017/12/07 Javascript
使用vue实现grid-layout功能实例代码
2018/01/05 Javascript
在Python中操作字典之clear()方法的使用
2015/05/21 Python
Python的Flask框架中的Jinja2模板引擎学习教程
2016/06/30 Python
解决pyqt中ui编译成窗体.py中文乱码的问题
2016/12/23 Python
完美解决Python 2.7不能正常使用pip install的问题
2018/06/12 Python
Python wxPython库消息对话框MessageDialog用法示例
2018/09/03 Python
详解多线程Django程序耗尽数据库连接的问题
2018/10/08 Python
解决django前后端分离csrf验证的问题
2019/02/03 Python
Python实现EXCEL表格的排序功能示例
2019/06/25 Python
python 搜索大文件的实例代码
2019/07/08 Python
Python split() 函数拆分字符串将字符串转化为列的方法
2019/07/16 Python
Idea安装python显示无SDK问题解决方案
2020/08/12 Python
css 省略号 css3让多余的字符串消失并附加省略号的实现代码
2013/02/07 HTML / CSS
详解CSS3的perspective属性设置3D变换距离的方法
2016/05/23 HTML / CSS
CSS3制作圆形滚动进度条动画的示例
2020/11/05 HTML / CSS
HTML5如何实现元素拖拽
2016/03/11 HTML / CSS
学习党的群众路线教育实践活动心得体会
2014/03/01 职场文书
GMP办公室主任岗位职责
2014/03/14 职场文书
重点工程汇报材料
2014/08/27 职场文书
镇政府副镇长群众路线专题民主生活会对照检查材料
2014/09/19 职场文书
研究生个人学年总结
2015/02/14 职场文书
Python实现文本文件拆分写入到多个文本文件的方法
2021/04/18 Python
ubuntu下常用apt命令介绍
2022/06/05 Servers
Win10加载疑难解答时出错发生意外错误的解决方法
2022/07/07 数码科技
DQL数据查询语句使用示例
2022/12/24 MySQL