Urllib
1. Urllib.request.urlopen().read().decode()
返回一个二进制的对象,对这个对象进行read()操作,可以得到一个包含网页的二进制字符串,然后用decode()解码成html源码
2. urlretrieve()
将一个网页爬取到本地
3. urlclearup()
清除 urlretrieve()所产生的缓存
4. info()
返回一个httpMessage对象,表示远程服务器的头信息
5. getcode()
获取当前网页的状态码 200代表成功,404网页未找到
6. geturl()
获取当前爬取页面的网址
示例:
from urllib import request # urlretrieve() -- 将一个网页爬取到本地 request.urlretrieve("http://www.baidu.com",filename="demo.html") # urlclearup() -- 清除urlretrieve()所产生的缓存 request.urlcleanup() # info() -- 返回一个httpMessage对象,表示远程服务器的头信息 data = request.urlopen("http://www.taobao.com") print(data.info()) # getcode() -- 获取当前网页的状态码data.geturl() print(data.getcode()) # 获取当前爬取页面的网址 print(data.geturl())
运行结果:
Server: Tengine Date: Wed, 09 May 2018 09:55:16 GMT Content-Type: text/html; charset=utf-8 Transfer-Encoding: chunked Connection: close Vary: Accept-Encoding X-Snapshot-Age: 1 Content-MD5: tkjcPUrHBAIt2N/YXcuwZg== Vary: Ali-Detector-Type, X-CIP-PT Cache-Control: max-age=0, s-maxage=89 ETag: W/"29b8-16340528168" Via: cache22.l2cm9[0,304-0,H], cache17.l2cm9[0,0], cache1.cn372[0,200-0,H], cache2.cn372[1,0] Age: 70 X-Cache: HIT TCP_MEM_HIT dirn:-2:-2 mlen:-1 X-Swift-SaveTime: Wed, 09 May 2018 09:54:59 GMT X-Swift-CacheTime: 36 Timing-Allow-Origin: * EagleId: 3c1cf2e515258597167937091e Set-Cookie: thw=cn; Path=/; Domain=.taobao.com; Expires=Thu, 09-May-19 09:55:16 GMT; Strict-Transport-Security: max-age=31536000 200 https://www.taobao.com/
超时设置(timeout)
由于在实际的爬取过程中,部分网站可能访问过慢,影响性能,这时我们可设置超时访问.
示例: 如果在指定时间内正常访问,即输出获取数据的长度,如果超出指定时间,则抛出异常.
for i in range(0,10): try: data = urllib.request.urlopen("http://www.baidu.com",timeout=0.05).read() print(len(data)) except Exception as e: print("出现异常:"+str(e))
运行结果:
114980 114888 114809 114839 114824 114611 出现异常:<urlopen error timed out> 出现异常:<urlopen error timed out> 出现异常:<urlopen error timed out> 115003
伪装
在爬取过程中,可能部分网站限制浏览器访问所以为了顺利达到我们的目的,我们对自己进行伪装.
这里我们介绍一下浏览器的伪装技术.
普通爬取:
from urllib import request file = request.urlopen("http://www.baidu.com").read().decode()
通过浏览器伪装爬取数据:
方式一:
from urllib import request url = "http://www.baidu.com" headers = ("User-Agent"," Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36") #这里模拟浏览器 opener = request.build_opener() opener.addheaders = [headers] data = opener.open(url).read() print(data)
方式二:
from urllib import request url = "http://www.baidu.com" headers = ("User-Agent"," Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36") #这里模拟浏览器 opener = request.build_opener() opener.addheaders = [headers] request.install_opener(opener) data = request.urlopen(url).read().decode("utf-8") print(data)
方式三:
from urllib import request url = "http://www.baidu.com" headers = {}"User-Agent":" Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36"} #这里模拟浏览器,通过字典 req = request.Request(url=rul,headers=headers) data = request.urlopen(req).read().decode("utf-8") print(data)
异常处理
爬虫在运行过程中,可能会出现各种各样的问题,如果没有异常处理的话,爬出异常会直接崩溃停止运行,下次再运行的时候,爬虫又要重头开始,所以我们要开发的是一个具有顽强生命力的爬虫,必须要进行异常的处理.
常见异常示例:
301 重定向 403 禁止访问 404 没有找到页面 500 服务器内部出现问题 200 成功
python中有两个异常处理的类:URLError与HttpError
HttpError 是 URLError子类 HttpError 有异常状态码和异常原因 URLError 只有异常原因,没有异常状态码 所以,在异常处理的时候,不能使用URLError来代替 如果想要代替,必须要进行判断,判断是否有状态码属性 会产生URLError的情况: 1.连接不上服务器 2.远程的url不存在 3.本地网络 4.HttpError(是子类,也会出发会产生URLError
格式如下:
from urllib import error,request try: # 可能会出现异常的代码 data = request.urlopen("http://www.aliyu.com").read() print(data) except error.URLError as e: # 进行异常的处理 if hasattr(e,"code"): # 判断是否有状态码 print(e.code) # 状态码 if hasattr(e,"reason"): # 判断是否有异常原因 print(e.reason) # 异常原因
以上这篇python爬虫之urllib,伪装,超时设置,异常处理的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。
python爬虫之urllib,伪装,超时设置,异常处理的方法
- Author -
红酒味蛋糕_声明:登载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述。
Reply on: @reply_date@
@reply_contents@