python爬虫 urllib模块反爬虫机制UA详解


Posted in Python onAugust 20, 2019

方法: 使用urlencode函数

urllib.request.urlopen()

import urllib.request
import urllib.parse
url = 'https://www.sogou.com/web?'
#将get请求中url携带的参数封装至字典中
param = {
  'query':'周杰伦'
}
#对url中的非ascii进行编码
param = urllib.parse.urlencode(param)
#将编码后的数据值拼接回url中
url += param 
response = urllib.request.urlopen(url=url)
data = response.read()
with open('./周杰伦1.html','wb') as fp:
  fp.write(data)
print('写入文件完毕')

开发者工具浏览器按F12或者右键按检查 ,有个抓包工具network,刷新页面,可以看到网页资源,可以看到请求头信息,UA

在抓包工具点击任意请求,可以看到所有请求信息,向应信息,

主要用到headers,response,response headers存放响应头信息,request headers 存放请求信息

python爬虫 urllib模块反爬虫机制UA详解

python爬虫 urllib模块反爬虫机制UA详解

反爬出机制:网站会检查请求的UA,如果发现UA是爬虫程序,会拒绝提供网站页面数据。

如果网站检查发现请求UA是基于某一款浏览器标识(浏览器发起的请求),网站会认为请求是正常请求,会把页面数据响应信息给客户端

User-Agent(UA):请求载体的身份标识

反反爬虫机制:

伪造爬虫程序的请求的UA,把爬虫程序的请求UA伪造成谷歌标识,火狐标识

通过自定义请求对象,用于伪装爬虫程序请求的身份。

User-Agent参数,简称为UA,该参数的作用是用于表明本次请求载体的身份标识。如果我们通过浏览器发起的请求,则该请求的载体为当前浏览器,则UA参数的值表明的是当前浏览器的身份标识表示的一串数据。

如果我们使用爬虫程序发起的一个请求,则该请求的载体为爬虫程序,那么该请求的UA为爬虫程序的身份标识表示的一串数据。

有些网站会通过辨别请求的UA来判别该请求的载体是否为爬虫程序,如果为爬虫程序,则不会给该请求返回响应,那么我们的爬虫程序则也无法通过请求爬取到该网站中的数据值,这也是反爬虫的一种初级技术手段。那么为了防止该问题的出现,则我们可以给爬虫程序的UA进行伪装,伪装成某款浏览器的身份标识。

上述案例中,我们是通过request模块中的urlopen发起的请求,该请求对象为urllib中内置的默认请求对象,我们无法对其进行UA进行更改操作。urllib还为我们提供了一种自定义请求对象的方式,我们可以通过自定义请求对象的方式,给该请求对象中的UA进行伪装(更改)操作。

自定义请求头信息字典可以添加谷歌浏览器的UA标识,自定义请求对象来伪装成谷歌UA

1.封装自定义的请求头信息的字典,

2.注意:在headers字典中可以封装任意的请求头信息

3.将浏览器的UA数据获取,封装到一个字典中。该UA值可以通过抓包工具或者浏览器自带的开发者工具中获取某请求,
从中获取UA的值

import urllib.request
import urllib.parse
url = 'https://www.sogou.com/web?query='
# url的特性:url不可以存在非ASCII编码字符数据
word = urllib.parse.quote("周杰伦")
# 将编码后的数据值拼接回url中
url = url+word # 有效url
# 发请求之前对请求的UA进行伪造,伪造完再对请求url发起请求
# UA伪造
# 1 子制定一个请求对象,headers是请求头信息,字典形式
# 封装自定义的请求头信息的字典,
# 注意:在headers字典中可以封装任意的请求头信息
headers = {
  # 存储任意的请求头信息
  'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'
}
# 该请求对象的UA进行了成功的伪装
request = urllib.request.Request(url=url, headers=headers)
# 2.针对自定义请求对象发起请求
response = urllib.request.urlopen(request)
# 3.获取响应对象中的页面数据:read函数可以获取响应对象中存储的页面数据(byte类型的数据值)
page_text = response.read()
# 4.持久化存储:将爬取的页面数据写入文件进行保存
with open("周杰伦.html","wb") as f:
  f.write(page_text)
print("写入数据成功")

这样就可以突破网站的反爬机制

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python 第一步 hello world
Sep 25 Python
web.py获取上传文件名的正确方法
Aug 26 Python
python目录与文件名操作例子
Aug 28 Python
Python使用sftp实现上传和下载功能(实例代码)
Mar 14 Python
Python及PyCharm下载与安装教程
Nov 18 Python
python基础学习之如何对元组各个元素进行命名详解
Jul 12 Python
pandas的连接函数concat()函数的具体使用方法
Jul 09 Python
Python Web版语音合成实例详解
Jul 16 Python
python中struct模块之字节型数据的处理方法
Aug 27 Python
python  logging日志打印过程解析
Oct 22 Python
利用Tensorflow的队列多线程读取数据方式
Feb 05 Python
python绘制云雨图raincloud plot
Aug 05 Python
Pytorch 抽取vgg各层并进行定制化处理的方法
Aug 20 #Python
python实现抠图给证件照换背景源码
Aug 20 #Python
python爬虫 基于requests模块发起ajax的get请求实现解析
Aug 20 #Python
pytorch 在sequential中使用view来reshape的例子
Aug 20 #Python
pytorch在fintune时将sequential中的层输出方法,以vgg为例
Aug 20 #Python
python实现证件照换底功能
Aug 20 #Python
pytorch多进程加速及代码优化方法
Aug 19 #Python
You might like
Excel数据导入Mysql数据库的实现代码
2008/06/05 PHP
php preg_match_all结合str_replace替换内容中所有img
2008/10/11 PHP
服务器web工具 php环境下
2010/12/29 PHP
PHP文件上传之多文件上传的实现思路
2016/01/27 PHP
PHP的Laravel框架中使用AdminLTE模板来编写网站后台界面
2016/03/21 PHP
php识别翻转iphone拍摄的颠倒图片
2018/05/17 PHP
JS图片预加载 JS实现图片预加载应用
2012/12/03 Javascript
js判断选择的时间是否大于今天的代码
2013/08/20 Javascript
javascript教程之不完整的继承(js原型链)
2014/01/13 Javascript
引用外部脚本时script标签关闭的写法
2014/01/20 Javascript
js函数内变量的作用域分析
2015/01/12 Javascript
jquery实现动态改变div宽度和高度
2015/05/08 Javascript
简单实现js页面切换功能
2021/01/10 Javascript
ui组件之input多选下拉实现方法(带有搜索功能)
2016/07/14 Javascript
js获取html页面代码中图片地址的实现代码
2018/03/05 Javascript
Vue将页面导出为图片或者PDF
2020/08/17 Javascript
Vue 3.x+axios跨域方案的踩坑指南
2019/07/04 Javascript
关于vue组件事件属性穿透详解
2019/10/28 Javascript
微信小程序基于高德地图API实现天气组件(动态效果)
2020/10/22 Javascript
Python使用xlrd读取Excel格式文件的方法
2015/03/10 Python
python实现用于测试网站访问速率的方法
2015/05/26 Python
python数据结构之图深度优先和广度优先实例详解
2015/07/08 Python
Python 字符串操作(string替换、删除、截取、复制、连接、比较、查找、包含、大小写转换、分割等)
2018/03/19 Python
快速排序的四种python实现(推荐)
2019/04/03 Python
利用python实现AR教程
2019/11/20 Python
Python实现直播推流效果
2019/11/26 Python
Python实现迪杰斯特拉算法并生成最短路径的示例代码
2020/12/01 Python
美国家居装饰和豪华家具购物网站:One Kings Lane
2018/12/24 全球购物
养殖人员的创业计划书范文
2013/12/26 职场文书
部队万能检讨书
2014/02/20 职场文书
2014年新生军训方案
2014/05/01 职场文书
《红领巾真好》教学反思
2016/02/16 职场文书
《小蝌蚪找妈妈》教学反思
2016/02/23 职场文书
简单且有用的Python数据分析和机器学习代码
2021/07/02 Python
python模块与C和C++动态库相互调用实现过程示例
2021/11/02 Python
对讲机知识
2022/04/07 无线电