python爬虫 urllib模块反爬虫机制UA详解


Posted in Python onAugust 20, 2019

方法: 使用urlencode函数

urllib.request.urlopen()

import urllib.request
import urllib.parse
url = 'https://www.sogou.com/web?'
#将get请求中url携带的参数封装至字典中
param = {
  'query':'周杰伦'
}
#对url中的非ascii进行编码
param = urllib.parse.urlencode(param)
#将编码后的数据值拼接回url中
url += param 
response = urllib.request.urlopen(url=url)
data = response.read()
with open('./周杰伦1.html','wb') as fp:
  fp.write(data)
print('写入文件完毕')

开发者工具浏览器按F12或者右键按检查 ,有个抓包工具network,刷新页面,可以看到网页资源,可以看到请求头信息,UA

在抓包工具点击任意请求,可以看到所有请求信息,向应信息,

主要用到headers,response,response headers存放响应头信息,request headers 存放请求信息

python爬虫 urllib模块反爬虫机制UA详解

python爬虫 urllib模块反爬虫机制UA详解

反爬出机制:网站会检查请求的UA,如果发现UA是爬虫程序,会拒绝提供网站页面数据。

如果网站检查发现请求UA是基于某一款浏览器标识(浏览器发起的请求),网站会认为请求是正常请求,会把页面数据响应信息给客户端

User-Agent(UA):请求载体的身份标识

反反爬虫机制:

伪造爬虫程序的请求的UA,把爬虫程序的请求UA伪造成谷歌标识,火狐标识

通过自定义请求对象,用于伪装爬虫程序请求的身份。

User-Agent参数,简称为UA,该参数的作用是用于表明本次请求载体的身份标识。如果我们通过浏览器发起的请求,则该请求的载体为当前浏览器,则UA参数的值表明的是当前浏览器的身份标识表示的一串数据。

如果我们使用爬虫程序发起的一个请求,则该请求的载体为爬虫程序,那么该请求的UA为爬虫程序的身份标识表示的一串数据。

有些网站会通过辨别请求的UA来判别该请求的载体是否为爬虫程序,如果为爬虫程序,则不会给该请求返回响应,那么我们的爬虫程序则也无法通过请求爬取到该网站中的数据值,这也是反爬虫的一种初级技术手段。那么为了防止该问题的出现,则我们可以给爬虫程序的UA进行伪装,伪装成某款浏览器的身份标识。

上述案例中,我们是通过request模块中的urlopen发起的请求,该请求对象为urllib中内置的默认请求对象,我们无法对其进行UA进行更改操作。urllib还为我们提供了一种自定义请求对象的方式,我们可以通过自定义请求对象的方式,给该请求对象中的UA进行伪装(更改)操作。

自定义请求头信息字典可以添加谷歌浏览器的UA标识,自定义请求对象来伪装成谷歌UA

1.封装自定义的请求头信息的字典,

2.注意:在headers字典中可以封装任意的请求头信息

3.将浏览器的UA数据获取,封装到一个字典中。该UA值可以通过抓包工具或者浏览器自带的开发者工具中获取某请求,
从中获取UA的值

import urllib.request
import urllib.parse
url = 'https://www.sogou.com/web?query='
# url的特性:url不可以存在非ASCII编码字符数据
word = urllib.parse.quote("周杰伦")
# 将编码后的数据值拼接回url中
url = url+word # 有效url
# 发请求之前对请求的UA进行伪造,伪造完再对请求url发起请求
# UA伪造
# 1 子制定一个请求对象,headers是请求头信息,字典形式
# 封装自定义的请求头信息的字典,
# 注意:在headers字典中可以封装任意的请求头信息
headers = {
  # 存储任意的请求头信息
  'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'
}
# 该请求对象的UA进行了成功的伪装
request = urllib.request.Request(url=url, headers=headers)
# 2.针对自定义请求对象发起请求
response = urllib.request.urlopen(request)
# 3.获取响应对象中的页面数据:read函数可以获取响应对象中存储的页面数据(byte类型的数据值)
page_text = response.read()
# 4.持久化存储:将爬取的页面数据写入文件进行保存
with open("周杰伦.html","wb") as f:
  f.write(page_text)
print("写入数据成功")

这样就可以突破网站的反爬机制

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python中字典映射类型的学习教程
Aug 20 Python
Python运行报错UnicodeDecodeError的解决方法
Jun 07 Python
python爬取淘宝商品详情页数据
Feb 23 Python
对python 数据处理中的LabelEncoder 和 OneHotEncoder详解
Jul 11 Python
Python解决两个整数相除只得到整数部分的实例
Nov 10 Python
PyQt5实现简单数据标注工具
Mar 18 Python
python判断文件夹内是否存在指定后缀文件的实例
Jun 10 Python
Python数据存储之 h5py详解
Dec 26 Python
通过实例了解Python str()和repr()的区别
Jan 17 Python
Python如何把多个PDF文件合并代码实例
Feb 13 Python
Python交互环境下打印和输入函数的实例内容
Feb 16 Python
python_array[0][0]与array[0,0]的区别详解
Feb 18 Python
Pytorch 抽取vgg各层并进行定制化处理的方法
Aug 20 #Python
python实现抠图给证件照换背景源码
Aug 20 #Python
python爬虫 基于requests模块发起ajax的get请求实现解析
Aug 20 #Python
pytorch 在sequential中使用view来reshape的例子
Aug 20 #Python
pytorch在fintune时将sequential中的层输出方法,以vgg为例
Aug 20 #Python
python实现证件照换底功能
Aug 20 #Python
pytorch多进程加速及代码优化方法
Aug 19 #Python
You might like
3
2006/10/09 PHP
php 带逗号千位符数字的处理方法
2012/01/10 PHP
仿Aspnetpager的一个PHP分页类代码 附源码下载
2012/10/08 PHP
采用memcache在web集群中实现session的同步会话
2014/07/05 PHP
PHP中SERIALIZE和JSON的序列化与反序列化操作区别分析
2016/10/11 PHP
PHP中实现中文字串截取无乱码的解决方法
2018/05/29 PHP
php伪静态验证码不显示的解决方案
2019/09/26 PHP
基础的prototype.js常用函数及其用法
2007/03/10 Javascript
JavaScript实现的浮动层框架用法实例分析
2015/10/10 Javascript
AngularJS实现树形结构(ztree)菜单示例代码
2016/09/18 Javascript
JavaScript字符串对象
2017/01/14 Javascript
javascript实现复选框全选或反选
2017/02/04 Javascript
详解axios在node.js中的post使用
2017/04/27 Javascript
浅谈vue的踩坑路
2017/08/31 Javascript
微信小程序实现滚动消息通知
2018/02/02 Javascript
命令行批量截图Node脚本示例代码
2019/01/25 Javascript
关于javascript中的promise的用法和注意事项(推荐)
2021/01/15 Javascript
wxpython中利用线程防止假死的实现方法
2014/08/11 Python
详解python中的文件与目录操作
2017/07/11 Python
python爬虫之BeautifulSoup 使用select方法详解
2017/10/23 Python
selenium+python实现自动登录脚本
2018/04/22 Python
Django异步任务之Celery的基本使用
2019/03/23 Python
Pycharm使用之设置代码字体大小和颜色主题的教程
2019/07/12 Python
Python 基于wxpy库实现微信添加好友功能(简洁)
2019/11/29 Python
python隐藏类中属性的3种实现方法
2019/12/19 Python
python获取linux系统信息的三种方法
2020/10/14 Python
阿尔卡特(中国)的面试题目
2014/08/20 面试题
能源工程专业应届生求职信
2014/03/01 职场文书
新学期教师寄语
2014/04/02 职场文书
管理工程专业求职信
2014/08/10 职场文书
2015年社区文体活动总结
2015/03/25 职场文书
财务总监岗位职责范本
2015/04/03 职场文书
医院见习总结
2015/06/24 职场文书
《棉鞋里的阳光》教学反思
2016/02/20 职场文书
HashMap实现保存两个key相同的数据
2021/06/30 Java/Android
Win11无法访问设备和打印机 如何解决页面空白
2022/04/09 数码科技