python通过伪装头部数据抵抗反爬虫的实例


Posted in Python onMay 07, 2018

0x00 环境

系统环境:win10

编写工具:JetBrains PyCharm Community Edition 2017.1.2 x64

python 版本:python-3.6.2

抓包工具:Fiddler 4

0x01 头部数据伪装思路

通过http向服务器提交数据,以下是通过Fiddler 抓取python没有伪装的报文头信息

GET /u012870721 HTTP/1.1
Accept-Encoding: identity
Host: blog.csdn.net
User-Agent: <span style="color:#ff0000;">Python-urllib/3.6</span>
Connection: close

Python-urllib/3.6

很明显啊,我们暴露了。现在要问了,该怎么!模拟浏览器,让自己伪装成浏览器,一下是浏览器访问发送的头部数据

Connection: keep-alive
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36
Referer: http://write.blog.csdn.net/postlist
Accept-Encoding: gzip, deflate
Accept-Language: zh-CN,zh;q=0.8

0x02代码实现

from urllib import request
html_url = "http://blog.csdn.net/u012870721";
#伪装构造头
header ={
 "Connection": "keep-alive",
 "Upgrade-Insecure-Requests": "1",
 "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36",
 "Accept":" text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8",
 "Accept-Encoding": "gzip,deflate",
 "Accept-Language": "zh-CN,zh;q=0.8"
};

#int main()
#{
req = request.Request(url=html_url, headers=header);

resp = request.urlopen(req);
# return 0;
# }

伪装后进行发送的信息头

GET /u012870721 HTTP/1.1 
Host: blog.csdn.net 
Connection: close 
Upgrade-Insecure-Requests: 1 
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36 
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8 
Accept-Encoding: gzip,deflate 
Accept-Language: zh-CN,zh;q=0.8

以上这篇python通过伪装头部数据抵抗反爬虫的实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python首次安装后运行报错(0xc000007b)的解决方法
Oct 18 Python
解决Python的str强转int时遇到的问题
Apr 09 Python
Python实现的读取电脑硬件信息功能示例
May 30 Python
Python中出现IndentationError:unindent does not match any outer indentation level错误的解决方法
Apr 18 Python
python 发送和接收ActiveMQ消息的实例
Jan 30 Python
Python实现打砖块小游戏代码实例
May 18 Python
python打印9宫格、25宫格等奇数格 满足横竖斜相加和相等
Jul 19 Python
如何使用Python抓取网页tag操作
Feb 14 Python
python实现梯度下降和逻辑回归
Mar 24 Python
jupyter 导入csv文件方式
Apr 21 Python
Django中ORM找出内容不为空的数据实例
May 20 Python
jupyter notebook保存文件默认路径更改方法汇总(亲测可以)
Jun 09 Python
Django Web开发中django-debug-toolbar的配置以及使用
May 06 #Python
python安装模块如何通过setup.py安装(超简单)
May 05 #Python
python实现守护进程、守护线程、守护非守护并行
May 05 #Python
Linux(Redhat)安装python3.6虚拟环境(推荐)
May 05 #Python
Python3中的json模块使用详解
May 05 #Python
Python 编码规范(Google Python Style Guide)
May 05 #Python
python 编码规范整理
May 05 #Python
You might like
利用php输出不同的心形图案
2016/04/22 PHP
mac下多个php版本快速切换的方法
2016/10/09 PHP
thinkPHP5 tablib标签库自定义方法详解
2017/05/10 PHP
与jquery serializeArray()一起使用的函数,主要来方便提交表单
2011/01/31 Javascript
JS中多步骤多分步的StepJump组件实例详解
2016/04/01 Javascript
JS实现自动阅读单词(有道单词本添加功能)
2016/11/14 Javascript
JS识别浏览器类型(电脑浏览器和手机浏览器)
2016/11/18 Javascript
js Canvas绘制圆形时钟教程
2017/02/06 Javascript
yarn的使用与升级Node.js的方法详解
2017/06/04 Javascript
VUE2.0 ElementUI2.0表格el-table自适应高度的实现方法
2018/11/28 Javascript
JavaScript简单实现动态改变HTML内容的方法示例
2018/12/25 Javascript
javascript异步编程的六种方式总结
2019/05/17 Javascript
原生javascript单例模式的应用实例分析
2020/02/23 Javascript
vue浏览器返回监听的具体步骤
2021/02/03 Vue.js
[01:43]3.19DOTA2发布会 三代刀塔人第三代
2014/03/25 DOTA
[03:40]DOTA2亚洲邀请赛小组赛第二日 赛事回顾
2015/01/31 DOTA
python删除特定文件的方法
2015/07/30 Python
OpenCV实现人脸识别
2017/04/07 Python
Flask框架配置与调试操作示例
2018/07/23 Python
python中的json总结
2018/10/11 Python
Python中的集合介绍
2019/01/28 Python
Django页面数据的缓存与使用的具体方法
2019/04/23 Python
python通过paramiko复制远程文件及文件目录到本地
2019/04/30 Python
python实现两个文件夹的同步
2019/08/29 Python
Django REST Framework之频率限制的使用
2019/09/29 Python
win7上tensorflow2.2.0安装成功 引用DLL load failed时找不到指定模块 tensorflow has no attribute xxx 解决方法
2020/05/20 Python
JAVA SWT事件四种写法实例解析
2020/06/05 Python
Python OpenCV去除字母后面的杂线操作
2020/07/05 Python
鱼油专家:Omegavia
2016/10/10 全球购物
环境科学专业个人求职信
2013/09/26 职场文书
毕业生求职自荐信怎么写
2014/01/08 职场文书
材料会计岗位职责
2014/03/06 职场文书
《小猪家的桃花树》教学反思
2014/04/11 职场文书
教师考核表个人总结
2015/02/12 职场文书
关于国庆节的广播稿
2015/08/19 职场文书
理解python中装饰器的作用
2021/07/21 Python