python通过伪装头部数据抵抗反爬虫的实例


Posted in Python onMay 07, 2018

0x00 环境

系统环境:win10

编写工具:JetBrains PyCharm Community Edition 2017.1.2 x64

python 版本:python-3.6.2

抓包工具:Fiddler 4

0x01 头部数据伪装思路

通过http向服务器提交数据,以下是通过Fiddler 抓取python没有伪装的报文头信息

GET /u012870721 HTTP/1.1
Accept-Encoding: identity
Host: blog.csdn.net
User-Agent: <span style="color:#ff0000;">Python-urllib/3.6</span>
Connection: close

Python-urllib/3.6

很明显啊,我们暴露了。现在要问了,该怎么!模拟浏览器,让自己伪装成浏览器,一下是浏览器访问发送的头部数据

Connection: keep-alive
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36
Referer: http://write.blog.csdn.net/postlist
Accept-Encoding: gzip, deflate
Accept-Language: zh-CN,zh;q=0.8

0x02代码实现

from urllib import request
html_url = "http://blog.csdn.net/u012870721";
#伪装构造头
header ={
 "Connection": "keep-alive",
 "Upgrade-Insecure-Requests": "1",
 "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36",
 "Accept":" text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8",
 "Accept-Encoding": "gzip,deflate",
 "Accept-Language": "zh-CN,zh;q=0.8"
};

#int main()
#{
req = request.Request(url=html_url, headers=header);

resp = request.urlopen(req);
# return 0;
# }

伪装后进行发送的信息头

GET /u012870721 HTTP/1.1 
Host: blog.csdn.net 
Connection: close 
Upgrade-Insecure-Requests: 1 
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36 
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8 
Accept-Encoding: gzip,deflate 
Accept-Language: zh-CN,zh;q=0.8

以上这篇python通过伪装头部数据抵抗反爬虫的实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python目录操作之python遍历文件夹后将结果存储为xml
Jan 27 Python
浅谈五大Python Web框架
Mar 20 Python
Sanic框架请求与响应实例分析
Jul 16 Python
详解python执行shell脚本创建用户及相关操作
Apr 11 Python
从pandas一个单元格的字符串中提取字符串方式
Dec 17 Python
Pytorch 数据加载与数据预处理方式
Dec 31 Python
Python IDLE或shell中切换路径的操作
Mar 09 Python
Python如何爬取b站热门视频并导入Excel
Aug 10 Python
numpy数据类型dtype转换实现
Apr 24 Python
Python+uiautomator2实现自动刷抖音视频功能
Apr 29 Python
tensorboard 可视化之localhost:6006不显示的解决方案
May 22 Python
Python爬虫 简单介绍一下Xpath及使用
Apr 26 Python
Django Web开发中django-debug-toolbar的配置以及使用
May 06 #Python
python安装模块如何通过setup.py安装(超简单)
May 05 #Python
python实现守护进程、守护线程、守护非守护并行
May 05 #Python
Linux(Redhat)安装python3.6虚拟环境(推荐)
May 05 #Python
Python3中的json模块使用详解
May 05 #Python
Python 编码规范(Google Python Style Guide)
May 05 #Python
python 编码规范整理
May 05 #Python
You might like
php+xml实现在线英文词典之添加词条的方法
2015/01/23 PHP
基于GD2图形库的PHP生成图片缩略图类代码分享
2015/02/08 PHP
PHP函数超时处理方法
2016/02/14 PHP
php 的反射详解及示例代码
2016/08/25 PHP
jquery图片放大镜功能的实例代码
2013/03/26 Javascript
扩展JS Date对象时间格式化功能的小例子
2013/12/02 Javascript
JavaScript中如何通过arguments对象实现对象的重载
2014/05/12 Javascript
jQuery对val和atrr(&quot;value&quot;)赋值的区别介绍
2014/09/26 Javascript
AngularJS  自定义指令详解及实例代码
2016/09/14 Javascript
js改变html的原有内容实现方法
2016/10/05 Javascript
详解JS-- 浮点数运算处理
2016/11/28 Javascript
jqGrid翻页时数据选中丢失问题的解决办法
2017/02/13 Javascript
Extjs表单输入框异步校验的插件实现方法
2017/03/20 Javascript
jquery 禁止鼠标右键并监听右键事件
2017/04/27 jQuery
Node.js学习之TCP/IP数据通讯(实例讲解)
2017/10/11 Javascript
bootstrap 通过加减按钮实现输入框组功能
2017/11/15 Javascript
angularjs 缓存的使用详解
2018/03/19 Javascript
React styled-components设置组件属性的方法
2018/08/07 Javascript
vue中使用protobuf的过程记录
2018/10/26 Javascript
VUE简单的定时器实时刷新的实现方法
2019/01/20 Javascript
vue实现购物车的监听
2020/04/20 Javascript
[41:56]Spirit vs Liquid Supermajor小组赛A组 BO3 第一场 6.2
2018/06/03 DOTA
一个检测OpenSSL心脏出血漏洞的Python脚本分享
2014/04/10 Python
Python3如何解决字符编码问题详解
2017/04/23 Python
如何在sae中设置django,让sae的工作环境跟本地python环境一致
2017/11/21 Python
numpy下的flatten()函数用法详解
2019/05/27 Python
Python实现桌面翻译工具【新手必学】
2020/02/12 Python
python+selenium+chromedriver实现爬虫示例代码
2020/04/10 Python
一款纯css3实现的动画加载导航
2014/10/08 HTML / CSS
html5跨域通讯之postMessage的用法总结
2013/11/07 HTML / CSS
北美大型运动类产品商城:Champs Sports
2017/01/12 全球购物
Sofft鞋官网:世界知名鞋类品牌
2017/03/28 全球购物
欧洲最大的高尔夫零售商:American Golf
2019/09/02 全球购物
轻金属冶金专业毕业生自荐信
2013/11/02 职场文书
大学生简单自荐信
2013/11/10 职场文书
法律顾问服务方案
2014/05/15 职场文书