检测python爬虫时是否代理ip伪装成功的方法


Posted in Python onJuly 12, 2019

有时候我们的爬虫程序添加了代理,但是我们不知道程序是否获取到了ip,尤其是动态转发模式的,这时候就需要进行检测了,以下是一种代理是否伪装成功的检测方式,这里推介使用亿牛云提供的代码示例。

Python¶
requests
 #! -*- encoding:utf-8 -*-
 import requests
 import random
 
 # 要访问的目标页面
 targetUrl = "http://httpbin.org/ip"
 # 要访问的目标HTTPS页面
 # targetUrl = "https://httpbin.org/ip"
 # 代理服务器
 proxyHost = "t.16yun.cn"
 proxyPort = "31111"
 # 代理隧道验证信息
 proxyUser = "16ZKBRLB"
 proxyPass = "234076"
 proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
 "host" : proxyHost,
 "port" : proxyPort,
 "user" : proxyUser,
 "pass" : proxyPass,
 }
 # 设置 http和https访问都是用HTTP代理
 proxies = {
 "http" : proxyMeta,
 "https" : proxyMeta,
 }
 # 设置IP切换头
 tunnel = random.randint(1,10000)
 headers = {"Proxy-Tunnel": str(tunnel)}
 resp = requests.get(targetUrl, proxies=proxies, headers=headers)
 print resp.status_code
 print resp.text

要检测代理是否获取到,直接在配置代理后访http://httpbin.org/ip网站,获取到ip后再访问www.ip138.com就知道是否获取到了ip。

Python 相关文章推荐
Python XML RPC服务器端和客户端实例
Nov 22 Python
Python中用altzone()方法处理时区的教程
May 22 Python
python中如何正确使用正则表达式的详细模式(Verbose mode expression)
Nov 08 Python
python利用requests库进行接口测试的方法详解
Jul 06 Python
Python常见排序操作示例【字典、列表、指定元素等】
Aug 15 Python
Selenium+Python 自动化操控登录界面实例(有简单验证码图片校验)
Jun 28 Python
浅谈Django中view对数据库的调用方法
Jul 18 Python
python腾讯语音合成实现过程解析
Aug 01 Python
Python 中@property的用法详解
Jan 15 Python
Python定义函数实现累计求和操作
May 03 Python
PyTorch之nn.ReLU与F.ReLU的区别介绍
Jun 27 Python
OpenCV4.1.0+VS2017环境配置的方法步骤
Jul 09 Python
在PyCharm中控制台输出日志分层级分颜色显示的方法
Jul 11 #Python
基于sklearn实现Bagging算法(python)
Jul 11 #Python
Python的log日志功能及设置方法
Jul 11 #Python
python使用装饰器作日志处理的方法
Jul 11 #Python
Python日志无延迟实时写入的示例
Jul 11 #Python
深入了解Python iter() 方法的用法
Jul 11 #Python
用python给自己做一款小说阅读器过程详解
Jul 11 #Python
You might like
在PHP中执行系统外部命令
2006/10/09 PHP
php中使用Imagick实现图像直方图的实现代码
2011/08/30 PHP
Destoon模板制作简明教程
2014/06/20 PHP
php视频拍照上传头像功能实现代码分享
2015/10/08 PHP
php生成微信红包数组的方法
2019/09/05 PHP
php使用pthreads v3多线程实现抓取新浪新闻信息操作示例
2020/02/21 PHP
js实现的仿新浪微博完美的时间组件升级版
2011/12/20 Javascript
javascript学习笔记(十三) js闭包介绍(转)
2012/06/20 Javascript
ie下jquery.getJSON的缓存问题的处理方法
2013/03/29 Javascript
jquery弹窗插件colorbox绑定动态生成元素的方法
2014/06/20 Javascript
nodejs实现HTTPS发起POST请求
2015/04/23 NodeJs
pc加载更多功能和移动端下拉刷新加载数据
2016/11/07 Javascript
JS中append字符串包含onclick无效传递参数失败的解决方案
2016/12/26 Javascript
jQuery条件分页 代替离线查询(附代码)
2017/08/17 jQuery
jQuery选择器之属性过滤选择器详解
2017/09/28 jQuery
node打造微信个人号机器人的方法示例
2018/04/26 Javascript
详解ajax的data参数错误导致页面崩溃
2018/04/30 Javascript
基于Vue-cli快速搭建项目的完整步骤
2018/11/03 Javascript
Node.js动手撸一个静态资源服务器的方法
2019/03/09 Javascript
Vue开发之封装上传文件组件与用法示例
2019/04/25 Javascript
小程序云函数调用API接口的方法
2019/05/17 Javascript
Node.js 获取微信JS-SDK CONFIG的方法示例
2019/05/21 Javascript
[55:45]DOTA2上海特级锦标赛D组败者赛 Liquid VS COL第一局
2016/02/28 DOTA
python3使用tkinter实现ui界面简单实例
2014/01/10 Python
Python中的startswith和endswith函数使用实例
2014/08/25 Python
Python实现删除当前目录下除当前脚本以外的文件和文件夹实例
2015/07/27 Python
Python tornado队列示例-一个并发web爬虫代码分享
2018/01/09 Python
Python进度条的制作代码实例
2019/08/31 Python
Pytorch实现基于CharRNN的文本分类与生成示例
2020/01/08 Python
python从PDF中提取数据的示例
2020/10/30 Python
详解canvas多边形(蜘蛛图)的画法示例
2018/01/29 HTML / CSS
Java里面StringBuilder和StringBuffer有什么区别
2016/06/06 面试题
.net面试题
2015/12/22 面试题
小学后勤管理制度
2014/01/14 职场文书
我的生日感言
2015/08/03 职场文书
《我的美好婚事》动画化决定纪念插画与先导PV公开
2022/04/06 日漫