检测python爬虫时是否代理ip伪装成功的方法


Posted in Python onJuly 12, 2019

有时候我们的爬虫程序添加了代理,但是我们不知道程序是否获取到了ip,尤其是动态转发模式的,这时候就需要进行检测了,以下是一种代理是否伪装成功的检测方式,这里推介使用亿牛云提供的代码示例。

Python¶
requests
 #! -*- encoding:utf-8 -*-
 import requests
 import random
 
 # 要访问的目标页面
 targetUrl = "http://httpbin.org/ip"
 # 要访问的目标HTTPS页面
 # targetUrl = "https://httpbin.org/ip"
 # 代理服务器
 proxyHost = "t.16yun.cn"
 proxyPort = "31111"
 # 代理隧道验证信息
 proxyUser = "16ZKBRLB"
 proxyPass = "234076"
 proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
 "host" : proxyHost,
 "port" : proxyPort,
 "user" : proxyUser,
 "pass" : proxyPass,
 }
 # 设置 http和https访问都是用HTTP代理
 proxies = {
 "http" : proxyMeta,
 "https" : proxyMeta,
 }
 # 设置IP切换头
 tunnel = random.randint(1,10000)
 headers = {"Proxy-Tunnel": str(tunnel)}
 resp = requests.get(targetUrl, proxies=proxies, headers=headers)
 print resp.status_code
 print resp.text

要检测代理是否获取到,直接在配置代理后访http://httpbin.org/ip网站,获取到ip后再访问www.ip138.com就知道是否获取到了ip。

Python 相关文章推荐
Python Web服务器Tornado使用小结
May 06 Python
Python Web框架Flask中使用百度云存储BCS实例
Feb 08 Python
Python生成随机验证码的两种方法
Dec 22 Python
实例讲解Python中函数的调用与定义
Mar 14 Python
Python中pygal绘制雷达图代码分享
Dec 07 Python
Python 2.7中文显示与处理方法
Jul 16 Python
简单了解django缓存方式及配置
Jul 19 Python
Python下opencv图像阈值处理的使用笔记
Aug 04 Python
python中enumerate() 与zip()函数的使用比较实例分析
Sep 03 Python
Python 输出详细的异常信息(traceback)方式
Apr 08 Python
Django通过设置CORS解决跨域问题
Nov 26 Python
如何使用python包中的sched事件调度器
Apr 30 Python
在PyCharm中控制台输出日志分层级分颜色显示的方法
Jul 11 #Python
基于sklearn实现Bagging算法(python)
Jul 11 #Python
Python的log日志功能及设置方法
Jul 11 #Python
python使用装饰器作日志处理的方法
Jul 11 #Python
Python日志无延迟实时写入的示例
Jul 11 #Python
深入了解Python iter() 方法的用法
Jul 11 #Python
用python给自己做一款小说阅读器过程详解
Jul 11 #Python
You might like
星际争霸教主Flash的ID由来:你永远不会知道他之前的ID是www!
2019/01/18 星际争霸
php 随机数的产生、页面跳转、件读写、文件重命名、switch语句
2009/08/07 PHP
利用curl抓取远程页面内容的示例代码
2013/07/23 PHP
PHP获取指定函数定义在哪个文件中以及其所在的行号实例
2014/05/08 PHP
php中实现可以返回多个值的函数实例
2015/03/21 PHP
TP5框架model常见操作示例小结【增删改查、聚合、时间戳、软删除等】
2020/04/05 PHP
javascript函数库-集合框架
2007/04/27 Javascript
菜鸟学习JavaScript小实验之函数引用
2010/11/17 Javascript
javascript 密码框防止用户粘贴和复制的实现代码
2014/02/17 Javascript
轻量级网页遮罩层jQuery插件用法实例
2015/07/31 Javascript
详解JavaScript中的Unescape()和String() 函数
2015/11/09 Javascript
仅一个form表单 js实现注册信息依次填写提交功能
2016/06/12 Javascript
基于vue.js路由参数的实例讲解——简单易懂
2017/09/07 Javascript
微信小程序实现YDUI的ScrollTab组件
2018/02/02 Javascript
Vue实现搜索 和新闻列表功能简单范例
2018/03/16 Javascript
微信小程序项目总结之点赞 删除列表 分享功能
2018/06/25 Javascript
小结Python用fork来创建子进程注意事项
2014/07/03 Python
python使用Pycharm创建一个Django项目
2018/03/05 Python
Python数据结构之栈、队列及二叉树定义与用法浅析
2018/12/27 Python
From CSV to SQLite3 by python 导入csv到sqlite实例
2020/02/14 Python
django模型动态修改参数,增加 filter 字段的方式
2020/03/16 Python
Python图像阈值化处理及算法比对实例解析
2020/06/19 Python
哪种Python框架适合你?简单介绍几种主流Python框架
2020/08/04 Python
python开发一款翻译工具
2020/10/10 Python
css3制作彩色边线3d立体按钮的示例(css3按钮)
2014/05/06 HTML / CSS
CSS3 毛玻璃效果
2019/08/14 HTML / CSS
HTML5 Canvas 起步(2) - 路径
2009/05/12 HTML / CSS
移动端Html5中百度地图的点击事件
2019/01/31 HTML / CSS
大女孩胸罩:Big Girls Bras
2016/12/15 全球购物
德国汽车零件和汽车配件网上商店:kfzteile24
2018/11/14 全球购物
Liu Jo西班牙官网:意大利服装品牌
2019/09/11 全球购物
实习生自我评价
2014/01/18 职场文书
运输服务质量承诺书
2014/03/27 职场文书
2014年综治宣传月活动总结
2014/04/28 职场文书
消防宣传语大全
2015/07/13 职场文书
2016年春节问候语
2015/11/11 职场文书