检测python爬虫时是否代理ip伪装成功的方法


Posted in Python onJuly 12, 2019

有时候我们的爬虫程序添加了代理,但是我们不知道程序是否获取到了ip,尤其是动态转发模式的,这时候就需要进行检测了,以下是一种代理是否伪装成功的检测方式,这里推介使用亿牛云提供的代码示例。

Python¶
requests
 #! -*- encoding:utf-8 -*-
 import requests
 import random
 
 # 要访问的目标页面
 targetUrl = "http://httpbin.org/ip"
 # 要访问的目标HTTPS页面
 # targetUrl = "https://httpbin.org/ip"
 # 代理服务器
 proxyHost = "t.16yun.cn"
 proxyPort = "31111"
 # 代理隧道验证信息
 proxyUser = "16ZKBRLB"
 proxyPass = "234076"
 proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
 "host" : proxyHost,
 "port" : proxyPort,
 "user" : proxyUser,
 "pass" : proxyPass,
 }
 # 设置 http和https访问都是用HTTP代理
 proxies = {
 "http" : proxyMeta,
 "https" : proxyMeta,
 }
 # 设置IP切换头
 tunnel = random.randint(1,10000)
 headers = {"Proxy-Tunnel": str(tunnel)}
 resp = requests.get(targetUrl, proxies=proxies, headers=headers)
 print resp.status_code
 print resp.text

要检测代理是否获取到,直接在配置代理后访http://httpbin.org/ip网站,获取到ip后再访问www.ip138.com就知道是否获取到了ip。

Python 相关文章推荐
python进阶教程之异常处理
Aug 30 Python
linux 下实现python多版本安装实践
Nov 18 Python
python 上下文管理器使用方法小结
Oct 10 Python
Python实现的堆排序算法原理与用法实例分析
Nov 22 Python
Python unittest模块用法实例分析
May 25 Python
python 读取文本文件的行数据,文件.splitlines()的方法
Jul 12 Python
Python子类继承父类构造函数详解
Feb 19 Python
Python实现最常见加密方式详解
Jul 13 Python
python使用paramiko实现ssh的功能详解
Mar 06 Python
python文件及目录操作代码汇总
Jul 08 Python
Django跨域请求原理及实现代码
Nov 14 Python
python爬虫分布式获取数据的实例方法
Nov 26 Python
在PyCharm中控制台输出日志分层级分颜色显示的方法
Jul 11 #Python
基于sklearn实现Bagging算法(python)
Jul 11 #Python
Python的log日志功能及设置方法
Jul 11 #Python
python使用装饰器作日志处理的方法
Jul 11 #Python
Python日志无延迟实时写入的示例
Jul 11 #Python
深入了解Python iter() 方法的用法
Jul 11 #Python
用python给自己做一款小说阅读器过程详解
Jul 11 #Python
You might like
php性能优化分析工具XDebug 大型网站调试工具
2011/05/22 PHP
php匹配字符中链接地址的方法
2014/12/22 PHP
phpinfo无法显示的原因及解决办法
2019/02/15 PHP
一些Javascript的IE和Firefox(火狐)兼容性的问题总结及常用例子
2009/05/21 Javascript
jquery 学习之一 对象访问
2010/11/23 Javascript
把input初始值不写value的具体实现方法
2013/07/04 Javascript
angularJS 中$scope方法使用指南
2015/02/09 Javascript
JavaScript实现鼠标滑过处生成气泡的方法
2015/05/16 Javascript
javascript 中的 delete及delete运算符
2015/11/15 Javascript
Jquery实现仿京东商城省市联动菜单
2015/11/19 Javascript
Bootstrap 附加导航(Affix)插件实例详解
2016/06/01 Javascript
JS实现微信弹出搜索框 多条件查询功能
2016/12/13 Javascript
js时间戳和c#时间戳互转方法(推荐)
2017/02/15 Javascript
javascript实现数据双向绑定的三种方式小结
2017/03/09 Javascript
Vue 2中ref属性的使用方法及注意事项
2017/06/12 Javascript
详解用vue.js和laravel实现微信支付
2017/06/23 Javascript
基于构造函数的五种继承方法小结
2017/07/27 Javascript
React-Router如何进行页面权限管理的方法
2017/12/06 Javascript
nodejs基于express实现文件上传的方法
2018/03/19 NodeJs
教你如何在Django 1.6中正确使用 Signal
2014/06/22 Python
浅谈Python中重载isinstance继承关系的问题
2018/05/04 Python
python中字符串数组逆序排列方法总结
2019/06/23 Python
linux下安装python3和对应的pip环境教程详解
2019/07/01 Python
Python如何基于smtplib发不同格式的邮件
2019/12/30 Python
pytorch模型存储的2种实现方法
2020/02/14 Python
Keras设定GPU使用内存大小方式(Tensorflow backend)
2020/05/22 Python
荷兰游戏商店:Allyouplay
2019/03/16 全球购物
如何用JQuery进行表单验证
2013/05/29 面试题
幼师专业毕业生自荐信
2013/09/29 职场文书
环境工程专业个人求职信
2013/12/05 职场文书
财产保全担保书范文
2014/04/01 职场文书
教师个人读书活动总结
2014/07/08 职场文书
我的中国梦演讲稿1000字
2014/08/19 职场文书
工伤事故证明
2014/10/20 职场文书
预备党员群众路线教育实践活动思想汇报2014
2014/10/25 职场文书
《社戏》教学反思
2016/02/22 职场文书