检测python爬虫时是否代理ip伪装成功的方法


Posted in Python onJuly 12, 2019

有时候我们的爬虫程序添加了代理,但是我们不知道程序是否获取到了ip,尤其是动态转发模式的,这时候就需要进行检测了,以下是一种代理是否伪装成功的检测方式,这里推介使用亿牛云提供的代码示例。

Python¶
requests
 #! -*- encoding:utf-8 -*-
 import requests
 import random
 
 # 要访问的目标页面
 targetUrl = "http://httpbin.org/ip"
 # 要访问的目标HTTPS页面
 # targetUrl = "https://httpbin.org/ip"
 # 代理服务器
 proxyHost = "t.16yun.cn"
 proxyPort = "31111"
 # 代理隧道验证信息
 proxyUser = "16ZKBRLB"
 proxyPass = "234076"
 proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
 "host" : proxyHost,
 "port" : proxyPort,
 "user" : proxyUser,
 "pass" : proxyPass,
 }
 # 设置 http和https访问都是用HTTP代理
 proxies = {
 "http" : proxyMeta,
 "https" : proxyMeta,
 }
 # 设置IP切换头
 tunnel = random.randint(1,10000)
 headers = {"Proxy-Tunnel": str(tunnel)}
 resp = requests.get(targetUrl, proxies=proxies, headers=headers)
 print resp.status_code
 print resp.text

要检测代理是否获取到,直接在配置代理后访http://httpbin.org/ip网站,获取到ip后再访问www.ip138.com就知道是否获取到了ip。

Python 相关文章推荐
python用pickle模块实现“增删改查”的简易功能
Jun 07 Python
Python 实现购物商城,含有用户入口和商家入口的示例
Sep 15 Python
python2.7到3.x迁移指南
Feb 01 Python
Python 实现删除某路径下文件及文件夹的实例讲解
Apr 24 Python
PyQt5的PyQtGraph实践系列3之实时数据更新绘制图形
May 13 Python
python实现文件的分割与合并
Aug 29 Python
Python 私有化操作实例分析
Nov 21 Python
Python使用psutil获取进程信息的例子
Dec 17 Python
使用keras2.0 将Merge层改为函数式
May 23 Python
Python多线程正确用法实例解析
May 30 Python
Python实现随机爬山算法
Jan 29 Python
Python办公自动化之教你用Python批量识别发票并录入到Excel表格中
Jun 26 Python
在PyCharm中控制台输出日志分层级分颜色显示的方法
Jul 11 #Python
基于sklearn实现Bagging算法(python)
Jul 11 #Python
Python的log日志功能及设置方法
Jul 11 #Python
python使用装饰器作日志处理的方法
Jul 11 #Python
Python日志无延迟实时写入的示例
Jul 11 #Python
深入了解Python iter() 方法的用法
Jul 11 #Python
用python给自己做一款小说阅读器过程详解
Jul 11 #Python
You might like
php获取当前时间的毫秒数的方法
2014/01/26 PHP
php保存任意网络图片到服务器的方法
2015/04/14 PHP
php实现的简单数据库操作Model类
2016/11/16 PHP
破除网页鼠标右键被禁用的绝招大全
2006/12/27 Javascript
自己动手制作jquery插件之自动添加删除行的实现
2011/10/13 Javascript
JavaScript包装对象使用介绍
2013/08/29 Javascript
JSONP跨域的原理解析及其实现介绍
2014/03/22 Javascript
jquery的ajax异步请求接收返回json数据实例
2014/06/16 Javascript
Js类的静态方法与实例方法区分及jQuery拓展的两种方法
2016/06/03 Javascript
jquery判断input值不为空的方法
2016/06/05 Javascript
Ext JS 实现建议词模糊动态搜索功能
2017/05/13 Javascript
webpack打包js文件及部署的实现方法
2017/12/18 Javascript
浅析Vue中拆分视图层代码的5点建议
2019/08/15 Javascript
layui 实现表单和文件上传一起传到后台的例子
2019/09/16 Javascript
es6函数之箭头函数用法实例详解
2020/04/25 Javascript
vue项目实现设置根据路由高亮对应的菜单项操作
2020/08/06 Javascript
[46:44]VG vs TNC Supermajor小组赛B组败者组决赛 BO3 第一场 6.2
2018/06/03 DOTA
python读写文件操作示例程序
2013/12/02 Python
Python2.x版本中maketrans()方法的使用介绍
2015/05/19 Python
Python with用法:自动关闭文件进程
2019/07/10 Python
Python3的高阶函数map,reduce,filter的示例详解
2019/07/23 Python
python 解决flask 图片在线浏览或者直接下载的问题
2020/01/09 Python
使用Python FastAPI构建Web服务的实现
2020/06/08 Python
Python turtle库的画笔控制说明
2020/06/28 Python
Python爬虫之Selenium中frame/iframe表单嵌套页面
2020/12/04 Python
GNC健安喜官方海外旗舰店:美国著名保健品牌
2017/01/04 全球购物
C语言面试题
2015/10/30 面试题
机械专业毕业生推荐信范文
2013/11/25 职场文书
网络管理员岗位职责
2014/03/17 职场文书
小学毕业典礼主持词
2014/03/27 职场文书
暑期社会实践证明书
2014/11/17 职场文书
2015年学校总务处工作总结
2015/05/19 职场文书
农贸批发市场管理制度
2015/08/07 职场文书
2016银行求职自荐信
2016/01/28 职场文书
用CSS3画一个爱心
2021/04/27 HTML / CSS
纯CSS3实现div按照顺序出入效果
2021/07/15 HTML / CSS