检测python爬虫时是否代理ip伪装成功的方法


Posted in Python onJuly 12, 2019

有时候我们的爬虫程序添加了代理,但是我们不知道程序是否获取到了ip,尤其是动态转发模式的,这时候就需要进行检测了,以下是一种代理是否伪装成功的检测方式,这里推介使用亿牛云提供的代码示例。

Python¶
requests
 #! -*- encoding:utf-8 -*-
 import requests
 import random
 
 # 要访问的目标页面
 targetUrl = "http://httpbin.org/ip"
 # 要访问的目标HTTPS页面
 # targetUrl = "https://httpbin.org/ip"
 # 代理服务器
 proxyHost = "t.16yun.cn"
 proxyPort = "31111"
 # 代理隧道验证信息
 proxyUser = "16ZKBRLB"
 proxyPass = "234076"
 proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
 "host" : proxyHost,
 "port" : proxyPort,
 "user" : proxyUser,
 "pass" : proxyPass,
 }
 # 设置 http和https访问都是用HTTP代理
 proxies = {
 "http" : proxyMeta,
 "https" : proxyMeta,
 }
 # 设置IP切换头
 tunnel = random.randint(1,10000)
 headers = {"Proxy-Tunnel": str(tunnel)}
 resp = requests.get(targetUrl, proxies=proxies, headers=headers)
 print resp.status_code
 print resp.text

要检测代理是否获取到,直接在配置代理后访http://httpbin.org/ip网站,获取到ip后再访问www.ip138.com就知道是否获取到了ip。

Python 相关文章推荐
python使用心得之获得github代码库列表
Jun 25 Python
python获取android设备的GPS信息脚本分享
Mar 06 Python
Python之读取TXT文件的方法小结
Apr 27 Python
pygame游戏之旅 调用按钮实现游戏开始功能
Nov 21 Python
django formset实现数据表的批量操作的示例代码
Dec 06 Python
python3 requests库实现多图片爬取教程
Dec 18 Python
Python.append()与Python.expand()用法详解
Dec 18 Python
PyCharm使用之配置SSH Interpreter的方法步骤
Dec 26 Python
Python猜数字算法题详解
Mar 01 Python
python实现的人脸识别打卡系统
May 08 Python
python 常用的异步框架汇总整理
Jun 18 Python
pytorch分类模型绘制混淆矩阵以及可视化详解
Apr 07 Python
在PyCharm中控制台输出日志分层级分颜色显示的方法
Jul 11 #Python
基于sklearn实现Bagging算法(python)
Jul 11 #Python
Python的log日志功能及设置方法
Jul 11 #Python
python使用装饰器作日志处理的方法
Jul 11 #Python
Python日志无延迟实时写入的示例
Jul 11 #Python
深入了解Python iter() 方法的用法
Jul 11 #Python
用python给自己做一款小说阅读器过程详解
Jul 11 #Python
You might like
给初学PHP的5个入手程序
2006/11/23 PHP
WINDOWS下php5.2.4+mysql6.0+apache2.2.4+ZendOptimizer-3.3.0配置
2008/03/28 PHP
PHP优于Node.js的五大理由分享
2012/09/15 PHP
安装apache2.2.22配置php5.4(具体操作步骤)
2013/06/26 PHP
php打开文件fopen函数的使用说明
2013/07/05 PHP
一个经典的PHP验证码类分享
2014/11/18 PHP
smarty模板引擎从配置文件中获取数据的方法
2015/01/22 PHP
Zend Framework教程之Zend_Registry对象用法分析
2016/03/22 PHP
JS实现点击图片在当前页面放大并可关闭的漂亮效果
2013/10/18 Javascript
jQuery鼠标经过方形图片切换成圆边效果代码分享
2015/08/20 Javascript
JS动态添加选项案例分析
2016/10/17 Javascript
JavaScript获取键盘按键的键码(参照表)
2017/01/10 Javascript
JS触摸与手势事件详解
2017/05/09 Javascript
Vue条件循环判断+计算属性+绑定样式v-bind的实例
2018/09/18 Javascript
webpack配置proxyTable时pathRewrite无效的解决方法
2018/12/13 Javascript
Vue动态组件与异步组件实例详解
2019/02/23 Javascript
angular 实现下拉列表组件的示例代码
2019/03/09 Javascript
JS中自定义事件的使用与触发操作实例分析
2019/11/01 Javascript
JavaScript面试中常考的字符串操作方法大全(包含ES6)
2020/05/10 Javascript
JavaScript实现缓动动画
2020/11/25 Javascript
[03:11]不朽宝藏三外观展示
2020/09/18 DOTA
python实现k-means聚类算法
2018/02/23 Python
pyqt5 从本地选择图片 并显示在label上的实例
2019/06/13 Python
使用CSS3来绘制一个月食图案
2015/07/18 HTML / CSS
详解HTML5中的拖放事件(Drag 和 drop)
2016/11/14 HTML / CSS
德国受欢迎的旅游和休闲网站:lastminute.de
2019/09/23 全球购物
Weblogic的布署方式
2013/08/23 面试题
行政助理岗位职责
2013/11/10 职场文书
写给女朋友的道歉信
2014/01/12 职场文书
合作协议书
2014/04/23 职场文书
校园文化艺术节宣传标语
2014/10/09 职场文书
2014年大学宣传部工作总结
2014/12/19 职场文书
2016年寒假见闻
2015/10/10 职场文书
2016教师党员学习心得体会
2016/01/21 职场文书
Mysql中调试存储过程最简单的方法
2021/06/30 MySQL
HTML页面中使两个div并排显示的实现
2022/05/15 HTML / CSS