检测python爬虫时是否代理ip伪装成功的方法


Posted in Python onJuly 12, 2019

有时候我们的爬虫程序添加了代理,但是我们不知道程序是否获取到了ip,尤其是动态转发模式的,这时候就需要进行检测了,以下是一种代理是否伪装成功的检测方式,这里推介使用亿牛云提供的代码示例。

Python¶
requests
 #! -*- encoding:utf-8 -*-
 import requests
 import random
 
 # 要访问的目标页面
 targetUrl = "http://httpbin.org/ip"
 # 要访问的目标HTTPS页面
 # targetUrl = "https://httpbin.org/ip"
 # 代理服务器
 proxyHost = "t.16yun.cn"
 proxyPort = "31111"
 # 代理隧道验证信息
 proxyUser = "16ZKBRLB"
 proxyPass = "234076"
 proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
 "host" : proxyHost,
 "port" : proxyPort,
 "user" : proxyUser,
 "pass" : proxyPass,
 }
 # 设置 http和https访问都是用HTTP代理
 proxies = {
 "http" : proxyMeta,
 "https" : proxyMeta,
 }
 # 设置IP切换头
 tunnel = random.randint(1,10000)
 headers = {"Proxy-Tunnel": str(tunnel)}
 resp = requests.get(targetUrl, proxies=proxies, headers=headers)
 print resp.status_code
 print resp.text

要检测代理是否获取到,直接在配置代理后访http://httpbin.org/ip网站,获取到ip后再访问www.ip138.com就知道是否获取到了ip。

Python 相关文章推荐
python列表与元组详解实例
Nov 01 Python
Python多进程通信Queue、Pipe、Value、Array实例
Nov 21 Python
Python3 处理JSON的实例详解
Oct 29 Python
python利用OpenCV2实现人脸检测
Apr 16 Python
python 定义n个变量方法 (变量声明自动化)
Nov 10 Python
WIn10+Anaconda环境下安装PyTorch(避坑指南)
Jan 30 Python
pyqt 实现为长内容添加滑轮 scrollArea
Jun 19 Python
python获取指定日期范围内的每一天,每个月,每季度的方法
Aug 08 Python
如何基于python操作excel并获取内容
Dec 24 Python
解决pytorch DataLoader num_workers出现的问题
Jan 14 Python
python logging.basicConfig不生效的原因及解决
Feb 20 Python
Python3.7.0 Shell添加清屏快捷键的实现示例
Mar 23 Python
在PyCharm中控制台输出日志分层级分颜色显示的方法
Jul 11 #Python
基于sklearn实现Bagging算法(python)
Jul 11 #Python
Python的log日志功能及设置方法
Jul 11 #Python
python使用装饰器作日志处理的方法
Jul 11 #Python
Python日志无延迟实时写入的示例
Jul 11 #Python
深入了解Python iter() 方法的用法
Jul 11 #Python
用python给自己做一款小说阅读器过程详解
Jul 11 #Python
You might like
利用static实现表格的颜色隔行显示的代码
2007/09/02 PHP
基于PHP文件操作的详解
2013/06/05 PHP
php+mysql不用递归实现的无限级分类实例(非递归)
2014/07/08 PHP
PHP中上传文件打印错误错误类型分析
2019/04/14 PHP
Thinkphp框架使用list_to_tree 实现无限级分类列出所有节点示例
2020/04/04 PHP
浅说js变量
2011/05/25 Javascript
JS.getTextContent(element,preformatted)使用介绍
2013/09/21 Javascript
js获取select选中的option的text示例代码
2013/12/19 Javascript
jquery实现个人中心导航菜单效果和美观都非常不错
2014/09/02 Javascript
浅谈Javascript 数组与字典
2015/01/29 Javascript
JavaScript中判断函数、变量是否存在
2015/06/10 Javascript
jQuery on()方法示例及jquery on()方法的优点
2015/08/27 Javascript
JS实现响应鼠标点击动画渐变弹出层效果代码
2016/03/25 Javascript
深入学习js瀑布流布局
2016/10/14 Javascript
javascript 玩转Date对象(实例讲解)
2017/07/11 Javascript
浅谈angularJS的$watch失效问题的解决方案
2017/08/11 Javascript
AngularJS自定义表单验证功能实例详解
2018/08/24 Javascript
vue 表单验证按钮事件交由父组件触发的方法
2018/12/17 Javascript
React性能优化系列之减少props改变的实现方法
2019/01/17 Javascript
[44:58]2018DOTA2亚洲邀请赛 4.5 淘汰赛 LGD vs Liquid 第二场
2018/04/06 DOTA
Python学习笔记(二)基础语法
2014/06/06 Python
python单例模式实例分析
2015/04/08 Python
用Python的Django框架编写从Google Adsense中获得报表的应用
2015/04/17 Python
python 生成器生成杨辉三角的方法(必看)
2017/04/10 Python
Python处理CSV与List的转换方法
2018/04/19 Python
python网络编程之五子棋游戏
2020/05/14 Python
Python在字符串中处理html和xml的方法
2020/07/31 Python
python自动提取文本中的时间(包含中文日期)
2020/08/31 Python
Python+kivy BoxLayout布局示例代码详解
2020/12/28 Python
HTML5 Canvas 实现K线图的示例代码
2019/12/23 HTML / CSS
运动会广播稿500字
2014/01/28 职场文书
三年级数学教学反思
2014/01/31 职场文书
采购求职信
2014/03/17 职场文书
质量在我心中演讲稿
2014/09/02 职场文书
助学金感谢信
2015/01/20 职场文书
python双向链表实例详解
2022/05/25 Python