检测python爬虫时是否代理ip伪装成功的方法


Posted in Python onJuly 12, 2019

有时候我们的爬虫程序添加了代理,但是我们不知道程序是否获取到了ip,尤其是动态转发模式的,这时候就需要进行检测了,以下是一种代理是否伪装成功的检测方式,这里推介使用亿牛云提供的代码示例。

Python¶
requests
 #! -*- encoding:utf-8 -*-
 import requests
 import random
 
 # 要访问的目标页面
 targetUrl = "http://httpbin.org/ip"
 # 要访问的目标HTTPS页面
 # targetUrl = "https://httpbin.org/ip"
 # 代理服务器
 proxyHost = "t.16yun.cn"
 proxyPort = "31111"
 # 代理隧道验证信息
 proxyUser = "16ZKBRLB"
 proxyPass = "234076"
 proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
 "host" : proxyHost,
 "port" : proxyPort,
 "user" : proxyUser,
 "pass" : proxyPass,
 }
 # 设置 http和https访问都是用HTTP代理
 proxies = {
 "http" : proxyMeta,
 "https" : proxyMeta,
 }
 # 设置IP切换头
 tunnel = random.randint(1,10000)
 headers = {"Proxy-Tunnel": str(tunnel)}
 resp = requests.get(targetUrl, proxies=proxies, headers=headers)
 print resp.status_code
 print resp.text

要检测代理是否获取到,直接在配置代理后访http://httpbin.org/ip网站,获取到ip后再访问www.ip138.com就知道是否获取到了ip。

Python 相关文章推荐
Python中无限元素列表的实现方法
Aug 18 Python
python进阶教程之循环对象
Aug 30 Python
Python中的descriptor描述器简明使用指南
Jun 02 Python
python实现list元素按关键字相加减的方法示例
Jun 09 Python
python读取excel指定列数据并写入到新的excel方法
Jul 10 Python
Python3对称加密算法AES、DES3实例详解
Dec 06 Python
基于Numpy.convolve使用Python实现滑动平均滤波的思路详解
May 16 Python
Django如何自定义model创建数据库索引的顺序
Jun 20 Python
python全栈要学什么 python全栈学习路线
Jun 28 Python
python 基于TCP协议的套接字编程详解
Jun 29 Python
python+Django实现防止SQL注入的办法
Oct 31 Python
关于Pytorch MaxUnpool2d中size操作方式
Jan 03 Python
在PyCharm中控制台输出日志分层级分颜色显示的方法
Jul 11 #Python
基于sklearn实现Bagging算法(python)
Jul 11 #Python
Python的log日志功能及设置方法
Jul 11 #Python
python使用装饰器作日志处理的方法
Jul 11 #Python
Python日志无延迟实时写入的示例
Jul 11 #Python
深入了解Python iter() 方法的用法
Jul 11 #Python
用python给自己做一款小说阅读器过程详解
Jul 11 #Python
You might like
php in_array 函数使用说明与in_array需要注意的地方说明
2010/04/13 PHP
javascript Array对象基础知识小结
2010/11/16 Javascript
jQuery页面滚动浮动层智能定位实例代码
2011/08/23 Javascript
使用jQuery操作Cookies的实现代码
2011/10/09 Javascript
javascript自定义右键弹出菜单实现方法
2015/05/25 Javascript
详解基于javascript实现的苹果系统底部菜单
2016/12/02 Javascript
JS实现的DIV块来回滚动效果示例
2017/02/07 Javascript
JavaScript屏蔽Backspace键的实现代码
2017/11/02 Javascript
Node.js调用fs.renameSync报错(Error: EXDEV, cross-device link not permitted)
2017/12/27 Javascript
JS正则表达式常见用法实例详解
2018/06/19 Javascript
jQuery实现点击旋转,再点击恢复初始状态动画效果示例
2018/12/11 jQuery
jQuery实现的导航条点击后高亮显示功能示例
2019/03/04 jQuery
关于在LayUI中使用AJAX提交巨坑记录
2019/10/25 Javascript
vue-element-admin 菜单标签失效的解决方式
2019/11/12 Javascript
JS关闭子窗口并且刷新上一个窗口的实现示例
2020/03/10 Javascript
vue element和nuxt的使用技巧分享
2021/01/14 Vue.js
[01:09:40]Newbee vs Pain 2018国际邀请赛小组赛BO2 第一场 8.16
2018/08/17 DOTA
[03:11]TI9战队档案 - Alliance
2019/08/20 DOTA
使用python调用浏览器并打开一个网址的例子
2014/06/05 Python
Python实现国外赌场热门游戏Craps(双骰子)
2015/03/31 Python
使用Python求解最大公约数的实现方法
2015/08/20 Python
利用Python中SocketServer 实现客户端与服务器间非阻塞通信
2016/12/15 Python
浅谈Python peewee 使用经验
2017/10/20 Python
分析python动态规划的递归、非递归实现
2018/03/04 Python
Python 访问限制 private public的详细介绍
2018/10/16 Python
pytorch 加载(.pth)格式的模型实例
2019/08/20 Python
查看keras各种网络结构各层的名字方式
2020/06/11 Python
英国地毯卖家:The Rug Seller
2019/07/18 全球购物
见习期自我鉴定
2013/11/07 职场文书
电厂职工自我鉴定
2014/02/20 职场文书
我为党旗添光彩演讲稿
2014/09/13 职场文书
我与祖国共奋进演讲稿
2014/09/13 职场文书
营运督导岗位职责
2015/04/10 职场文书
2016大学生形势与政策心得体会
2016/01/12 职场文书
那些美到让人窒息的诗句,值得你收藏!
2019/08/20 职场文书
vscode远程免密登入Linux服务器的配置方法
2022/06/28 Servers