检测python爬虫时是否代理ip伪装成功的方法


Posted in Python onJuly 12, 2019

有时候我们的爬虫程序添加了代理,但是我们不知道程序是否获取到了ip,尤其是动态转发模式的,这时候就需要进行检测了,以下是一种代理是否伪装成功的检测方式,这里推介使用亿牛云提供的代码示例。

Python¶
requests
 #! -*- encoding:utf-8 -*-
 import requests
 import random
 
 # 要访问的目标页面
 targetUrl = "http://httpbin.org/ip"
 # 要访问的目标HTTPS页面
 # targetUrl = "https://httpbin.org/ip"
 # 代理服务器
 proxyHost = "t.16yun.cn"
 proxyPort = "31111"
 # 代理隧道验证信息
 proxyUser = "16ZKBRLB"
 proxyPass = "234076"
 proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
 "host" : proxyHost,
 "port" : proxyPort,
 "user" : proxyUser,
 "pass" : proxyPass,
 }
 # 设置 http和https访问都是用HTTP代理
 proxies = {
 "http" : proxyMeta,
 "https" : proxyMeta,
 }
 # 设置IP切换头
 tunnel = random.randint(1,10000)
 headers = {"Proxy-Tunnel": str(tunnel)}
 resp = requests.get(targetUrl, proxies=proxies, headers=headers)
 print resp.status_code
 print resp.text

要检测代理是否获取到,直接在配置代理后访http://httpbin.org/ip网站,获取到ip后再访问www.ip138.com就知道是否获取到了ip。

Python 相关文章推荐
Python 使用SMTP发送邮件的代码小结
Sep 21 Python
python 采集中文乱码问题的完美解决方法
Sep 27 Python
Python实现冒泡排序的简单应用示例
Dec 11 Python
20个常用Python运维库和模块
Feb 12 Python
python接口自动化(十七)--Json 数据处理---一次爬坑记(详解)
Apr 18 Python
Python使用百度api做人脸对比的方法
Aug 28 Python
python 循环数据赋值实例
Dec 02 Python
python turtle 绘制太极图的实例
Dec 18 Python
PyCharm使用之配置SSH Interpreter的方法步骤
Dec 26 Python
Python使用Pandas库常见操作详解
Jan 16 Python
踩坑:pytorch中eval模式下结果远差于train模式介绍
Jun 23 Python
python 爬取百度文库并下载(免费文章限定)
Dec 04 Python
在PyCharm中控制台输出日志分层级分颜色显示的方法
Jul 11 #Python
基于sklearn实现Bagging算法(python)
Jul 11 #Python
Python的log日志功能及设置方法
Jul 11 #Python
python使用装饰器作日志处理的方法
Jul 11 #Python
Python日志无延迟实时写入的示例
Jul 11 #Python
深入了解Python iter() 方法的用法
Jul 11 #Python
用python给自己做一款小说阅读器过程详解
Jul 11 #Python
You might like
【COS正片】蕾姆睡衣cos,纯洁可爱被治愈了 cn名濑弥七
2020/03/02 日漫
php 多关键字 高亮显示实现代码
2012/04/23 PHP
php导出word格式数据的代码实例
2013/11/25 PHP
php出现内存位置访问无效错误问题解决方法
2014/08/16 PHP
php数组中删除元素之重新索引的方法
2014/09/16 PHP
基于OpenCart 开发支付宝,财付通,微信支付参数错误问题
2015/10/01 PHP
深入浅出讲解:php的socket通信原理
2016/12/03 PHP
Js注册协议倒计时的小例子
2013/06/24 Javascript
解析javascript系统错误:-1072896658的解决办法
2013/07/08 Javascript
JS实现时间格式化的方式汇总
2013/10/16 Javascript
innerHTML属性,outerHTML属性,textContent属性,innerText属性区别详解
2015/03/13 Javascript
javascript实现淡蓝色的鼠标拖动选择框实例
2015/05/09 Javascript
基于jQuery实现搜索关键字自动匹配功能
2020/03/26 Javascript
详解JavaScript时间处理之几个月前或几个月后的指定日期
2016/12/21 Javascript
JavaScript 完成注册页面表单校验的实例
2017/08/19 Javascript
基于js实现复制内容到操作系统粘贴板过程解析
2019/10/11 Javascript
JavaScript canvas仿代码流瀑布
2020/02/10 Javascript
vue微信分享插件使用方法详解
2020/02/18 Javascript
python 平衡二叉树实现代码示例
2018/07/07 Python
python的pstuil模块使用方法总结
2019/07/26 Python
tensorflow通过模型文件,使用tensorboard查看其模型图Graph方式
2020/01/23 Python
如何解决flask修改静态资源后缓存文件不能及时更改问题
2020/08/02 Python
python中append函数用法讲解
2020/12/11 Python
美国最灵活的移动提供商:Tello
2017/07/18 全球购物
Bogner美国官网:滑雪服中的”Dior”
2018/01/30 全球购物
如何在Oracle中查看各个表、表空间占用空间的大小
2015/10/31 面试题
StringBuilder和String的区别
2015/05/18 面试题
课堂教学改革实施方案
2014/03/17 职场文书
校园文化标语
2014/06/18 职场文书
财务会计专业自荐书
2014/06/30 职场文书
政府领导干部个人对照检查材料思想汇报
2014/09/24 职场文书
2015年社区居委会工作总结
2015/05/18 职场文书
婚宴新娘致辞
2015/07/28 职场文书
《唯一的听众》教学反思
2016/02/18 职场文书
python函数指定默认值的实例讲解
2021/03/29 Python
基于angular实现树形二级表格
2021/10/16 Javascript