检测python爬虫时是否代理ip伪装成功的方法


Posted in Python onJuly 12, 2019

有时候我们的爬虫程序添加了代理,但是我们不知道程序是否获取到了ip,尤其是动态转发模式的,这时候就需要进行检测了,以下是一种代理是否伪装成功的检测方式,这里推介使用亿牛云提供的代码示例。

Python¶
requests
 #! -*- encoding:utf-8 -*-
 import requests
 import random
 
 # 要访问的目标页面
 targetUrl = "http://httpbin.org/ip"
 # 要访问的目标HTTPS页面
 # targetUrl = "https://httpbin.org/ip"
 # 代理服务器
 proxyHost = "t.16yun.cn"
 proxyPort = "31111"
 # 代理隧道验证信息
 proxyUser = "16ZKBRLB"
 proxyPass = "234076"
 proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
 "host" : proxyHost,
 "port" : proxyPort,
 "user" : proxyUser,
 "pass" : proxyPass,
 }
 # 设置 http和https访问都是用HTTP代理
 proxies = {
 "http" : proxyMeta,
 "https" : proxyMeta,
 }
 # 设置IP切换头
 tunnel = random.randint(1,10000)
 headers = {"Proxy-Tunnel": str(tunnel)}
 resp = requests.get(targetUrl, proxies=proxies, headers=headers)
 print resp.status_code
 print resp.text

要检测代理是否获取到,直接在配置代理后访http://httpbin.org/ip网站,获取到ip后再访问www.ip138.com就知道是否获取到了ip。

Python 相关文章推荐
python中元类用法实例
Oct 10 Python
Python基于回溯法子集树模板解决找零问题示例
Sep 11 Python
浅析python打包工具distutils、setuptools
Apr 20 Python
python 编写简单网页服务器的实例
Jun 01 Python
python调用Matplotlib绘制分布点图
Oct 18 Python
Django框架模板用法入门教程
Nov 04 Python
python 弧度与角度互转实例
Apr 15 Python
python连接mysql有哪些方法
Jun 24 Python
Python使用xlrd实现读取合并单元格
Jul 09 Python
20行Python代码实现一款永久免费PDF编辑工具的实现
Aug 27 Python
pycharm2020.2 配置使用的方法详解
Sep 16 Python
python中pdb模块实例用法
Jan 15 Python
在PyCharm中控制台输出日志分层级分颜色显示的方法
Jul 11 #Python
基于sklearn实现Bagging算法(python)
Jul 11 #Python
Python的log日志功能及设置方法
Jul 11 #Python
python使用装饰器作日志处理的方法
Jul 11 #Python
Python日志无延迟实时写入的示例
Jul 11 #Python
深入了解Python iter() 方法的用法
Jul 11 #Python
用python给自己做一款小说阅读器过程详解
Jul 11 #Python
You might like
JAVA/JSP学习系列之七
2006/10/09 PHP
php自动加载的两种实现方法
2010/06/21 PHP
设为首页加入收藏兼容360/火狐/谷歌/IE等主流浏览器的代码
2013/03/26 Javascript
js实现局部页面打印预览原理及示例代码
2014/07/03 Javascript
jQuery实现仿腾讯迷你首页选项卡效果代码
2015/09/17 Javascript
AngularJS基础 ng-class-odd 指令示例
2016/08/01 Javascript
百度搜索框智能提示案例jsonp
2016/11/28 Javascript
Vue组件实例间的直接访问实现代码
2017/08/20 Javascript
Vue刷新修改页面中数据的方法
2018/09/16 Javascript
Cookbook组件形式:优化 Vue 组件的运行时性能
2018/11/25 Javascript
记录一次开发微信网页分享的步骤
2019/05/07 Javascript
记一次用ts+vuecli4重构项目的实现
2020/05/21 Javascript
[01:11:21]DOTA2-DPC中国联赛 正赛 VG vs Elephant BO3 第一场 3月6日
2021/03/11 DOTA
使用graphics.py实现2048小游戏
2015/03/10 Python
使用PyCharm创建Django项目及基本配置详解
2018/10/24 Python
对Python3 goto 语句的使用方法详解
2019/02/16 Python
Python中调用其他程序的方式详解
2019/08/06 Python
python tkinter组件使用详解
2019/09/16 Python
Python 调用有道翻译接口实现翻译
2020/03/02 Python
浅析python 定时拆分备份 nginx 日志的方法
2020/04/27 Python
解决H5的a标签的download属性下载service上的文件出现跨域问题
2019/07/16 HTML / CSS
canvas版人体时钟的实现示例
2021/01/29 HTML / CSS
简约控的天堂:The Undone
2016/12/21 全球购物
德国电子商城:ComputerUniverse
2017/04/21 全球购物
英国家喻户晓的家居商店:The Range
2019/03/25 全球购物
新学期红领巾广播稿
2014/01/14 职场文书
怎么写自荐书范文
2014/02/12 职场文书
个人欠款担保书
2014/05/20 职场文书
应届毕业生自荐信
2014/05/28 职场文书
工作骂脏话检讨书
2014/10/05 职场文书
毕业论文答辩稿范文
2015/06/23 职场文书
军训后的感想
2015/08/07 职场文书
2016年中秋祝酒词
2015/11/26 职场文书
高中政治教师教学反思
2016/02/23 职场文书
Node.js实现爬取网站图片的示例代码
2022/04/04 NodeJs
python微信智能AI机器人实现多种支付方式
2022/04/12 Python