对python使用http、https代理的实例讲解


Posted in Python onMay 07, 2018

在国内利用Python从Internet上爬取数据时,有些网站或API接口被限速或屏蔽,这时使用代理可以加速爬取过程,减少请求失败,Python程序使用代理的方法主要有以下几种:

(1)如果是在代码中使用一些网络库或爬虫框架进行数据爬取,一般这种框架都会支持设置代理,例如:

<span style="font-size:14px;">import urllib.request as urlreq 
# 设置https代理 
ph = urlreq.ProxyHandler({'https': 'https://127.0.0.1:1080'}) 
oper = urlreq.build_opener(ph) 
# 将代理安装到全局环境,这样所有请求都会自动使用代理 
urlreq.install_opener(oper) 
res = oper.open("https://www.google.com") 
print(res.read())</span>
<span style="font-size:14px;">import requests as req 
print(req.get("https://www.google.com", proxies={'https': 'https://127.0.0.1:1080'}).content)</span>

(2)如果使用的库没有提供设置代理的接口,但是底层使用了urllib、requests等库,可以尝试设置HTTP_PROXY 和HTTPS_PROXY环境变量,常用的网络库会自动识别这些环境变量,使用变量设置的代理发起请求,设置如下:

import os 
os.environ['http_proxy'] = 'http://127.0.0.1:1080' 
os.environ['https_proxy'] = 'https://127.0.0.1:1080'

(3)如果上述两种方法都没有用,那么还可以使用一些可以监听、拦截和修改网络包的工具和库如(Fiddler、mitmproxy)来拦截http请求包并修改地址,达到使用代理的效果。

以上这篇对python使用http、https代理的实例讲解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python 调用VC++的动态链接库(DLL)
Sep 06 Python
编写Python脚本来获取Google搜索结果的示例
May 04 Python
Python中列表元素转为数字的方法分析
Jun 14 Python
使用pyecharts在jupyter notebook上绘图
Apr 23 Python
利用信号如何监控Django模型对象字段值的变化详解
Nov 27 Python
Python爬虫使用脚本登录Github并查看信息
Jul 16 Python
浅谈Pycharm中的Python Console与Terminal
Jan 17 Python
Python 模拟动态产生字母验证码图片功能
Dec 24 Python
Tensorflow 多线程与多进程数据加载实例
Feb 05 Python
iPython pylab模式启动方式
Apr 24 Python
浅谈python opencv对图像颜色通道进行加减操作溢出
Jun 03 Python
next在python中返回迭代器的实例方法
Dec 15 Python
python3 requests中使用ip代理池随机生成ip的实例
May 07 #Python
python使用代理ip访问网站的实例
May 07 #Python
一些Centos Python 生产环境的部署命令(推荐)
May 07 #Python
Python实现爬虫设置代理IP和伪装成浏览器的方法分享
May 07 #Python
Pyspider中给爬虫伪造随机请求头的实例
May 07 #Python
python通过伪装头部数据抵抗反爬虫的实例
May 07 #Python
Django Web开发中django-debug-toolbar的配置以及使用
May 06 #Python
You might like
PHP关联链接常用代码
2012/11/05 PHP
基于MySQL分区性能的详细介绍
2013/05/02 PHP
ThinkPHP框架任意代码执行漏洞的利用及其修复方法
2014/07/04 PHP
php提示Warning:mysql_fetch_array() expects的解决方法
2014/12/16 PHP
thinkPHP删除前弹出确认框的简单实现方法
2016/05/16 PHP
JavaScript Eval 函数使用
2010/03/23 Javascript
js三种排序算法分享
2012/08/16 Javascript
JavaScript高级程序设计(第3版)学习笔记13 ECMAScript5新特性
2012/10/11 Javascript
jQuery 隐藏和显示 input 默认值示例
2014/06/03 Javascript
jQuery中:visible选择器用法实例
2014/12/30 Javascript
jQuery实现contains方法不区分大小写的方法
2015/02/13 Javascript
jQuery固定元素插件scrolltofixed使用指南
2015/04/21 Javascript
javascript动态添加删除tabs标签的方法
2015/07/06 Javascript
jquery实现标题字体变换的滑动门菜单效果
2015/09/07 Javascript
jquery.guide.js新版上线操作向导镂空提示jQuery插件(推荐)
2017/05/20 jQuery
Vue2.0实现购物车功能
2017/06/05 Javascript
JS实现批量上传文件并显示进度功能
2017/06/27 Javascript
JavaScript简单实现动态改变HTML内容的方法示例
2018/12/25 Javascript
jquery中attr、prop、data区别与用法分析
2019/09/25 jQuery
python判断windows隐藏文件的方法
2014/03/21 Python
python使用正则表达式分析网页中的图片并进行替换的方法
2015/03/26 Python
Python实现PS滤镜的万花筒效果示例
2018/01/23 Python
获取python文件扩展名和文件名方法
2018/02/02 Python
利用python如何处理nc数据详解
2018/05/23 Python
Python使用装饰器模拟用户登陆验证功能示例
2018/08/24 Python
Python基于opencv调用摄像头获取个人图片的实现方法
2019/02/21 Python
python 魔法函数实例及解析
2019/09/25 Python
在 Python 中接管键盘中断信号的实现方法
2020/02/04 Python
轻松掌握CSS3中的字体大小单位rem的使用方法
2016/05/24 HTML / CSS
加拿大著名时装品牌:SOIA & KYO
2016/08/23 全球购物
英国著名国际平价时尚男装品牌:Topman
2016/08/27 全球购物
腾讯广告词
2014/03/19 职场文书
春节联欢晚会主持词范文
2014/03/24 职场文书
差生评语大全
2014/05/04 职场文书
赤壁观后感(2)
2015/06/15 职场文书
优秀共产党员事迹材料2016
2016/02/29 职场文书