对python使用http、https代理的实例讲解


Posted in Python onMay 07, 2018

在国内利用Python从Internet上爬取数据时,有些网站或API接口被限速或屏蔽,这时使用代理可以加速爬取过程,减少请求失败,Python程序使用代理的方法主要有以下几种:

(1)如果是在代码中使用一些网络库或爬虫框架进行数据爬取,一般这种框架都会支持设置代理,例如:

<span style="font-size:14px;">import urllib.request as urlreq 
# 设置https代理 
ph = urlreq.ProxyHandler({'https': 'https://127.0.0.1:1080'}) 
oper = urlreq.build_opener(ph) 
# 将代理安装到全局环境,这样所有请求都会自动使用代理 
urlreq.install_opener(oper) 
res = oper.open("https://www.google.com") 
print(res.read())</span>
<span style="font-size:14px;">import requests as req 
print(req.get("https://www.google.com", proxies={'https': 'https://127.0.0.1:1080'}).content)</span>

(2)如果使用的库没有提供设置代理的接口,但是底层使用了urllib、requests等库,可以尝试设置HTTP_PROXY 和HTTPS_PROXY环境变量,常用的网络库会自动识别这些环境变量,使用变量设置的代理发起请求,设置如下:

import os 
os.environ['http_proxy'] = 'http://127.0.0.1:1080' 
os.environ['https_proxy'] = 'https://127.0.0.1:1080'

(3)如果上述两种方法都没有用,那么还可以使用一些可以监听、拦截和修改网络包的工具和库如(Fiddler、mitmproxy)来拦截http请求包并修改地址,达到使用代理的效果。

以上这篇对python使用http、https代理的实例讲解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python下singleton模式的实现方法
Jul 16 Python
Python中文竖排显示的方法
Jul 28 Python
Win10下Python环境搭建与配置教程
Nov 18 Python
详解Python各大聊天系统的屏蔽脏话功能原理
Dec 01 Python
Python+request+unittest实现接口测试框架集成实例
Mar 16 Python
解决Django的request.POST获取不到内容的问题
May 28 Python
说说如何遍历Python列表的方法示例
Feb 11 Python
python3 求约数的实例
Dec 05 Python
Python生成器常见问题及解决方案
Mar 21 Python
Python pymsql模块的使用
Sep 07 Python
Python3中的tuple函数知识点讲解
Jan 03 Python
解决numpy数组互换两行及赋值的问题
Apr 17 Python
python3 requests中使用ip代理池随机生成ip的实例
May 07 #Python
python使用代理ip访问网站的实例
May 07 #Python
一些Centos Python 生产环境的部署命令(推荐)
May 07 #Python
Python实现爬虫设置代理IP和伪装成浏览器的方法分享
May 07 #Python
Pyspider中给爬虫伪造随机请求头的实例
May 07 #Python
python通过伪装头部数据抵抗反爬虫的实例
May 07 #Python
Django Web开发中django-debug-toolbar的配置以及使用
May 06 #Python
You might like
phpmyadmin出现Cannot start session without errors问题解决方法
2014/08/14 PHP
windows平台中配置nginx+php环境
2015/12/06 PHP
注意!PHP 7中不要做的10件事
2016/09/18 PHP
jQuery层动画定位滑动效果的方法
2015/04/30 Javascript
jQuery实现径向动画菜单效果
2015/07/17 Javascript
Underscore源码分析
2015/12/30 Javascript
AngularJS入门教程之REST和定制服务详解
2016/08/19 Javascript
微信小程序 Toast自定义实例详解
2017/01/20 Javascript
Angularjs 依赖压缩及自定义过滤器写法
2017/02/04 Javascript
js实现瀑布流效果(自动生成新的内容)
2017/03/16 Javascript
JS解决移动web开发手机输入框弹出的问题
2017/03/31 Javascript
浅谈Vuejs中nextTick()异步更新队列源码解析
2017/12/31 Javascript
JavaScript实现的DOM绘制柱状图效果示例
2018/08/08 Javascript
H5+C3+JS实现五子棋游戏(AI篇)
2020/05/28 Javascript
jQuery的ztree仿windows文件新建和拖拽功能的实现代码
2018/12/05 jQuery
jquery多级树形下拉菜单的实例代码
2019/07/09 jQuery
Vue CLI3移动端适配(px2rem或postcss-plugin-px2rem)
2020/04/27 Javascript
精读《Vue3.0 Function API》
2020/05/20 Javascript
[50:50]完美世界DOTA2联赛PWL S3 INK ICE vs DLG 第一场 12.20
2020/12/23 DOTA
python利用beautifulSoup实现爬虫
2014/09/29 Python
selenium设置proxy、headers的方法(phantomjs、Chrome、Firefox)
2018/11/29 Python
python assert的用处示例详解
2019/04/01 Python
一篇文章弄懂Python中所有数组数据类型
2019/06/23 Python
Python 按比例获取样本数据或执行任务的实现代码
2020/12/03 Python
猫途鹰:全球领先的旅游点评社区
2017/04/07 全球购物
eBay法国购物网站:eBay.fr
2017/10/21 全球购物
如何获取某个日期是当月的最后一天
2013/12/05 面试题
四风问题自查报告剖析材料
2014/02/08 职场文书
毕业评语大全
2014/05/04 职场文书
医院科室评语
2015/01/04 职场文书
初中教师个人工作总结
2015/02/10 职场文书
幼儿园个人总结
2015/02/28 职场文书
2015年大学迎新工作总结
2015/07/16 职场文书
《富饶的西沙群岛》教学反思
2016/02/16 职场文书
Django给表单添加honeypot验证增加安全性
2021/05/06 Python
python可视化分析绘制带趋势线的散点图和边缘直方图
2022/06/25 Python