对python使用http、https代理的实例讲解


Posted in Python onMay 07, 2018

在国内利用Python从Internet上爬取数据时,有些网站或API接口被限速或屏蔽,这时使用代理可以加速爬取过程,减少请求失败,Python程序使用代理的方法主要有以下几种:

(1)如果是在代码中使用一些网络库或爬虫框架进行数据爬取,一般这种框架都会支持设置代理,例如:

<span style="font-size:14px;">import urllib.request as urlreq 
# 设置https代理 
ph = urlreq.ProxyHandler({'https': 'https://127.0.0.1:1080'}) 
oper = urlreq.build_opener(ph) 
# 将代理安装到全局环境,这样所有请求都会自动使用代理 
urlreq.install_opener(oper) 
res = oper.open("https://www.google.com") 
print(res.read())</span>
<span style="font-size:14px;">import requests as req 
print(req.get("https://www.google.com", proxies={'https': 'https://127.0.0.1:1080'}).content)</span>

(2)如果使用的库没有提供设置代理的接口,但是底层使用了urllib、requests等库,可以尝试设置HTTP_PROXY 和HTTPS_PROXY环境变量,常用的网络库会自动识别这些环境变量,使用变量设置的代理发起请求,设置如下:

import os 
os.environ['http_proxy'] = 'http://127.0.0.1:1080' 
os.environ['https_proxy'] = 'https://127.0.0.1:1080'

(3)如果上述两种方法都没有用,那么还可以使用一些可以监听、拦截和修改网络包的工具和库如(Fiddler、mitmproxy)来拦截http请求包并修改地址,达到使用代理的效果。

以上这篇对python使用http、https代理的实例讲解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python 检查数组元素是否存在类似PHP isset()方法
Oct 14 Python
python操作gmail实例
Jan 14 Python
给Python的Django框架下搭建的BLOG添加RSS功能的教程
Apr 08 Python
Python作用域用法实例详解
Mar 15 Python
scrapy爬虫完整实例
Jan 25 Python
python实现简易通讯录修改版
Mar 13 Python
详解Python logging调用Logger.info方法的处理过程
Feb 12 Python
pycharm新建一个python工程步骤
Jul 16 Python
Pytorch实现GoogLeNet的方法
Aug 18 Python
手把手教你Python yLab的绘制折线图的画法
Oct 23 Python
python用tkinter实现一个简易能进行随机点名的界面
Sep 27 Python
python实现简易自习室座位预约系统
Jun 30 Python
python3 requests中使用ip代理池随机生成ip的实例
May 07 #Python
python使用代理ip访问网站的实例
May 07 #Python
一些Centos Python 生产环境的部署命令(推荐)
May 07 #Python
Python实现爬虫设置代理IP和伪装成浏览器的方法分享
May 07 #Python
Pyspider中给爬虫伪造随机请求头的实例
May 07 #Python
python通过伪装头部数据抵抗反爬虫的实例
May 07 #Python
Django Web开发中django-debug-toolbar的配置以及使用
May 06 #Python
You might like
星际RPG字典
2020/03/04 星际争霸
仿163填写邮件地址自动显示下拉(无优化)
2008/11/05 Javascript
jquery 元素控制(追加元素/追加内容)介绍及应用
2013/04/21 Javascript
jQuery避免$符和其他JS库冲突的方法对比
2014/02/20 Javascript
取得元素的左和上偏移量的方法
2014/09/17 Javascript
jQuery中使用each处理json数据
2015/04/23 Javascript
javascript实现的固定位置悬浮窗口实例
2015/04/30 Javascript
javascript判断网页是关闭还是刷新
2015/09/12 Javascript
bootstrap实现弹窗和拖动效果
2016/01/03 Javascript
高效Web开发的10个jQuery代码片段
2016/07/22 Javascript
BootStrap Table 分页后重新搜索问题的解决办法
2016/08/08 Javascript
JavaScript简单生成 N~M 之间随机数的方法
2017/01/13 Javascript
bootstrap table动态加载数据示例代码
2017/03/25 Javascript
详解在Angular项目中添加插件ng-bootstrap
2017/07/04 Javascript
python不带重复的全排列代码
2013/08/13 Python
python采用requests库模拟登录和抓取数据的简单示例
2014/07/05 Python
python通过exifread模块获得图片exif信息的方法
2015/03/16 Python
Python实现提取谷歌音乐搜索结果的方法
2015/07/10 Python
python爬取NUS-WIDE数据库图片
2016/10/05 Python
Python读取指定目录下指定后缀文件并保存为docx
2017/04/23 Python
python KNN算法实现鸢尾花数据集分类
2019/10/24 Python
python批量处理txt文件的实例代码
2020/01/13 Python
Python3 中sorted() 函数的用法
2020/03/24 Python
Python3之乱码\xe6\x97\xa0\xe6\xb3\x95处理方式
2020/05/11 Python
python框架flask入门之环境搭建及开启调试
2020/06/07 Python
如何用Python 加密文件
2020/09/10 Python
用python爬虫批量下载pdf的实现
2020/12/01 Python
英国护肤品购物网站:Beauty Expert
2016/08/19 全球购物
CK美国官网:Calvin Klein
2016/08/26 全球购物
西班牙高科技产品购物网站:MejorDeseo
2019/09/08 全球购物
几道PHP的面试题
2012/05/19 面试题
Kingsoft金山公司C/C++笔试题
2016/05/10 面试题
Android interview questions
2016/12/25 面试题
班组长工作职责
2013/12/25 职场文书
责任书范本
2014/08/25 职场文书
法人身份证明书
2014/10/08 职场文书