对python使用http、https代理的实例讲解


Posted in Python onMay 07, 2018

在国内利用Python从Internet上爬取数据时,有些网站或API接口被限速或屏蔽,这时使用代理可以加速爬取过程,减少请求失败,Python程序使用代理的方法主要有以下几种:

(1)如果是在代码中使用一些网络库或爬虫框架进行数据爬取,一般这种框架都会支持设置代理,例如:

<span style="font-size:14px;">import urllib.request as urlreq 
# 设置https代理 
ph = urlreq.ProxyHandler({'https': 'https://127.0.0.1:1080'}) 
oper = urlreq.build_opener(ph) 
# 将代理安装到全局环境,这样所有请求都会自动使用代理 
urlreq.install_opener(oper) 
res = oper.open("https://www.google.com") 
print(res.read())</span>
<span style="font-size:14px;">import requests as req 
print(req.get("https://www.google.com", proxies={'https': 'https://127.0.0.1:1080'}).content)</span>

(2)如果使用的库没有提供设置代理的接口,但是底层使用了urllib、requests等库,可以尝试设置HTTP_PROXY 和HTTPS_PROXY环境变量,常用的网络库会自动识别这些环境变量,使用变量设置的代理发起请求,设置如下:

import os 
os.environ['http_proxy'] = 'http://127.0.0.1:1080' 
os.environ['https_proxy'] = 'https://127.0.0.1:1080'

(3)如果上述两种方法都没有用,那么还可以使用一些可以监听、拦截和修改网络包的工具和库如(Fiddler、mitmproxy)来拦截http请求包并修改地址,达到使用代理的效果。

以上这篇对python使用http、https代理的实例讲解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
写了个监控nginx进程的Python脚本
May 10 Python
python创建和删除目录的方法
Apr 29 Python
Python使用Srapy框架爬虫模拟登陆并抓取知乎内容
Jul 02 Python
python 读写、创建 文件的方法(必看)
Sep 12 Python
Python中矩阵库Numpy基本操作详解
Nov 21 Python
Python基于socket模块实现UDP通信功能示例
Apr 10 Python
Python批处理删除和重命名文件夹的实例
Jul 11 Python
Python实现的网页截图功能【PyQt4与selenium组件】
Jul 12 Python
Python一句代码实现找出所有水仙花数的方法
Nov 13 Python
Python在图片中插入大量文字并且自动换行
Jan 02 Python
记录Python脚本的运行日志的方法
Jun 05 Python
Python实现的爬取豆瓣电影信息功能案例
Sep 15 Python
python3 requests中使用ip代理池随机生成ip的实例
May 07 #Python
python使用代理ip访问网站的实例
May 07 #Python
一些Centos Python 生产环境的部署命令(推荐)
May 07 #Python
Python实现爬虫设置代理IP和伪装成浏览器的方法分享
May 07 #Python
Pyspider中给爬虫伪造随机请求头的实例
May 07 #Python
python通过伪装头部数据抵抗反爬虫的实例
May 07 #Python
Django Web开发中django-debug-toolbar的配置以及使用
May 06 #Python
You might like
非洲第一个咖啡超凡杯大赛承办国—卢旺达的咖啡怎么样
2021/03/03 咖啡文化
php MYSQL 数据备份类
2009/06/19 PHP
php学习笔记 php中面向对象三大特性之一[封装性]的应用
2011/06/13 PHP
php使用异或实现的加密解密实例
2013/09/04 PHP
CI框架中site_url()和base_url()的区别
2015/01/07 PHP
yii2-GridView在开发中常用的功能及技巧总结
2017/01/07 PHP
PHP实现的文件浏览器功能简单示例
2019/09/12 PHP
小议Function.apply()之二------利用Apply的参数数组化来提高 JavaScript程序性能
2006/11/30 Javascript
innertext , insertadjacentelement , insertadjacenthtml , insertadjacenttext 等区别
2007/06/29 Javascript
jQuery autocomplete插件修改
2009/04/17 Javascript
ExtJS[Desktop]实现图标换行示例代码
2013/11/17 Javascript
Firefox中通过JavaScript复制数据到剪贴板(Copy to Clipboard 跨浏览器版)
2013/11/22 Javascript
jquery中的查找parents与closest方法之间的区别
2013/12/02 Javascript
JS动态修改iframe高度和宽度的方法
2015/04/01 Javascript
浅谈jQuery的offset()方法及示例分享
2015/07/17 Javascript
Vue.js原理分析之observer模块详解
2017/02/17 Javascript
jquery实现表单获取短信验证码代码
2017/03/13 Javascript
IScroll那些事_当内容不足时下拉刷新的解决方法
2017/07/18 Javascript
vue.extend与vue.component的区别和联系
2018/09/19 Javascript
vue-cli3项目升级到vue-cli4 的方法总结
2020/03/19 Javascript
JavaScript基于用户照片姓名生成海报
2020/05/29 Javascript
[01:06:30]DOTA2-DPC中国联赛定级赛 Phoenix vs DLG BO3第二场 1月9日
2021/03/11 DOTA
Python编程中使用Pillow来处理图像的基础教程
2015/11/20 Python
老生常谈进程线程协程那些事儿
2017/07/24 Python
python使用writerows写csv文件产生多余空行的处理方法
2019/08/01 Python
Python中pass的作用与使用教程
2020/11/13 Python
美国领先的家庭健康检测试剂盒提供商:LetsGetChecked
2019/03/18 全球购物
Kipling意大利官网:世界著名的时尚休闲包袋品牌
2019/06/05 全球购物
德国家用电器购物网站:Premiumshop24
2019/08/22 全球购物
应届生煤化工求职信
2013/10/21 职场文书
干部下基层实施方案
2014/03/14 职场文书
房屋租赁协议书
2014/10/18 职场文书
事业单位工作人员年度考核个人总结
2015/02/12 职场文书
2016年八一建军节活动总结
2016/04/05 职场文书
JavaScript实现贪吃蛇游戏
2021/06/16 Javascript
Windows Server 2016 配置 IIS 的详细步骤
2022/04/28 Servers