Python基于scrapy采集数据时使用代理服务器的方法


Posted in Python onApril 16, 2015

本文实例讲述了Python基于scrapy采集数据时使用代理服务器的方法。分享给大家供大家参考。具体如下:

# To authenticate the proxy, 
#you must set the Proxy-Authorization header. 
#You *cannot* use the form http://user:pass@proxy:port 
#in request.meta['proxy']
import base64
proxy_ip_port = "123.456.789.10:8888"
proxy_user_pass = "awesome:dude"
request = Request(url, callback=self.parse)
# Set the location of the proxy
request.meta['proxy'] = "http://%s" % proxy_ip_port
# setup basic authentication for the proxy
encoded_user_pass=base64.encodestring(proxy_user_pass)
request.headers['Proxy-Authorization'] = 'Basic ' + encoded_user_pass

希望本文所述对大家的python程序设计有所帮助。

Python 相关文章推荐
python函数返回多个值的示例方法
Dec 04 Python
使用Python发送各种形式的邮件的方法汇总
Nov 09 Python
Python使用gensim计算文档相似性
Apr 10 Python
Python 判断文件或目录是否存在的实例代码
Jul 19 Python
基于Numpy.convolve使用Python实现滑动平均滤波的思路详解
May 16 Python
python 求一个列表中所有元素的乘积实例
Jun 11 Python
使用Django搭建web服务器的例子(最最正确的方式)
Aug 29 Python
简单了解python协程的相关知识
Aug 31 Python
用python解压分析jar包实例
Jan 16 Python
Python线程条件变量Condition原理解析
Jan 20 Python
使用pygame编写Flappy bird小游戏
Mar 14 Python
使用Python将Exception异常错误堆栈信息写入日志文件
Apr 08 Python
在Python的gevent框架下执行异步的Solr查询的教程
Apr 16 #Python
使用Python的Treq on Twisted来进行HTTP压力测试
Apr 16 #Python
Python3中多线程编程的队列运作示例
Apr 16 #Python
使用Python脚本操作MongoDB的教程
Apr 16 #Python
使用Python中的greenlet包实现并发编程的入门教程
Apr 16 #Python
利用Python的Twisted框架实现webshell密码扫描器的教程
Apr 16 #Python
使用Python的Twisted框架实现一个简单的服务器
Apr 16 #Python
You might like
社区(php&&mysql)五
2006/10/09 PHP
codeigniter框架The URI you submitted has disallowed characters错误解决方法
2014/05/06 PHP
PHP邮件发送类PHPMailer用法实例详解
2014/09/22 PHP
PHP实现可自定义样式的分页类
2016/03/29 PHP
非常有用的9个PHP代码片段
2016/04/06 PHP
php抛出异常与捕捉特定类型的异常详解
2016/10/26 PHP
laravel实现图片上传预览,及编辑时可更换图片,并实时变化的例子
2019/11/14 PHP
VBScript版代码高亮
2006/06/26 Javascript
如何实现iframe(嵌入式帧)的自适应高度
2006/07/26 Javascript
JavaScript学习笔记记录我的旅程
2012/05/23 Javascript
jqgrid 编辑添加功能详细解析
2013/11/08 Javascript
JS+CSS 制作的超级简单的下拉菜单附图
2013/11/22 Javascript
JS实现n秒后自动跳转的两种方法
2020/11/30 Javascript
js调用刷新界面的几种方式
2017/05/03 Javascript
Vue中保存用户登录状态实例代码
2017/06/07 Javascript
浅谈JS中的常用选择器及属性、方法的调用
2017/07/28 Javascript
开发Vue树形组件的示例代码
2017/12/21 Javascript
Vue.js 十五分钟入门图文教程
2018/09/12 Javascript
[01:20:05]DOTA2-DPC中国联赛 正赛 Ehome vs VG BO3 第二场 2月5日
2021/03/11 DOTA
python控制台英汉汉英电子词典
2020/04/23 Python
实例讲解Python编程中@property装饰器的用法
2016/06/20 Python
Python采用Django制作简易的知乎日报API
2016/08/03 Python
CentOS 6.5中安装Python 3.6.2的方法步骤
2017/12/03 Python
浅析PEP572: 海象运算符
2019/10/15 Python
python实现滑雪游戏
2020/02/22 Python
如何通过python检查文件是否被占用
2020/12/18 Python
使用CSS3实现圆角,阴影,透明
2014/12/23 HTML / CSS
AmazeUI中各种的导航式菜单与解决方法
2020/08/19 HTML / CSS
NYX Professional Makeup英国官网:美国平价专业彩妆品牌
2019/11/13 全球购物
SmartBuyGlasses荷兰:购买太阳镜和眼镜
2020/03/16 全球购物
竞选演讲稿范文大全
2014/05/12 职场文书
党员教师四风自我剖析材料
2014/09/30 职场文书
公务员政审个人总结
2015/02/12 职场文书
指导教师推荐意见
2015/06/05 职场文书
司法廉洁教育心得体会
2016/01/20 职场文书
《田忌赛马》教学反思
2016/02/19 职场文书