Python基于scrapy采集数据时使用代理服务器的方法


Posted in Python onApril 16, 2015

本文实例讲述了Python基于scrapy采集数据时使用代理服务器的方法。分享给大家供大家参考。具体如下:

# To authenticate the proxy, 
#you must set the Proxy-Authorization header. 
#You *cannot* use the form http://user:pass@proxy:port 
#in request.meta['proxy']
import base64
proxy_ip_port = "123.456.789.10:8888"
proxy_user_pass = "awesome:dude"
request = Request(url, callback=self.parse)
# Set the location of the proxy
request.meta['proxy'] = "http://%s" % proxy_ip_port
# setup basic authentication for the proxy
encoded_user_pass=base64.encodestring(proxy_user_pass)
request.headers['Proxy-Authorization'] = 'Basic ' + encoded_user_pass

希望本文所述对大家的python程序设计有所帮助。

Python 相关文章推荐
python文件比较示例分享
Jan 10 Python
用Python实现一个简单的线程池
Apr 07 Python
对Python中type打开文件的方式介绍
Apr 28 Python
对Python subprocess.Popen子进程管道阻塞详解
Oct 29 Python
用python实现刷点击率的示例代码
Feb 21 Python
24式加速你的Python(小结)
Jun 13 Python
Django 大文件下载实现过程解析
Aug 01 Python
python elasticsearch从创建索引到写入数据的全过程
Aug 04 Python
python实现高斯投影正反算方式
Jan 17 Python
Python ORM编程基础示例
Feb 02 Python
python 生成任意形状的凸包图代码
Apr 16 Python
如何用Django处理gzip数据流
Jan 29 Python
在Python的gevent框架下执行异步的Solr查询的教程
Apr 16 #Python
使用Python的Treq on Twisted来进行HTTP压力测试
Apr 16 #Python
Python3中多线程编程的队列运作示例
Apr 16 #Python
使用Python脚本操作MongoDB的教程
Apr 16 #Python
使用Python中的greenlet包实现并发编程的入门教程
Apr 16 #Python
利用Python的Twisted框架实现webshell密码扫描器的教程
Apr 16 #Python
使用Python的Twisted框架实现一个简单的服务器
Apr 16 #Python
You might like
深入Memcache的Session数据的多服务器共享详解
2013/06/13 PHP
PHP使用Memcache时模拟命名空间及缓存失效问题的解决
2016/02/27 PHP
2007/12/23更新创意无限,简单实用(javascript log)
2007/12/24 Javascript
javascript document.images实例
2008/05/27 Javascript
javascript 操作Word和Excel的实现代码
2009/10/26 Javascript
通过js获取div的background-image属性
2013/10/15 Javascript
html文件中jquery与velocity变量中的$冲突的解决方法
2013/11/01 Javascript
jquery each的几种常用的使用方法示例
2014/01/21 Javascript
node.js中的fs.symlink方法使用说明
2014/12/15 Javascript
NodeJS学习笔记之Connect中间件模块(一)
2015/01/27 NodeJs
JS实现简单的键盘打字的效果
2015/04/24 Javascript
jQuery实现动画效果circle实例
2015/08/06 Javascript
如何实现JavaScript动态加载CSS和JS文件
2020/12/28 Javascript
jQuery+json实现的简易Ajax调用实例
2015/12/14 Javascript
Bootstrap入门书籍之(五)导航条、分页导航
2016/02/17 Javascript
javascript表达式和运算符详解
2017/02/07 Javascript
基于AGS JS开发自定义贴图图层
2017/03/31 Javascript
JavaScript设计模式之单例模式详解
2017/06/09 Javascript
JavaScript实现简单图片轮播效果
2017/08/21 Javascript
高性能的javascript之加载顺序与执行原理篇
2018/01/14 Javascript
webpack本地开发环境无法用IP访问的解决方法
2018/03/20 Javascript
微信小程序实现弹出层效果
2020/05/26 Javascript
layer.open 子页面弹出层向父页面传输数据的例子
2019/09/26 Javascript
Python利用Nagios增加微信报警通知的功能
2016/02/18 Python
Python图像处理之图片文字识别功能(OCR)
2019/07/30 Python
Python如何爬取qq音乐歌词到本地
2020/06/01 Python
Python configparser模块封装及构造配置文件
2020/08/07 Python
sublime3之内网安装python插件Anaconda的流程
2020/11/10 Python
Html5导航栏吸顶方案原理与对比实现
2020/06/10 HTML / CSS
德购商城:德国进口直邮商城
2017/06/13 全球购物
英国最出名高街品牌:Forever Unique
2018/02/24 全球购物
秘书专业自荐信范文
2013/12/26 职场文书
大学生评语大全
2014/04/18 职场文书
2014最新版群众路线四风整改措施
2014/09/24 职场文书
军人离婚协议书样本
2014/10/21 职场文书
羊脂球读书笔记
2015/06/30 职场文书