Python基于scrapy采集数据时使用代理服务器的方法


Posted in Python onApril 16, 2015

本文实例讲述了Python基于scrapy采集数据时使用代理服务器的方法。分享给大家供大家参考。具体如下:

# To authenticate the proxy, 
#you must set the Proxy-Authorization header. 
#You *cannot* use the form http://user:pass@proxy:port 
#in request.meta['proxy']
import base64
proxy_ip_port = "123.456.789.10:8888"
proxy_user_pass = "awesome:dude"
request = Request(url, callback=self.parse)
# Set the location of the proxy
request.meta['proxy'] = "http://%s" % proxy_ip_port
# setup basic authentication for the proxy
encoded_user_pass=base64.encodestring(proxy_user_pass)
request.headers['Proxy-Authorization'] = 'Basic ' + encoded_user_pass

希望本文所述对大家的python程序设计有所帮助。

Python 相关文章推荐
python笔记(2)
Oct 24 Python
python统计字符串中指定字符出现次数的方法
Apr 04 Python
使用python判断你是青少年还是老年人
Nov 29 Python
python实现银联支付和支付宝支付接入
May 07 Python
python中字符串数组逆序排列方法总结
Jun 23 Python
使用pyinstaller打包PyQt4程序遇到的问题及解决方法
Jun 24 Python
对django views中 request, response的常用操作详解
Jul 17 Python
python opencv实现证件照换底功能
Aug 19 Python
Python tkinter和exe打包的方法
Feb 05 Python
Python基于进程池实现多进程过程解析
Apr 30 Python
Django修改app名称和数据表迁移方案实现
Sep 17 Python
用python修改excel表某一列内容的操作方法
Jun 11 Python
在Python的gevent框架下执行异步的Solr查询的教程
Apr 16 #Python
使用Python的Treq on Twisted来进行HTTP压力测试
Apr 16 #Python
Python3中多线程编程的队列运作示例
Apr 16 #Python
使用Python脚本操作MongoDB的教程
Apr 16 #Python
使用Python中的greenlet包实现并发编程的入门教程
Apr 16 #Python
利用Python的Twisted框架实现webshell密码扫描器的教程
Apr 16 #Python
使用Python的Twisted框架实现一个简单的服务器
Apr 16 #Python
You might like
PHP static局部静态变量和全局静态变量总结
2014/03/02 PHP
PHP中使用GD库创建圆形饼图的例子
2014/11/19 PHP
php的闭包(Closure)匿名函数初探
2016/02/14 PHP
JavaScript的目的分析
2007/01/05 Javascript
javascript 表单验证常见正则
2009/09/28 Javascript
LazyLoad 延迟加载(按需加载)
2010/05/31 Javascript
js文件缓存之版本管理详解
2013/07/05 Javascript
深入理解JQuery keyUp和keyDown的区别
2013/12/12 Javascript
jquery中获得元素尺寸和坐标的方法整理
2014/05/18 Javascript
基于JavaScript实现鼠标悬浮弹出跟随鼠标移动的带箭头的信息层
2016/01/18 Javascript
jQuery Mobile 触摸事件实例
2016/06/04 Javascript
node.js学习之交互式解释器REPL详解
2016/12/08 Javascript
判断横屏竖屏(三种)
2017/02/13 Javascript
利用Vue.js框架实现火车票查询系统(附源码)
2017/02/27 Javascript
js/jq仿window文件夹框选操作插件
2017/03/08 Javascript
ajax请求+vue.js渲染+页面加载的示例
2018/02/11 Javascript
js+canvas实现验证码功能
2020/09/21 Javascript
从零开始在vue-cli4配置自适应vw布局的实现
2020/06/08 Javascript
JSONObject与JSONArray使用方法解析
2020/09/28 Javascript
node.js爬虫框架node-crawler初体验
2020/10/29 Javascript
[56:46]2018DOTA2亚洲邀请赛 3.31 小组赛 B组 VP vs Effect
2018/04/01 DOTA
Python利用splinter实现浏览器自动化操作方法
2018/05/11 Python
Python搭建代理IP池实现检测IP的方法
2019/10/27 Python
解决python彩色螺旋线绘制引发的问题
2019/11/23 Python
基于K.image_data_format() == 'channels_first' 的理解
2020/06/29 Python
浅谈CSS3 动画卡顿解决方案
2019/01/02 HTML / CSS
Sixt美国租车:高端豪华车型自驾体验
2017/09/02 全球购物
写好自荐信要注意的问题
2013/11/10 职场文书
二手房购房意向书范本
2014/04/01 职场文书
预备党员学习十八届三中全会精神思想汇报
2014/09/13 职场文书
基层工作经验证明样本
2014/11/16 职场文书
2014年信贷员工作总结
2014/11/18 职场文书
电子商务专业求职信范文
2015/03/19 职场文书
Python中快速掌握Data Frame的常用操作
2021/03/31 Python
教你怎么用python实现字符串转日期
2021/05/24 Python
uniapp开发打包多端应用完整方法指南
2022/12/24 Javascript