Python使用scrapy采集时伪装成HTTP/1.1的方法


Posted in Python onApril 08, 2015

本文实例讲述了Python使用scrapy采集时伪装成HTTP/1.1的方法。分享给大家供大家参考。具体如下:

添加下面的代码到 settings.py 文件

DOWNLOADER_HTTPCLIENTFACTORY = 'myproject.downloader.HTTPClientFactory'

保存以下代码到单独的.py文件
from scrapy.core.downloader.webclient import ScrapyHTTPClientFactory, ScrapyHTTPPageGetter

class PageGetter(ScrapyHTTPPageGetter):

    def sendCommand(self, command, path):

        self.transport.write('%s %s HTTP/1.1\r\n' % (command, path))

class HTTPClientFactory(ScrapyHTTPClientFactory):

     protocol = PageGetter

希望本文所述对大家的Python程序设计有所帮助。

Python 相关文章推荐
Python 多线程的实例详解
Sep 07 Python
Python简单实现阿拉伯数字和罗马数字的互相转换功能示例
Apr 17 Python
PyCharm代码格式调整方法
May 23 Python
在Python中增加和插入元素的示例
Nov 01 Python
Python 单元测试(unittest)的使用小结
Nov 14 Python
对web.py设置favicon.ico的方法详解
Dec 04 Python
python 在屏幕上逐字显示一行字的实例
Dec 24 Python
用python一行代码得到数组中某个元素的个数方法
Jan 28 Python
python 操作hive pyhs2方式
Dec 21 Python
如何基于pythonnet调用halcon脚本
Jan 20 Python
使用keras实现非线性回归(两种加激活函数的方式)
Jul 05 Python
python中remove函数的踩坑记录
Jan 04 Python
Python打印scrapy蜘蛛抓取树结构的方法
Apr 08 #Python
使用IPython来操作Docker容器的入门指引
Apr 08 #Python
仅用50行Python代码实现一个简单的代理服务器
Apr 08 #Python
用Python实现一个简单的能够发送带附件的邮件程序的教程
Apr 08 #Python
Python 创建子进程模块subprocess详解
Apr 08 #Python
Python中使用gzip模块压缩文件的简单教程
Apr 08 #Python
Python使用scrapy抓取网站sitemap信息的方法
Apr 08 #Python
You might like
php Undefined index和Undefined variable的解决方法
2008/03/27 PHP
PHP中使用php5-ffmpeg撷取视频图片实例
2015/01/07 PHP
PHP实现链式操作的原理详解
2016/09/16 PHP
js判断FCKeditor内容是否为空的两种形式
2013/05/14 Javascript
jQuery通过控制节点实现仅在前台通过get方法完成参数传递
2015/02/02 Javascript
JavaScript将一个数组插入到另一个数组的方法
2015/03/19 Javascript
详解js图片轮播效果实现原理
2015/12/17 Javascript
JS简单实现String转Date的方法
2016/03/02 Javascript
学习Node.js模块机制
2016/10/17 Javascript
微信小程序 配置文件详细介绍
2016/12/14 Javascript
原生js获取left值和top值的三种方法
2017/08/02 Javascript
AngularJS+Bootstrap3多级导航菜单的实现代码
2017/08/16 Javascript
apicloud拉起小程序并传递参数的方法示例
2018/11/21 Javascript
javascriptvoid(0)含义以及与"#"的区别讲解
2019/01/19 Javascript
微信小程序如何使用canvas二维码保存至手机相册
2019/07/15 Javascript
jQuery实现鼠标放置名字上显示详细内容气泡提示框效果的方法分析
2020/04/04 jQuery
解决vue scoped scss 无效的问题
2020/09/04 Javascript
[03:18]DOTA2放量测试专访820:希望玩家加入国服大家庭
2013/08/25 DOTA
Python-基础-入门 简介
2014/08/09 Python
python统计cpu利用率的方法
2015/06/02 Python
详解Python的Flask框架中的signals信号机制
2016/06/13 Python
Python将图片批量从png格式转换至WebP格式
2020/08/22 Python
python中nan与inf转为特定数字方法示例
2017/05/11 Python
解决python opencv无法显示图片的问题
2018/10/28 Python
Python3使用腾讯云文字识别(腾讯OCR)提取图片中的文字内容实例详解
2020/02/18 Python
Python如何自动获取目标网站最新通知
2020/06/18 Python
Pandas中DataFrame交换列顺序的方法实现
2020/12/14 Python
CSS改变网页中鼠标选中文字背景颜色例子
2014/04/23 HTML / CSS
澳洲的服装老品牌:SABA
2018/02/06 全球购物
澳大利亚Mocha官方网站:包、钱包、珠宝和配饰
2019/07/18 全球购物
汇科协同Java笔试题
2012/03/31 面试题
安全生产演讲稿
2014/05/09 职场文书
民事答辩状范本
2015/05/21 职场文书
宝宝满月宴答谢词
2015/09/30 职场文书
用python修改excel表某一列内容的操作方法
2021/06/11 Python
移除Selenium中window.navigator.webdriver值
2022/06/10 Python