Python使用scrapy采集时伪装成HTTP/1.1的方法


Posted in Python onApril 08, 2015

本文实例讲述了Python使用scrapy采集时伪装成HTTP/1.1的方法。分享给大家供大家参考。具体如下:

添加下面的代码到 settings.py 文件

DOWNLOADER_HTTPCLIENTFACTORY = 'myproject.downloader.HTTPClientFactory'

保存以下代码到单独的.py文件
from scrapy.core.downloader.webclient import ScrapyHTTPClientFactory, ScrapyHTTPPageGetter

class PageGetter(ScrapyHTTPPageGetter):

    def sendCommand(self, command, path):

        self.transport.write('%s %s HTTP/1.1\r\n' % (command, path))

class HTTPClientFactory(ScrapyHTTPClientFactory):

     protocol = PageGetter

希望本文所述对大家的Python程序设计有所帮助。

Python 相关文章推荐
python zip文件 压缩
Dec 24 Python
Python中logging模块的用法实例
Sep 29 Python
实现python版本的按任意键继续/退出
Sep 26 Python
深入理解Python爬虫代理池服务
Feb 28 Python
PyCharm+Qt Designer+PyUIC安装配置教程详解
Jun 13 Python
对Django url的几种使用方式详解
Aug 06 Python
Python学习笔记之lambda表达式用法详解
Aug 08 Python
Python GUI学习之登录系统界面篇
Aug 21 Python
python解析多层json操作示例
Dec 30 Python
pytorch SENet实现案例
Jun 24 Python
pycharm不以pytest方式运行,想要切换回普通模式运行的操作
Sep 01 Python
Django数据统计功能count()的使用
Nov 30 Python
Python打印scrapy蜘蛛抓取树结构的方法
Apr 08 #Python
使用IPython来操作Docker容器的入门指引
Apr 08 #Python
仅用50行Python代码实现一个简单的代理服务器
Apr 08 #Python
用Python实现一个简单的能够发送带附件的邮件程序的教程
Apr 08 #Python
Python 创建子进程模块subprocess详解
Apr 08 #Python
Python中使用gzip模块压缩文件的简单教程
Apr 08 #Python
Python使用scrapy抓取网站sitemap信息的方法
Apr 08 #Python
You might like
Mysql的GROUP_CONCAT()函数使用方法
2008/03/28 PHP
PHP+AJAX 投票器功能
2017/11/11 PHP
Ctrl+Enter提交内容信息
2006/06/26 Javascript
JQuery.Ajax之错误调试帮助信息介绍
2013/07/04 Javascript
优化Jquery,提升网页加载速度
2013/11/14 Javascript
解决bootstrap中modal遇到Esc键无法关闭页面
2015/03/09 Javascript
AngularJS在IE下取数据总是缓存问题的解决方法
2016/08/05 Javascript
jQuery焦点图左右转换效果
2016/12/12 Javascript
AngularJS表单基本操作
2017/01/09 Javascript
JS简单封装的图片无缝滚动效果示例【测试可用】
2017/03/22 Javascript
React学习笔记之事件处理(二)
2017/07/02 Javascript
jQuery中.attr()和.data()的区别分析
2017/09/03 jQuery
jQuery实现可兼容IE6的遮罩功能详解
2017/09/19 jQuery
如何用input标签和jquery实现多图片的上传和回显功能
2018/05/16 jQuery
三分钟学会用ES7中的Async/Await进行异步编程
2018/06/14 Javascript
详解angular分页插件tm.pagination二次触发问题解决方案
2018/07/20 Javascript
Vue组件创建和传值的方法
2018/08/17 Javascript
解决ele ui 表格表头太长问题的实现
2019/11/13 Javascript
VUE页面中通过双击实现复制表格中内容的示例代码
2020/06/11 Javascript
python单链表实现代码实例
2013/11/21 Python
python中的闭包用法实例详解
2015/05/05 Python
对python中return和print的一些理解
2017/08/18 Python
python 获取字符串MD5值方法
2018/05/29 Python
关于css兼容性问题及一些常见问题汇总
2016/05/03 HTML / CSS
美体小铺美国官网:The Body Shop美国
2017/11/10 全球购物
欧洲最大的预定车位市场:JustPark
2020/01/06 全球购物
英国男女豪华配饰和礼品网站:Black.co.uk
2020/02/28 全球购物
教师的实习鉴定
2013/12/15 职场文书
房产销售经理职责
2013/12/20 职场文书
成品库仓管员岗位职责
2014/04/06 职场文书
感恩教师节演讲稿
2014/09/03 职场文书
英语感谢信范文
2015/01/20 职场文书
化验员岗位职责
2015/02/14 职场文书
吴仁宝观后感
2015/06/09 职场文书
python 机器学习的标准化、归一化、正则化、离散化和白化
2021/04/16 Python
Apache自带的ab压力测试工具的实现
2022/07/23 Servers