scrapyd schedule.json setting 传入多个值问题


Posted in Javascript onAugust 07, 2019

使用案例:

import requests
adder='http://127.0.0.1:6800'
data = {
    'project':'v1',
    'version':'12379',
    'setting':['ROBOTSTXT_OBEY=True','CONCURRENT_REQUESTS=32']
}
resp = requests.post(adder,data=data)

问题解决思路:

版本1.2文档中:

◦setting (string, optional) - a Scrapy setting to use when running the spider

setting 是字符串,那么多个字符串该如何呢。

通过源码 site-packages/scrapyd/webservice.py

class Schedule(WsResource):
  def render_POST(self, txrequest):
    args = native_stringify_dict(copy(txrequest.args), keys_only=False)
    settings = args.pop('setting', [])
    settings = dict(x.split('=', 1) for x in settings)
    args = dict((k, v[0]) for k, v in args.items())
    project = args.pop('project')
    spider = args.pop('spider')
    version = args.get('_version', '')
    spiders = get_spider_list(project, version=version)
    if not spider in spiders:
      return {"status": "error", "message": "spider '%s' not found" % spider}
    args['settings'] = settings
    jobid = args.pop('jobid', uuid.uuid1().hex)
    args['_job'] = jobid
    self.root.scheduler.schedule(project, spider, **args)
    return {"node_name": self.root.nodename, "status": "ok", "jobid": jobid}

 可以发现 setting 在这里是list对象,且里面元素是字符,字符串必须包含=符号。

以此我们尝试传入setting:['DEBUG=True','HOST_NAME=axdda']

结果真的可以。对于比较复杂的设置,下次有需求再研究吧。

总结

以上所述是小编给大家介绍的scrapyd schedule.json setting 传入多个值问题,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Javascript 相关文章推荐
JS判断、校验MAC地址的2个实例
May 05 Javascript
js面向对象编程之如何实现方法重载
Jul 02 Javascript
简介可以自动完成UI的AngularJS工具angular-smarty
Jun 23 Javascript
一个用jquery写的判断div滚动条到底部的方法【推荐】
Apr 29 Javascript
Bootstrap基本布局实现方法详解
Nov 25 Javascript
详解AngularJS controller调用factory
May 19 Javascript
JS装饰器函数用法总结
Apr 21 Javascript
AngularJS中ng-options实现下拉列表的数据绑定方法
Aug 13 Javascript
Vue循环组件加validate多表单验证的实例
Sep 18 Javascript
Jquery和CSS实现选择框重置按钮功能
Nov 08 jQuery
详解VUE Element-UI多级菜单动态渲染的组件
Apr 25 Javascript
在webstorm中配置less的方法详解
Sep 25 Javascript
Node.js在图片模板上生成二维码图片并附带底部文字说明实现详解
Aug 07 #Javascript
微信小程序引入Vant组件库过程解析
Aug 06 #Javascript
Vue数据绑定实例写法
Aug 06 #Javascript
Vue代码整洁之去重方法整理
Aug 06 #Javascript
VUE写一个简单的表格实例
Aug 06 #Javascript
VUE前后端学习tab写法实例
Aug 06 #Javascript
Vue路由前后端设计总结
Aug 06 #Javascript
You might like
PHP 使用MySQL管理Session的回调函数详解
2013/06/21 PHP
PHP常用工具函数小结【移除XSS攻击、UTF8与GBK编码转换等】
2019/04/27 PHP
php的无刷新操作实现方法分析
2020/02/28 PHP
关于js中window.location.href,location.href,parent.location.href,top.location.href的用法与区别
2010/10/18 Javascript
终于解决了IE8不支持数组的indexOf方法
2013/04/03 Javascript
js 有框架页面跳转(target)三种情况下的应用
2013/04/09 Javascript
zTree插件之单选下拉菜单实例代码
2013/11/07 Javascript
谈谈JavaScript类型系统之Math
2016/01/06 Javascript
jQuery UI制作选项卡(tabs)
2016/12/13 Javascript
Bootstrap3下拉菜单的实现
2017/02/22 Javascript
div中文字内容溢出常见的解决方法
2017/03/16 Javascript
Node.js命令行/批处理中如何更改Linux用户密码浅析
2018/07/22 Javascript
代码整洁之道(重构)
2018/10/25 Javascript
vue实现移动端图片上传功能
2019/12/23 Javascript
解决vue项目,npm run build后,报路径错的问题
2020/08/13 Javascript
解决antd datepicker 获取时间默认少8个小时的问题
2020/10/29 Javascript
mustache.js实现首页元件动态渲染的示例代码
2020/12/28 Javascript
Element-ui 自带的两种远程搜索(模糊查询)用法讲解
2021/01/29 Javascript
[49:12]完美世界DOTA2联赛PWL S2 Magma vs GXR 第二场 11.29
2020/12/02 DOTA
Python双精度浮点数运算并分行显示操作示例
2017/07/21 Python
python验证码识别教程之利用滴水算法分割图片
2018/06/05 Python
Python合并多个Excel数据的方法
2018/07/16 Python
python pytest进阶之conftest.py详解
2019/06/27 Python
Pandas聚合运算和分组运算的实现示例
2019/10/17 Python
python实现银行账户系统
2021/02/22 Python
YOINS官网:时尚女装网上购物
2017/03/17 全球购物
Laura Mercier官网:彩妆大师罗拉玛斯亚的化妆品牌
2018/01/04 全球购物
澳大利亚女士时装在线:Rockmans
2018/09/26 全球购物
英国顶级足球鞋的领先零售商:Lovell Soccer
2019/08/27 全球购物
学校安全责任书范本
2014/07/23 职场文书
大国崛起日本观后感
2015/06/02 职场文书
致我们终将逝去的青春观后感
2015/06/10 职场文书
2016年小学中秋节活动总结
2016/04/05 职场文书
python小程序之飘落的银杏
2021/04/17 Python
漫画「日和酱的要求是绝对的」第3卷封面公开
2022/03/21 日漫
Java时间工具类Date的常用处理方法
2022/05/25 Java/Android