python使用scrapy解析js示例


Posted in Python onJanuary 23, 2014
from selenium import selenium
class MySpider(CrawlSpider):
    name = 'cnbeta'
    allowed_domains = ['cnbeta.com']
    start_urls = ['https://3water.com']
    rules = (
        # Extract links matching 'category.php' (but not matching 'subsection.php')
        # and follow links from them (since no callback means follow=True by default).
        Rule(SgmlLinkExtractor(allow=('/articles/.*\.htm', )),
             callback='parse_page', follow=True),
        # Extract links matching 'item.php' and parse them with the spider's method parse_item
    )
    def __init__(self):
        CrawlSpider.__init__(self)
        self.verificationErrors = []
        self.selenium = selenium("localhost", 4444, "*firefox", "https://3water.com")
        self.selenium.start()
    def __del__(self):
        self.selenium.stop()
        print self.verificationErrors
        CrawlSpider.__del__(self)

    def parse_page(self, response):
        self.log('Hi, this is an item page! %s' % response.url)
        sel = Selector(response)
        from webproxy.items import WebproxyItem
        sel = self.selenium
        sel.open(response.url)
        sel.wait_for_page_to_load("30000")
        import time
        time.sleep(2.5)
Python 相关文章推荐
用Python的线程来解决生产者消费问题的示例
Apr 02 Python
Linux下用Python脚本监控目录变化代码分享
May 21 Python
python中enumerate函数遍历元素用法分析
Mar 11 Python
微信跳一跳python自动代码解读1.0
Jan 12 Python
Python测试人员需要掌握的知识
Feb 08 Python
python opencv设置摄像头分辨率以及各个参数的方法
Apr 02 Python
python实现电脑自动关机
Jun 20 Python
python 对key为时间的dict排序方法
Oct 17 Python
python实现狄克斯特拉算法
Jan 17 Python
Python3标准库总结
Feb 19 Python
django2笔记之路由path语法的实现
Jul 17 Python
Python制作数据预测集成工具(值得收藏)
Aug 21 Python
php使用递归与迭代实现快速排序示例
Jan 23 #Python
python实现批量转换文件编码(批转换编码示例)
Jan 23 #Python
python写的一个文本编辑器
Jan 23 #Python
python生成指定长度的随机数密码
Jan 23 #Python
python使用beautifulsoup从爱奇艺网抓取视频播放
Jan 23 #Python
python3使用urllib示例取googletranslate(谷歌翻译)
Jan 23 #Python
pyside写ui界面入门示例
Jan 22 #Python
You might like
php文档更新介绍
2011/07/22 PHP
php存储过程调用实例代码
2013/02/03 PHP
laravel容器延迟加载以及auth扩展详解
2015/03/02 PHP
laravel实现一个上传图片的接口,并建立软链接,访问图片的方法
2019/10/12 PHP
javascript操作cookie的文章(设置,删除cookies)
2010/04/01 Javascript
通过JavaScript控制字体大小的代码
2011/10/04 Javascript
Js获取图片原始宽高的实现代码
2016/05/17 Javascript
15个值得开发人员关注的jQuery开发技巧和心得总结【经典收藏】
2016/05/25 Javascript
引用jquery框架后出错的解决方法
2016/08/09 Javascript
nodejs入门教程六:express模块用法示例
2017/04/24 NodeJs
Angular.JS中的this指向详解
2017/05/17 Javascript
详解a++和++a的区别
2017/08/30 Javascript
nodejs基于mssql模块连接sqlserver数据库的简单封装操作示例
2018/01/05 NodeJs
vue.js整合vux中的上拉加载下拉刷新实例教程
2018/01/09 Javascript
vue translate peoject实现在线翻译功能【新手必看】
2018/06/07 Javascript
详解Vue CLI3配置解析之css.extract
2018/09/14 Javascript
vue-cli系列之vue-cli-service整体架构浅析
2019/01/14 Javascript
JS实现使用POST方式发送请求
2019/08/30 Javascript
JavaScript forEach中return失效问题解决方案
2020/06/01 Javascript
vue 监听窗口变化对页面部分元素重新渲染操作
2020/07/28 Javascript
浅谈使用Python内置函数getattr实现分发模式
2018/01/22 Python
Django实现登录随机验证码的示例代码
2018/06/20 Python
从0开始的Python学习014面向对象编程(推荐)
2019/04/02 Python
Python学习笔记之函数的参数和返回值的使用
2019/11/20 Python
Django 拼接两个queryset 或是两个不可以相加的对象实例
2020/03/28 Python
Pandas的数据过滤实现
2021/01/15 Python
意大利综合购物网站:Giordano Shop
2016/10/21 全球购物
巴西葡萄酒销售网站:Wine.com.br
2017/11/07 全球购物
Skyscanner阿联酋:全球领先的旅游搜索平台
2017/11/25 全球购物
Casetify官网:自制专属手机壳、iPad护壳和Apple Watch手表带
2018/05/09 全球购物
联强国际笔试题面试题
2013/07/10 面试题
校庆团日活动总结
2014/08/28 职场文书
考试保密承诺书
2014/08/30 职场文书
祝酒词范文
2015/08/12 职场文书
高三数学教学反思
2016/02/18 职场文书
Mysql数据库值的添加、修改、删除及清空操作实例
2021/06/20 MySQL