python抓取京东价格分析京东商品价格走势


Posted in Python onJanuary 09, 2014
from creepy import Crawler
from BeautifulSoup import BeautifulSoup
import urllib2
import json
class MyCrawler(Crawler):
    def process_document(self, doc):
        if doc.status == 200:
            print '[%d] %s' % (doc.status, doc.url)
            try:
                soup = BeautifulSoup(doc.text.decode('gb18030').encode('utf-8'))
            except Exception as e:
                print e
                soup = BeautifulSoup(doc.text)
            print soup.find(id="product-intro").div.h1.text
            url_id=urllib2.unquote(doc.url).decode('utf8').split('/')[-1].split('.')[0]
            f = urllib2.urlopen('http://p.3.cn/prices/get?skuid=J_'+url_id,timeout=5)
            price=json.loads(f.read())
            f.close()
            print price[0]['p']
        else:
            pass
crawler = MyCrawler()
crawler.set_follow_mode(Crawler.F_SAME_HOST)
crawler.set_concurrency_level(16)
crawler.add_url_filter('\.(jpg|jpeg|gif|png|js|css|swf)$')
crawler.crawl('http://item.jd.com/982040.html')
Python 相关文章推荐
python生成指定尺寸缩略图的示例
May 07 Python
Python下Fabric的简单部署方法
Jul 14 Python
python 迭代器和iter()函数详解及实例
Mar 21 Python
python正则实现计算器功能
Dec 14 Python
Python用sndhdr模块识别音频格式详解
Jan 11 Python
Python实现数据可视化看如何监控你的爬虫状态【推荐】
Aug 10 Python
Python中numpy模块常见用法demo实例小结
Mar 16 Python
python实现最大子序和(分治+动态规划)
Jul 05 Python
解决Django 在ForeignKey中出现 non-nullable field错误的问题
Aug 06 Python
Django的ListView超详细用法(含分页paginate)
May 21 Python
python框架flask入门之环境搭建及开启调试
Jun 07 Python
Python+kivy BoxLayout布局示例代码详解
Dec 28 Python
python实现电子词典
Apr 23 #Python
python中cPickle用法例子分享
Jan 03 #Python
使用python获取CPU和内存信息的思路与实现(linux系统)
Jan 03 #Python
Python群发邮件实例代码
Jan 03 #Python
python切换hosts文件代码示例
Dec 31 #Python
使用Python进行稳定可靠的文件操作详解
Dec 31 #Python
python连接mongodb操作数据示例(mongodb数据库配置类)
Dec 31 #Python
You might like
PHP数组交集的优化代码分析
2011/03/06 PHP
php实现的顺序线性表示例
2019/05/04 PHP
Jquery AJAX 用于计算点击率(统计)
2010/06/30 Javascript
基于JQuery制作的产品广告效果
2010/12/08 Javascript
Javascript学习笔记之 对象篇(三) : hasOwnProperty
2014/06/24 Javascript
js跨域问题浅析及解决方法优缺点对比
2014/11/08 Javascript
javascript面向对象程序设计(一)
2015/01/29 Javascript
JavaScript使用Max函数返回两个数字中较大数的方法
2015/04/06 Javascript
JavaScript中实现Map的示例代码
2015/09/09 Javascript
封装属于自己的JS组件
2016/01/27 Javascript
AngularJS基础 ng-focus 指令简单示例
2016/08/01 Javascript
原生js实现新闻列表展开/收起全文功能
2017/01/20 Javascript
bootstrap中模态框、模态框的属性实例详解
2017/02/17 Javascript
Javascript中this关键字指向问题的测试与详解
2017/08/11 Javascript
vuex中使用对象展开运算符的示例
2017/09/25 Javascript
vue通过路由实现页面刷新的方法
2018/01/25 Javascript
浅谈webpack 构建性能优化策略小结
2018/06/13 Javascript
关于微信小程序map组件z-index的层级问题分析
2019/07/09 Javascript
微信小程序实现滚动Tab选项卡
2020/11/16 Javascript
[02:34]2016完美“圣”典风云人物:BurNIng专访
2016/12/10 DOTA
[48:56]2018DOTA2亚洲邀请赛 3.31 小组赛 A组 VG vs KG
2018/03/31 DOTA
Python深入学习之装饰器
2014/08/31 Python
python传递参数方式小结
2015/04/17 Python
详解Python中的各种函数的使用
2015/05/24 Python
python Django模板的使用方法
2016/01/14 Python
pytorch 自定义卷积核进行卷积操作方式
2019/12/30 Python
Numpy 理解ndarray对象的示例代码
2020/04/03 Python
基于MUI框架使用HTML5实现的二维码扫描功能
2018/03/01 HTML / CSS
单位办理社保介绍信
2014/01/10 职场文书
2014基层党员干部学习全国两会心得体会
2014/03/17 职场文书
基层党员对照检查材料
2014/08/25 职场文书
居安思危观后感
2015/06/11 职场文书
2016春节放假通知范文
2015/08/18 职场文书
matplotlib如何设置坐标轴刻度的个数及标签的方法总结
2021/06/11 Python
Java基础之线程锁相关知识总结
2021/06/30 Java/Android
Elasticsearch Recovery 详细介绍
2022/04/19 Java/Android