python抓取京东价格分析京东商品价格走势


Posted in Python onJanuary 09, 2014
from creepy import Crawler
from BeautifulSoup import BeautifulSoup
import urllib2
import json
class MyCrawler(Crawler):
    def process_document(self, doc):
        if doc.status == 200:
            print '[%d] %s' % (doc.status, doc.url)
            try:
                soup = BeautifulSoup(doc.text.decode('gb18030').encode('utf-8'))
            except Exception as e:
                print e
                soup = BeautifulSoup(doc.text)
            print soup.find(id="product-intro").div.h1.text
            url_id=urllib2.unquote(doc.url).decode('utf8').split('/')[-1].split('.')[0]
            f = urllib2.urlopen('http://p.3.cn/prices/get?skuid=J_'+url_id,timeout=5)
            price=json.loads(f.read())
            f.close()
            print price[0]['p']
        else:
            pass
crawler = MyCrawler()
crawler.set_follow_mode(Crawler.F_SAME_HOST)
crawler.set_concurrency_level(16)
crawler.add_url_filter('\.(jpg|jpeg|gif|png|js|css|swf)$')
crawler.crawl('http://item.jd.com/982040.html')
Python 相关文章推荐
Python中bisect的用法
Sep 23 Python
Python中subprocess模块用法实例详解
May 20 Python
Python解决抛小球问题 求小球下落经历的距离之和示例
Feb 01 Python
Python 查找list中的某个元素的所有的下标方法
Jun 27 Python
python中copy()与deepcopy()的区别小结
Aug 03 Python
pandas 时间格式转换的实现
Jul 06 Python
Django Form 实时从数据库中获取数据的操作方法
Jul 25 Python
python制作英语翻译小工具代码实例
Sep 09 Python
python使用PIL和matplotlib获取图片像素点并合并解析
Sep 10 Python
Python logging模块原理解析及应用
Aug 13 Python
Python中X[:,0]和X[:,1]的用法
May 10 Python
python基础之类方法和静态方法
Oct 24 Python
python实现电子词典
Apr 23 #Python
python中cPickle用法例子分享
Jan 03 #Python
使用python获取CPU和内存信息的思路与实现(linux系统)
Jan 03 #Python
Python群发邮件实例代码
Jan 03 #Python
python切换hosts文件代码示例
Dec 31 #Python
使用Python进行稳定可靠的文件操作详解
Dec 31 #Python
python连接mongodb操作数据示例(mongodb数据库配置类)
Dec 31 #Python
You might like
NO3第三帝国留言簿制作过程
2006/10/09 PHP
destoon会员注册提示“数据校验失败(2)”解决方法
2014/06/21 PHP
php实现数据库的增删改查
2017/02/26 PHP
PHP实现的数组和XML文件相互转换功能示例
2018/03/15 PHP
解决PHP curl或file_get_contents下载图片损坏或无法打开的问题
2019/10/11 PHP
laravel 解决后端无法获取到前端Post过来的值问题
2019/10/22 PHP
使用javascript创建快捷方式的简单实例
2013/08/09 Javascript
关于编写性能高效的javascript事件的技术
2014/11/28 Javascript
jqueryUI里拖拽排序示例分析
2015/02/26 Javascript
jquery读取xml文件实现省市县三级联动的方法
2015/05/29 Javascript
深入理解JavaScript编程中的同步与异步机制
2015/06/24 Javascript
windows下安装nodejs及框架express
2015/08/07 NodeJs
js停止冒泡和阻止浏览器默认行为的简单方法
2016/05/15 Javascript
JS实现复选框的全选和批量删除功能
2017/04/05 Javascript
微信小程序城市定位的实现实例(获取当前所在国家城市信息)
2017/05/17 Javascript
JQuery和html+css实现带小圆点和左右按钮的轮播图实例
2017/07/22 jQuery
基于JavaScript实现多级菜单效果
2017/07/25 Javascript
修改Nodejs内置的npm默认配置路径方法
2018/05/13 NodeJs
深入浅析Vue中的Prop
2018/06/10 Javascript
js中apply()和call()的区别与用法实例分析
2018/08/14 Javascript
Vue.js的动态组件模板的实现
2018/11/26 Javascript
vue微信分享的实现(在当前页面分享其他页面)
2019/04/16 Javascript
vue组件之间的数据传递方法详解
2019/04/19 Javascript
结合axios对项目中的api请求进行封装操作
2020/09/21 Javascript
[05:49]DOTA2-DPC中国联赛 正赛 Elephant vs LBZS 选手采访
2021/03/11 DOTA
python爬虫自动创建文件夹的功能
2018/08/01 Python
python实现矩阵打印
2019/03/02 Python
自定义实现 PyQt5 下拉复选框 ComboCheckBox的完整代码
2020/03/30 Python
在线购买世界上最好的酒:BoozeBud
2018/06/07 全球购物
工会趣味活动方案
2014/08/18 职场文书
2014年设备管理工作总结
2014/11/26 职场文书
公司放假通知范文
2015/04/14 职场文书
领导新年致辞2016
2015/07/29 职场文书
Redis实现订单自动过期功能的示例代码
2021/05/08 Redis
PHP中多字节字符串操作实例详解
2021/08/23 PHP
Linux下搭建SFTP服务器的命令详解
2022/06/25 Servers