python抓取京东价格分析京东商品价格走势


Posted in Python onJanuary 09, 2014
from creepy import Crawler
from BeautifulSoup import BeautifulSoup
import urllib2
import json
class MyCrawler(Crawler):
    def process_document(self, doc):
        if doc.status == 200:
            print '[%d] %s' % (doc.status, doc.url)
            try:
                soup = BeautifulSoup(doc.text.decode('gb18030').encode('utf-8'))
            except Exception as e:
                print e
                soup = BeautifulSoup(doc.text)
            print soup.find(id="product-intro").div.h1.text
            url_id=urllib2.unquote(doc.url).decode('utf8').split('/')[-1].split('.')[0]
            f = urllib2.urlopen('http://p.3.cn/prices/get?skuid=J_'+url_id,timeout=5)
            price=json.loads(f.read())
            f.close()
            print price[0]['p']
        else:
            pass
crawler = MyCrawler()
crawler.set_follow_mode(Crawler.F_SAME_HOST)
crawler.set_concurrency_level(16)
crawler.add_url_filter('\.(jpg|jpeg|gif|png|js|css|swf)$')
crawler.crawl('http://item.jd.com/982040.html')
Python 相关文章推荐
python过滤字符串中不属于指定集合中字符的类实例
Jun 30 Python
python实现解数独程序代码
Apr 12 Python
python实现发送邮件功能代码
Dec 14 Python
python中文乱码不着急,先看懂字节和字符
Dec 20 Python
Python基于win32ui模块创建弹出式菜单示例
May 09 Python
Python把对应格式的csv文件转换成字典类型存储脚本的方法
Feb 12 Python
Python实现剪刀石头布小游戏(与电脑对战)
Dec 31 Python
python如何基于redis实现ip代理池
Jan 17 Python
Python3中的f-Strings增强版字符串格式化方法
Mar 04 Python
如何使用python写截屏小工具
Sep 29 Python
Python-split()函数实例用法讲解
Dec 18 Python
学会Python数据可视化必须尝试这7个库
Jun 16 Python
python实现电子词典
Apr 23 #Python
python中cPickle用法例子分享
Jan 03 #Python
使用python获取CPU和内存信息的思路与实现(linux系统)
Jan 03 #Python
Python群发邮件实例代码
Jan 03 #Python
python切换hosts文件代码示例
Dec 31 #Python
使用Python进行稳定可靠的文件操作详解
Dec 31 #Python
python连接mongodb操作数据示例(mongodb数据库配置类)
Dec 31 #Python
You might like
PHP取得一个类的属性和方法的实现代码
2011/05/22 PHP
PHP常用字符串操作函数实例总结(trim、nl2br、addcslashes、uudecode、md5等)
2016/01/09 PHP
PHP yii实现model添加默认值的方法(两种方法)
2016/11/10 PHP
可以支持多中格式的JS键盘
2007/05/02 Javascript
关于IE、Firefox、Opera页面呈现异同 写脚本很痛苦
2009/08/28 Javascript
Jquery数独游戏解析(一)-页面布局
2010/11/05 Javascript
Script的加载方法小结
2011/01/12 Javascript
鼠标滚轮改变图片大小的示例代码
2013/11/20 Javascript
详解JavaScript ES6中的模板字符串
2015/07/28 Javascript
利用Vue.js指令实现全选功能
2016/09/08 Javascript
Node.js查找当前目录下文件夹实例代码
2017/03/07 Javascript
微信小程序出现wx.navigateTo页面不跳转问题的解决方法
2017/12/26 Javascript
mock.js实现模拟生成假数据功能示例
2019/01/15 Javascript
简单了解JavaScript中的执行上下文和堆栈
2019/06/24 Javascript
vue实现Excel文件的上传与下载功能的两种方式
2019/06/28 Javascript
Layui表格行工具事件与数据回填方法
2019/09/13 Javascript
vue实现element表格里表头信息提示功能(推荐)
2019/11/20 Javascript
Vue.js实现立体计算器
2020/02/22 Javascript
js实现无缝轮播图特效
2020/05/09 Javascript
VSCode搭建React Native环境
2020/05/07 Javascript
[00:14]护身甲盾
2019/03/06 DOTA
Python中apply函数的用法实例教程
2014/07/31 Python
使用python在本地电脑上快速处理数据
2017/06/22 Python
python 平衡二叉树实现代码示例
2018/07/07 Python
Python数据类型之List列表实例详解
2019/05/08 Python
python烟花效果的代码实例
2020/02/25 Python
Python实现删除某列中含有空值的行的示例代码
2020/07/20 Python
termux中matplotlib无法显示中文问题的解决方法
2021/01/11 Python
购买原创艺术品:Zatista
2019/11/09 全球购物
班级聚会策划书
2014/01/16 职场文书
表演方阵解说词
2014/02/08 职场文书
校长竞聘演讲稿
2014/05/16 职场文书
不尊敬老师检讨书范文
2014/11/19 职场文书
2015年质量月活动总结报告
2015/03/27 职场文书
创业计划书之川味火锅店
2019/09/02 职场文书
MySQL系列之八 MySQL服务器变量
2021/07/02 MySQL