python抓取京东价格分析京东商品价格走势


Posted in Python onJanuary 09, 2014
from creepy import Crawler
from BeautifulSoup import BeautifulSoup
import urllib2
import json
class MyCrawler(Crawler):
    def process_document(self, doc):
        if doc.status == 200:
            print '[%d] %s' % (doc.status, doc.url)
            try:
                soup = BeautifulSoup(doc.text.decode('gb18030').encode('utf-8'))
            except Exception as e:
                print e
                soup = BeautifulSoup(doc.text)
            print soup.find(id="product-intro").div.h1.text
            url_id=urllib2.unquote(doc.url).decode('utf8').split('/')[-1].split('.')[0]
            f = urllib2.urlopen('http://p.3.cn/prices/get?skuid=J_'+url_id,timeout=5)
            price=json.loads(f.read())
            f.close()
            print price[0]['p']
        else:
            pass
crawler = MyCrawler()
crawler.set_follow_mode(Crawler.F_SAME_HOST)
crawler.set_concurrency_level(16)
crawler.add_url_filter('\.(jpg|jpeg|gif|png|js|css|swf)$')
crawler.crawl('http://item.jd.com/982040.html')
Python 相关文章推荐
Python 中的with关键字使用详解
Sep 11 Python
python 循环遍历字典元素的简单方法
Sep 11 Python
老生常谈进程线程协程那些事儿
Jul 24 Python
详解tensorflow实现迁移学习实例
Feb 10 Python
python3利用Dlib19.7实现人脸68个特征点标定
Feb 26 Python
python实现电脑自动关机
Jun 20 Python
利用Python实现Shp格式向GeoJSON的转换方法
Jul 09 Python
Django Rest framework认证组件详细用法
Jul 25 Python
Python字典的概念及常见应用实例详解
Oct 30 Python
python pptx复制指定页的ppt教程
Feb 14 Python
Pycharm如何运行.py文件的方法步骤
Mar 03 Python
详解PyQt5信号与槽的几种高级玩法
Mar 24 Python
python实现电子词典
Apr 23 #Python
python中cPickle用法例子分享
Jan 03 #Python
使用python获取CPU和内存信息的思路与实现(linux系统)
Jan 03 #Python
Python群发邮件实例代码
Jan 03 #Python
python切换hosts文件代码示例
Dec 31 #Python
使用Python进行稳定可靠的文件操作详解
Dec 31 #Python
python连接mongodb操作数据示例(mongodb数据库配置类)
Dec 31 #Python
You might like
WINDOWS服务器安装多套PHP的另类解决方案
2006/10/09 PHP
简体中文转换为繁体中文的PHP函数
2006/10/09 PHP
PHP无刷新上传文件实现代码
2011/09/19 PHP
php正则表达式使用的详细介绍
2013/04/27 PHP
php实现中文字符截取防乱码方法汇总
2015/04/29 PHP
PHP微信PC二维码登陆的实现思路
2017/07/13 PHP
PHP使用redis位图bitMap 实现签到功能
2019/10/08 PHP
PHP中用Trait封装单例模式的实现
2019/12/18 PHP
禁止JQuery中的load方法装载IE缓存中文件的方法
2009/09/11 Javascript
jquery移除button的inline onclick事件(已测试及兼容浏览器)
2013/01/25 Javascript
jQuery实现鼠标划过修改样式的方法
2015/04/14 Javascript
js 轮播效果实例分享
2016/12/28 Javascript
浅谈js中用$(#ID)来作为选择器的问题(id重复的时候)
2017/02/14 Javascript
Vue.js 2.0 移动端拍照压缩图片预览及上传实例
2017/04/27 Javascript
vue使用xe-utils函数库的具体方法
2018/03/06 Javascript
解决Nodejs全局安装模块后找不到命令的问题
2018/05/15 NodeJs
详解vue.js下引入百度地图jsApi的两种方法
2018/07/27 Javascript
解决angularjs前后端分离调用接口传递中文时中文乱码的问题
2018/08/13 Javascript
详细分析vue响应式原理
2020/06/22 Javascript
JavaScript实现HTML导航栏下拉菜单
2020/11/25 Javascript
[56:42]VP vs RNG 2019国际邀请赛小组赛 BO2 第二场 8.15
2019/08/17 DOTA
flask框架视图函数用法示例
2018/07/19 Python
对Python3之进程池与回调函数的实例详解
2019/01/22 Python
python 获取等间隔的数组实例
2019/07/04 Python
python word转pdf代码实例
2019/08/16 Python
Django和Flask框架优缺点对比
2019/10/24 Python
绝对令人的惊叹的CSS3折叠效果(3D效果)整理
2012/12/30 HTML / CSS
欧洲高端品牌直销店:Fashionesta
2016/08/31 全球购物
护理专业应届毕业生推荐信
2013/11/15 职场文书
采购部岗位职责
2013/11/24 职场文书
先进党支部事迹材料
2014/01/13 职场文书
国庆节演讲稿范文2014
2014/09/19 职场文书
公司租房协议书
2014/10/14 职场文书
《圆的周长》教学反思
2016/02/17 职场文书
SQL语句中JOIN的用法场景分析
2021/07/25 SQL Server
SpringBoot集成Redis的思路详解
2021/10/16 Redis