python抓取京东价格分析京东商品价格走势


Posted in Python onJanuary 09, 2014
from creepy import Crawler
from BeautifulSoup import BeautifulSoup
import urllib2
import json
class MyCrawler(Crawler):
    def process_document(self, doc):
        if doc.status == 200:
            print '[%d] %s' % (doc.status, doc.url)
            try:
                soup = BeautifulSoup(doc.text.decode('gb18030').encode('utf-8'))
            except Exception as e:
                print e
                soup = BeautifulSoup(doc.text)
            print soup.find(id="product-intro").div.h1.text
            url_id=urllib2.unquote(doc.url).decode('utf8').split('/')[-1].split('.')[0]
            f = urllib2.urlopen('http://p.3.cn/prices/get?skuid=J_'+url_id,timeout=5)
            price=json.loads(f.read())
            f.close()
            print price[0]['p']
        else:
            pass
crawler = MyCrawler()
crawler.set_follow_mode(Crawler.F_SAME_HOST)
crawler.set_concurrency_level(16)
crawler.add_url_filter('\.(jpg|jpeg|gif|png|js|css|swf)$')
crawler.crawl('http://item.jd.com/982040.html')
Python 相关文章推荐
python 判断是否为正小数和正整数的实例
Jul 23 Python
详解多线程Django程序耗尽数据库连接的问题
Oct 08 Python
Python离线安装PIL 模块的方法
Jan 08 Python
简单了解Python matplotlib线的属性
Jun 29 Python
mac系统下Redis安装和使用步骤详解
Jul 09 Python
django基于cors解决跨域请求问题详解
Aug 06 Python
python 计算概率密度、累计分布、逆函数的例子
Feb 25 Python
python——全排列数的生成方式
Feb 26 Python
Django项目创建及管理实现流程详解
Oct 13 Python
详解基于python的图像Gabor变换及特征提取
Oct 26 Python
Python 机器学习工具包SKlearn的安装与使用
May 14 Python
Python可视化学习之seaborn绘制矩阵图详解
Feb 24 Python
python实现电子词典
Apr 23 #Python
python中cPickle用法例子分享
Jan 03 #Python
使用python获取CPU和内存信息的思路与实现(linux系统)
Jan 03 #Python
Python群发邮件实例代码
Jan 03 #Python
python切换hosts文件代码示例
Dec 31 #Python
使用Python进行稳定可靠的文件操作详解
Dec 31 #Python
python连接mongodb操作数据示例(mongodb数据库配置类)
Dec 31 #Python
You might like
PHP 如何向 MySQL 发送数据
2006/10/09 PHP
PHP自动重命名文件实现方法
2014/11/04 PHP
Javascript类库的顶层对象名用户体验分析
2010/10/24 Javascript
Jquery的hover方法让鼠标经过li时背景变色
2013/09/06 Javascript
jQuery xml字符串的解析、读取及查找方法
2016/03/01 Javascript
jQuery.form插件的使用及跨域异步上传文件
2016/04/27 Javascript
js实现添加可信站点、修改activex安全设置,禁用弹出窗口阻止程序
2016/08/17 Javascript
解析JavaScript实现DDoS攻击原理与保护措施
2016/12/26 Javascript
JavaScript获取tr td 的三种方式全面总结(推荐)
2017/08/15 Javascript
JavaScript类型相关的常用操作总结
2019/02/14 Javascript
react-native滑动吸顶效果的实现过程
2019/06/03 Javascript
vue+elementUi图片上传组件使用详解
2019/08/20 Javascript
微信小程序点击列表跳转到对应详情页过程解析
2019/09/26 Javascript
解决vue+router路由跳转不起作用的一项原因
2020/07/19 Javascript
[02:14]2016国际邀请赛中国区预选赛Ehome晋级之路
2016/07/01 DOTA
[00:08]DOTA2勇士令状等级奖励“天外飞星”
2019/05/24 DOTA
Python中文分词实现方法(安装pymmseg)
2016/06/14 Python
基于asyncio 异步协程框架实现收集B站直播弹幕
2016/09/11 Python
python3读取excel文件只提取某些行某些列的值方法
2018/07/10 Python
Python3最长回文子串算法示例
2019/03/04 Python
python实现栅栏加解密 支持密钥加密
2019/03/20 Python
解决Django后台ManyToManyField显示成Object的问题
2019/08/09 Python
python安装及变量名介绍详解
2020/12/12 Python
35款精致的 CSS3 和 HTML5 网页模板 推荐
2012/08/03 HTML / CSS
日本无添加化妆品:HABA
2016/08/18 全球购物
安踏官方商城:anta.cn
2019/12/16 全球购物
学前教育求职自荐信范文
2013/12/25 职场文书
人力资源部培训专员岗位职责
2014/01/02 职场文书
优秀学生党员先进事迹材料
2014/05/29 职场文书
幼儿园标语大全
2014/06/19 职场文书
共青团员自我评价范文
2014/09/14 职场文书
工作感想范文
2015/08/07 职场文书
暑假生活随笔
2015/08/15 职场文书
JavaScript与JQuery框架基础入门教程
2021/07/15 Javascript
使用Docker容器部署rocketmq单机的全过程
2022/04/03 Servers
python实现简单的三子棋游戏
2022/04/28 Python