python抓取京东商城手机列表url实例代码


Posted in Python onDecember 18, 2013
#-*- coding: UTF-8 -*-
'''
Created on 2013-12-5
@author: good-temper
'''
import urllib2
import bs4
import time
def getPage(urlStr):
    '''
                获取页面内容
    '''
    content = urllib2.urlopen(urlStr).read()
    return content
def getNextPageUrl(currPageNum):
    #http://list.jd.com/9987-653-655-0-0-0-0-0-0-0-1-1-页码-1-1-72-4137-33.html
    url =  u'http://list.jd.com/9987-653-655-0-0-0-0-0-0-0-1-1-'+str(currPageNum+1)+'-1-1-72-4137-33.html'
    #是否有下一页
    content = getPage(url);
    soup = bs4.BeautifulSoup(content)
    list = soup.findAll('span',{'class':'next-disabled'});
    if(len(list) == 0):
        return url
    return ''
def analyzeList():
    pageNum = 0
    list = []
    url = getNextPageUrl(pageNum)
    while url !='':
        soup = bs4.BeautifulSoup(getPage(url))
        pagelist = soup.findAll('div',{'class':'p-name'})
        for elem in pagelist:
            soup1 =  bs4.BeautifulSoup(str(elem))
            list.append(soup1.find('a')['href'])
        pageNum = pageNum+1
        print pageNum
        url = getNextPageUrl(pageNum)
    return list
def analyzeContent(url):
    return ''
def writeToFile(list, path):
    f = open(path, 'a')
    for elem in list:
        f.write(elem+'\n')
    f.close()
if __name__ == '__main__':
    list = analyzeList()
    print '共抓取'+str(len(list))+'条\n'
    writeToFile(list, u'E:\\jd_phone_list.dat');
Python 相关文章推荐
python解析xml文件实例分享
Dec 04 Python
python发送伪造的arp请求
Jan 09 Python
Python编程中的反模式实例分析
Dec 08 Python
详解Python迭代和迭代器
Mar 28 Python
python traceback捕获并打印异常的方法
Aug 31 Python
matplotlib实现热成像图colorbar和极坐标图的方法
Dec 13 Python
python版百度语音识别功能
Jul 09 Python
Python使用get_text()方法从大段html中提取文本的实例
Aug 27 Python
python类中super() 的使用解析
Dec 19 Python
解决Django部署设置Debug=False时xadmin后台管理系统样式丢失
Apr 07 Python
通过代码实例了解Python sys模块
Sep 14 Python
java关于string最常出现的面试题整理
Jan 18 Python
python获取糗百图片代码实例
Dec 18 #Python
python算法学习之计数排序实例
Dec 18 #Python
python算法学习之基数排序实例
Dec 18 #Python
python算法学习之桶排序算法实例(分块排序)
Dec 18 #Python
python计算最大优先级队列实例
Dec 18 #Python
python计算最小优先级队列代码分享
Dec 18 #Python
python查找第k小元素代码分享
Dec 18 #Python
You might like
php下安装配置fckeditor编辑器的方法
2011/03/02 PHP
解析php中如何直接执行SHELL
2013/06/28 PHP
PHP在线书签系统分享
2016/01/04 PHP
php求斐波那契数的两种实现方式【递归与递推】
2019/09/09 PHP
IE 下的只读 innerHTML
2009/08/21 Javascript
Javascript 类、命名空间、代码组织代码
2011/07/31 Javascript
用JavaScript修改CSS属性的代码
2013/05/06 Javascript
js跳转页面方法实现汇总
2014/02/11 Javascript
PHP PDO操作总结
2014/11/17 Javascript
jQuery实现进度条效果代码
2015/12/17 Javascript
详解jQuery中ajax.load()方法
2017/01/25 Javascript
js实现本地图片文件拖拽效果
2017/07/18 Javascript
图片加载完成再执行事件的实例
2017/11/16 Javascript
使用DataTable插件实现异步加载数据
2017/11/19 Javascript
基于node.js实现微信支付退款功能
2017/12/19 Javascript
利用Node.js批量抓取高清妹子图片实例教程
2018/08/02 Javascript
微信小程序实现分享商品海报功能
2019/09/30 Javascript
微信小程序按顺序同步执行的两种方式
2019/12/20 Javascript
解决vue+webpack项目接口跨域出现的问题
2020/08/10 Javascript
初学Python实用技巧两则
2014/08/29 Python
Python中使用items()方法返回字典元素对的教程
2015/05/21 Python
Python调用C语言的方法【基于ctypes模块】
2018/01/22 Python
Django使用paginator插件实现翻页功能的实例
2018/10/24 Python
Python 获取指定文件夹下的目录和文件的实现
2019/08/30 Python
python计算auc的方法
2020/09/09 Python
python collections模块的使用
2020/10/16 Python
python3中calendar返回某一时间点实例讲解
2020/11/18 Python
Mistine官方海外旗舰店:泰国国民彩妆品牌
2016/12/28 全球购物
Interhome丹麦:在线预订度假屋和公寓
2019/07/18 全球购物
全球最大的生存食品、水和装备专用在线市场:BePrepared.com
2020/01/02 全球购物
自我鉴定总结
2014/03/24 职场文书
党的作风建设心得体会
2014/10/22 职场文书
卖房协议书样本
2014/10/30 职场文书
家装业务员岗位职责
2015/04/03 职场文书
故意伤害罪辩护词
2015/05/21 职场文书
Python爬虫之用Xpath获取关键标签实现自动评论盖楼抽奖(二)
2021/06/07 Python