python抓取京东商城手机列表url实例代码


Posted in Python onDecember 18, 2013
#-*- coding: UTF-8 -*-
'''
Created on 2013-12-5
@author: good-temper
'''
import urllib2
import bs4
import time
def getPage(urlStr):
    '''
                获取页面内容
    '''
    content = urllib2.urlopen(urlStr).read()
    return content
def getNextPageUrl(currPageNum):
    #http://list.jd.com/9987-653-655-0-0-0-0-0-0-0-1-1-页码-1-1-72-4137-33.html
    url =  u'http://list.jd.com/9987-653-655-0-0-0-0-0-0-0-1-1-'+str(currPageNum+1)+'-1-1-72-4137-33.html'
    #是否有下一页
    content = getPage(url);
    soup = bs4.BeautifulSoup(content)
    list = soup.findAll('span',{'class':'next-disabled'});
    if(len(list) == 0):
        return url
    return ''
def analyzeList():
    pageNum = 0
    list = []
    url = getNextPageUrl(pageNum)
    while url !='':
        soup = bs4.BeautifulSoup(getPage(url))
        pagelist = soup.findAll('div',{'class':'p-name'})
        for elem in pagelist:
            soup1 =  bs4.BeautifulSoup(str(elem))
            list.append(soup1.find('a')['href'])
        pageNum = pageNum+1
        print pageNum
        url = getNextPageUrl(pageNum)
    return list
def analyzeContent(url):
    return ''
def writeToFile(list, path):
    f = open(path, 'a')
    for elem in list:
        f.write(elem+'\n')
    f.close()
if __name__ == '__main__':
    list = analyzeList()
    print '共抓取'+str(len(list))+'条\n'
    writeToFile(list, u'E:\\jd_phone_list.dat');
Python 相关文章推荐
使用Python抓取模板之家的CSS模板
Mar 16 Python
python实现红包裂变算法
Feb 16 Python
Pycharm技巧之代码跳转该如何回退
Jul 16 Python
pandas DataFrame 警告(SettingWithCopyWarning)的解决
Jul 23 Python
Python 实现大整数乘法算法的示例代码
Sep 17 Python
wxPython实现带颜色的进度条
Nov 19 Python
Python 实现判断图片格式并转换,将转换的图像存到生成的文件夹中
Jan 13 Python
如何打包Python Web项目实现免安装一键启动的方法
May 21 Python
Pytorch 使用CNN图像分类的实现
Jun 16 Python
python 装饰器的实际作用有哪些
Sep 07 Python
TensorFlow的自动求导原理分析
May 26 Python
分享python函数常见关键字
Apr 26 Python
python获取糗百图片代码实例
Dec 18 #Python
python算法学习之计数排序实例
Dec 18 #Python
python算法学习之基数排序实例
Dec 18 #Python
python算法学习之桶排序算法实例(分块排序)
Dec 18 #Python
python计算最大优先级队列实例
Dec 18 #Python
python计算最小优先级队列代码分享
Dec 18 #Python
python查找第k小元素代码分享
Dec 18 #Python
You might like
php中adodbzip类实例
2014/12/08 PHP
php中文乱码问题的终极解决方案汇总
2017/08/01 PHP
laravel5.1框架model类查询的实现方法
2019/10/08 PHP
JavaScript获取图片真实大小代码实例
2014/09/24 Javascript
Mongoose学习全面理解(推荐)
2017/01/21 Javascript
Boostrap栅格系统与自己额外定义的媒体查询的冲突问题
2017/02/19 Javascript
js实现文字跑马灯效果
2017/02/23 Javascript
高性能的javascript之加载顺序与执行原理篇
2018/01/14 Javascript
Webpack path与publicPath的区别详解
2018/05/03 Javascript
vue获取元素宽、高、距离左边距离,右,上距离等还有XY坐标轴的方法
2018/09/05 Javascript
vue router的基本使用和配置教程
2018/11/05 Javascript
SSM+layUI 根据登录信息显示不同的页面方法
2019/09/20 Javascript
Vue分页效果与购物车功能
2019/12/13 Javascript
Python 检查数组元素是否存在类似PHP isset()方法
2014/10/14 Python
Python进程间通信用法实例
2015/06/04 Python
Python爬豆瓣电影实例
2018/02/23 Python
python学习--使用QQ邮箱发送邮件代码实例
2019/04/16 Python
Python3中的最大整数和最大浮点数实例
2019/07/09 Python
Python进阶之使用selenium爬取淘宝商品信息功能示例
2019/09/16 Python
Python 函数用法简单示例【定义、参数、返回值、函数嵌套】
2019/09/20 Python
Django中使用haystack+whoosh实现搜索功能
2019/10/08 Python
Cpython解释器中的GIL全局解释器锁
2020/11/09 Python
python 使用tkinter+you-get实现视频下载器
2020/11/17 Python
html5 canvas的绘制文本自动换行的示例代码
2018/09/17 HTML / CSS
Sephora丝芙兰马来西亚官方网站:国际化妆品购物
2018/03/15 全球购物
Charles&Keith美国官方网站:新加坡快时尚鞋类和配饰零售商
2019/11/27 全球购物
个人思想理论学习的自我鉴定
2013/11/30 职场文书
初中毕业生的自我评价
2014/03/03 职场文书
新员工试用期自我鉴定
2014/04/17 职场文书
马丁路德金演讲稿
2014/05/19 职场文书
英文慰问信范文
2015/03/24 职场文书
主持稿开场白
2015/06/01 职场文书
毕业生政审意见范文
2015/06/04 职场文书
同学聚会致辞集锦
2015/07/28 职场文书
学校就业保障协议书
2019/06/24 职场文书
JavaScript 与 TypeScript之间的联系
2021/11/27 Javascript