python实现爬取千万淘宝商品的方法


Posted in Python onJune 30, 2015

本文实例讲述了python实现爬取千万淘宝商品的方法。分享给大家供大家参考。具体实现方法如下:

import time
import leveldb
from urllib.parse import quote_plus 
import re
import json
import itertools
import sys
import requests
from queue import Queue
from threading import Thread
URL_BASE = 'http://s.m.taobao.com/search?q={}&n=200&m=api4h5&style=list&page={}'
def url_get(url):
  # print('GET ' + url)
  header = dict()
  header['Accept'] = 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8'
  header['Accept-Encoding'] = 'gzip,deflate,sdch'
  header['Accept-Language'] = 'en-US,en;q=0.8'
  header['Connection'] = 'keep-alive'
  header['DNT'] = '1'
  #header['User-Agent'] = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.71 Safari/537.36'
  header['User-Agent'] = 'Mozilla/12.0 (compatible; MSIE 8.0; Windows NT)'
  return requests.get(url, timeout = 5, headers = header).text
def item_thread(cate_queue, db_cate, db_item):
  while True:
    try:
      cate = cate_queue.get()
      post_exist = True
      try:
        state = db_cate.Get(cate.encode('utf-8'))
        if state != b'OK': post_exist = False
      except:
        post_exist = False
      if post_exist == True:
        print('cate-{}: {} already exists ... Ignore'.format(cate, title))
        continue
      db_cate.Put(cate.encode('utf-8'), b'crawling')
      for item_page in itertools.count(1):
        url = URL_BASE.format(quote_plus(cate), item_page)
        for tr in range(5):
          try:
            items_obj = json.loads(url_get(url))
            break
          except KeyboardInterrupt:
            quit()
          except Exception as e:
            if tr == 4: raise e
        if len(items_obj['listItem']) == 0: break
        for item in items_obj['listItem']:
          item_obj = dict(
            _id = int(item['itemNumId']),
            name = item['name'],
            price = float(item['price']),
            query = cate,
            category = int(item['category']) if item['category'] != '' else 0,
            nick = item['nick'],
            area = item['area'])
          db_item.Put(str(item_obj['_id']).encode('utf-8'),
                json.dumps(item_obj, ensure_ascii = False).encode('utf-8'))
        print('Get {} items from {}: {}'.format(len(items_obj['listItem']), cate, item_page))
        if 'nav' in items_obj:
          for na in items_obj['nav']['navCatList']:
            try:
              db_cate.Get(na['name'].encode('utf-8'))
            except:
              db_cate.Put(na['name'].encode('utf-8'), b'waiting')
      db_cate.Put(cate.encode('utf-8'), b'OK')
      print(cate, 'OK')
    except KeyboardInterrupt:
      break
    except Exception as e:
      print('An {} exception occured'.format(e))
def cate_thread(cate_queue, db_cate):
  while True:
    try:
      for key, value in db_cate.RangeIter():
        if value != b'OK':
          print('CateThread: put {} into queue'.format(key.decode('utf-8')))
          cate_queue.put(key.decode('utf-8'))
      time.sleep(10)
    except KeyboardInterrupt:
      break
    except Exception as e:
      print('CateThread: {}'.format(e))
if __name__ == '__main__':
  db_cate = leveldb.LevelDB('./taobao-cate')
  db_item = leveldb.LevelDB('./taobao-item')
  orig_cate = '正装'
  try:
    db_cate.Get(orig_cate.encode('utf-8'))
  except:
    db_cate.Put(orig_cate.encode('utf-8'), b'waiting')
  cate_queue = Queue(maxsize = 1000)
  cate_th = Thread(target = cate_thread, args = (cate_queue, db_cate))
  cate_th.start()
  item_th = [Thread(target = item_thread, args = (cate_queue, db_cate, db_item)) for _ in range(5)]
  for item_t in item_th:
    item_t.start()
  cate_th.join()

希望本文所述对大家的Python程序设计有所帮助。

Python 相关文章推荐
python使用百度翻译进行中翻英示例
Apr 14 Python
Python常用模块介绍
Nov 21 Python
python实现逆波兰计算表达式实例详解
May 06 Python
python遍历目录的方法小结
Apr 28 Python
Python栈算法的实现与简单应用示例
Nov 01 Python
利用python Selenium实现自动登陆京东签到领金币功能
Oct 31 Python
Python关键字及可变参数*args,**kw原理解析
Apr 04 Python
DataFrame 数据合并实现(merge,join,concat)
Jun 14 Python
详解用Python爬虫获取百度企业信用中企业基本信息
Jul 02 Python
python 常用日期处理-- datetime 模块的使用
Sep 02 Python
Python中猜拳游戏与猜筛子游戏的实现方法
Sep 04 Python
pytorch 实现变分自动编码器的操作
May 24 Python
python简单判断序列是否为空的方法
Jun 30 #Python
python检查序列seq是否含有aset中项的方法
Jun 30 #Python
python判断一个集合是否包含了另外一个集合中所有项的方法
Jun 30 #Python
python过滤字符串中不属于指定集合中字符的类实例
Jun 30 #Python
python获得文件创建时间和修改时间的方法
Jun 30 #Python
python读写ini配置文件方法实例分析
Jun 30 #Python
python清除指定目录内所有文件中script的方法
Jun 30 #Python
You might like
Symfony2函数用法实例分析
2016/03/18 PHP
浅谈PHP匿名函数和闭包
2019/03/08 PHP
phpstudy后门rce批量利用脚本的实现
2019/12/12 PHP
laravel5.6框架操作数据curd写法(查询构建器)实例分析
2020/01/26 PHP
深入浅析安装PhpStorm并激活的步骤详解
2020/09/17 PHP
一个JavaScript继承的实现
2006/10/24 Javascript
JavaScript 学习笔记二 字符串拼接
2010/03/28 Javascript
使用jQuery实现dropdownlist的联动效果(sharepoint 2007)
2011/03/30 Javascript
jquery获得option的值和对option进行操作
2013/12/13 Javascript
JavaScript的21条基本知识点
2014/03/04 Javascript
JavaScript中的Math.atan2()方法使用详解
2015/06/15 Javascript
荐书|您有一份JavaScript书单待签收
2017/07/21 Javascript
JS实现碰撞检测的方法分析
2018/01/19 Javascript
详解element-ui中form验证杂记
2019/03/04 Javascript
[01:16:01]VGJ.S vs Mski Supermajor小组赛C组 BO3 第一场 6.3
2018/06/04 DOTA
Python版的文曲星猜数字游戏代码
2013/09/02 Python
Python实现的监测服务器硬盘使用率脚本分享
2014/11/07 Python
Python缩进和冒号详解
2016/06/01 Python
浅谈Python的list中的选取范围
2018/11/12 Python
python实现求特征选择的信息增益
2018/12/18 Python
Django JWT Token RestfulAPI用户认证详解
2019/01/23 Python
Python3利用print输出带颜色的彩色字体示例代码
2019/04/08 Python
springboot配置文件抽离 git管理统 配置中心详解
2019/09/02 Python
django 数据库返回queryset实现封装为字典
2020/05/19 Python
golang/python实现归并排序实例代码
2020/08/30 Python
python 根据列表批量下载网易云音乐的免费音乐
2020/12/03 Python
巧用CSS3 border实现图片遮罩效果代码
2012/04/09 HTML / CSS
高中生活自我鉴定
2014/01/18 职场文书
精通CAD能手自荐书
2014/01/31 职场文书
美术兴趣小组活动总结
2014/07/07 职场文书
家庭贫困证明范本(经典版)
2014/09/22 职场文书
致800米运动员广播稿(10篇)
2014/10/17 职场文书
2015年初中教务处工作总结
2015/07/21 职场文书
三好学生竞选稿
2015/11/21 职场文书
用人单位的规章制度,怎样制定才是有效的?
2019/07/09 职场文书
Mysql文件存储图文详解
2021/06/01 MySQL