python实现爬取千万淘宝商品的方法


Posted in Python onJune 30, 2015

本文实例讲述了python实现爬取千万淘宝商品的方法。分享给大家供大家参考。具体实现方法如下:

import time
import leveldb
from urllib.parse import quote_plus 
import re
import json
import itertools
import sys
import requests
from queue import Queue
from threading import Thread
URL_BASE = 'http://s.m.taobao.com/search?q={}&n=200&m=api4h5&style=list&page={}'
def url_get(url):
  # print('GET ' + url)
  header = dict()
  header['Accept'] = 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8'
  header['Accept-Encoding'] = 'gzip,deflate,sdch'
  header['Accept-Language'] = 'en-US,en;q=0.8'
  header['Connection'] = 'keep-alive'
  header['DNT'] = '1'
  #header['User-Agent'] = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.71 Safari/537.36'
  header['User-Agent'] = 'Mozilla/12.0 (compatible; MSIE 8.0; Windows NT)'
  return requests.get(url, timeout = 5, headers = header).text
def item_thread(cate_queue, db_cate, db_item):
  while True:
    try:
      cate = cate_queue.get()
      post_exist = True
      try:
        state = db_cate.Get(cate.encode('utf-8'))
        if state != b'OK': post_exist = False
      except:
        post_exist = False
      if post_exist == True:
        print('cate-{}: {} already exists ... Ignore'.format(cate, title))
        continue
      db_cate.Put(cate.encode('utf-8'), b'crawling')
      for item_page in itertools.count(1):
        url = URL_BASE.format(quote_plus(cate), item_page)
        for tr in range(5):
          try:
            items_obj = json.loads(url_get(url))
            break
          except KeyboardInterrupt:
            quit()
          except Exception as e:
            if tr == 4: raise e
        if len(items_obj['listItem']) == 0: break
        for item in items_obj['listItem']:
          item_obj = dict(
            _id = int(item['itemNumId']),
            name = item['name'],
            price = float(item['price']),
            query = cate,
            category = int(item['category']) if item['category'] != '' else 0,
            nick = item['nick'],
            area = item['area'])
          db_item.Put(str(item_obj['_id']).encode('utf-8'),
                json.dumps(item_obj, ensure_ascii = False).encode('utf-8'))
        print('Get {} items from {}: {}'.format(len(items_obj['listItem']), cate, item_page))
        if 'nav' in items_obj:
          for na in items_obj['nav']['navCatList']:
            try:
              db_cate.Get(na['name'].encode('utf-8'))
            except:
              db_cate.Put(na['name'].encode('utf-8'), b'waiting')
      db_cate.Put(cate.encode('utf-8'), b'OK')
      print(cate, 'OK')
    except KeyboardInterrupt:
      break
    except Exception as e:
      print('An {} exception occured'.format(e))
def cate_thread(cate_queue, db_cate):
  while True:
    try:
      for key, value in db_cate.RangeIter():
        if value != b'OK':
          print('CateThread: put {} into queue'.format(key.decode('utf-8')))
          cate_queue.put(key.decode('utf-8'))
      time.sleep(10)
    except KeyboardInterrupt:
      break
    except Exception as e:
      print('CateThread: {}'.format(e))
if __name__ == '__main__':
  db_cate = leveldb.LevelDB('./taobao-cate')
  db_item = leveldb.LevelDB('./taobao-item')
  orig_cate = '正装'
  try:
    db_cate.Get(orig_cate.encode('utf-8'))
  except:
    db_cate.Put(orig_cate.encode('utf-8'), b'waiting')
  cate_queue = Queue(maxsize = 1000)
  cate_th = Thread(target = cate_thread, args = (cate_queue, db_cate))
  cate_th.start()
  item_th = [Thread(target = item_thread, args = (cate_queue, db_cate, db_item)) for _ in range(5)]
  for item_t in item_th:
    item_t.start()
  cate_th.join()

希望本文所述对大家的Python程序设计有所帮助。

Python 相关文章推荐
Python中使用item()方法遍历字典的例子
Aug 26 Python
Python中的pass语句使用方法讲解
May 14 Python
详解Python3中的Sequence type的使用
Aug 01 Python
[原创]教女朋友学Python(一)运行环境搭建
Nov 29 Python
Python中使用__new__实现单例模式并解析
Jun 25 Python
Python递归函数 二分查找算法实现解析
Aug 12 Python
Python MongoDB 插入数据时已存在则不执行,不存在则插入的解决方法
Sep 24 Python
你还在@微信官方?聊聊Python生成你想要的微信头像
Sep 25 Python
利用python实现凯撒密码加解密功能
Mar 31 Python
详解python 支持向量机(SVM)算法
Sep 18 Python
python中threading和queue库实现多线程编程
Feb 06 Python
Python字节单位转换(将字节转换为K M G T)
Mar 02 Python
python简单判断序列是否为空的方法
Jun 30 #Python
python检查序列seq是否含有aset中项的方法
Jun 30 #Python
python判断一个集合是否包含了另外一个集合中所有项的方法
Jun 30 #Python
python过滤字符串中不属于指定集合中字符的类实例
Jun 30 #Python
python获得文件创建时间和修改时间的方法
Jun 30 #Python
python读写ini配置文件方法实例分析
Jun 30 #Python
python清除指定目录内所有文件中script的方法
Jun 30 #Python
You might like
PHP实现的进度条效果详解
2016/05/03 PHP
jQuery入门知识简介
2010/03/04 Javascript
JavaScript格式化数字的函数代码
2010/11/30 Javascript
Extjs中TabPane如何嵌套在其他网页中实现思路及代码
2013/01/27 Javascript
JavaScript函数参数使用带参数名的方式赋值传入的方法
2015/03/19 Javascript
jQuery实现自动与手动切换的滚动新闻特效代码分享
2015/08/27 Javascript
JS实现无限级网页折叠菜单(类似树形菜单)效果代码
2015/09/17 Javascript
jQuery实现鼠标经过事件的延时处理效果
2020/08/20 Javascript
JS组件Bootstrap实现下拉菜单效果代码
2016/04/26 Javascript
javascript表单处理具体实现代码(表单、链接、按钮)
2016/05/07 Javascript
node.js 动态执行脚本
2016/06/02 Javascript
关于JavaScript限制字数的输入框的那些事
2016/08/14 Javascript
浅析Node.js:DNS模块的使用
2016/11/23 Javascript
react实现pure render时bind(this)隐患需注意!
2017/03/09 Javascript
JS中正则表达式全局匹配模式 /g用法详解
2017/04/01 Javascript
详解使用jQuery.i18n.properties实现js国际化
2018/05/04 jQuery
es6函数之尾递归用法实例分析
2020/04/25 Javascript
详解Vue的七种传值方式
2021/02/08 Vue.js
[05:16]《大圣!大圣》——DOTA2新英雄齐天大圣配音李世宏老师专访
2016/12/13 DOTA
python使用urllib2模块获取gravatar头像实例
2013/12/18 Python
网红编程语言Python将纳入高考你怎么看?
2018/06/07 Python
numpy返回array中元素的index方法
2018/06/27 Python
django框架CSRF防护原理与用法分析
2019/07/22 Python
Python 使用list和tuple+条件判断详解
2019/07/30 Python
CSS3 animation ? steps 函数详解
2019/08/30 HTML / CSS
canvas 如何绘制线段的实现方法
2018/07/12 HTML / CSS
联想中国官方商城:Lenovo China
2017/10/18 全球购物
无畏的旅行:Intrepid Travel
2017/12/20 全球购物
纽约香氛品牌:NEST Fragrance
2018/10/15 全球购物
拉斯维加斯城市观光通行证:Las Vegas Pass
2019/05/21 全球购物
奥地利婴儿用品和玩具购物网站:baby-markt.at
2020/01/26 全球购物
了解AppleShare protocol(AppleShare协议)吗
2015/08/28 面试题
内业资料员岗位职责
2014/01/04 职场文书
广告艺术设计专业自荐书
2014/07/08 职场文书
人事主管岗位职责
2015/02/04 职场文书
浅谈Node的内存泄露问题
2022/05/06 NodeJs