python 爬虫一键爬取 淘宝天猫宝贝页面主图颜色图和详情图的教程


Posted in Python onMay 22, 2018

实例如下所示:

import requests
import re,sys,os
import json
import threading
import pprint
class spider:
 def __init__(self,sid,name):
 
 self.id = sid
 self.headers = { "Accept":"text/html,application/xhtml+xml,application/xml;",
  "Accept-Encoding":"gzip",
  "Accept-Language":"zh-CN,zh;q=0.8",
  "Referer":"http://www.example.com/",
  "User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.90 Safari/537.36"
  }
 
 self.name=name
 def openurl(self,url):
 
 self.request = requests.get(url,headers = self.headers) 
 if self.request.ok:
  return self.request.text
  
 def matchs(self):
 
 tmall_exp = r"Setup\(([\s\S]+?)\);"### 匹配商品数据的正则
 detail= r"src=\"(https://img\S+?[jpgifn]+?)\"" ###匹配 商品详情图的正则
 html = self.openurl("https://detail.tmall.com/item.htm?id=%s"%self.id)
 data = re.findall(tmall_exp,html)
 data = json.loads(data[0])
 main_img = data['propertyPics'] ## 这里包括了主图和颜色图的地址
 color_data =data['valItemInfo'] ['skuList'] ### 这里获得商品的颜色信息列表 包括颜色编码 颜色名称,商品skuID
 detail_html = self.openurl("http:"+data['api']["httpsDescUrl"])
 detail_image = re.findall(detail,detail_html)
 self.newdata={"MAIN":main_img['default'],"DETAIL":detail_image,"id":self.id,}
 
 psvs = []
 self.newdata['COLOR']=[]
 
 for v in range(len(color_data)):
  if ";"in color_data[v]["pvs"]:
  psv = color_data[v]['pvs'][color_data[v]['pvs'].find(";")+1:]
  else:
  psv = color_data[v]['pvs']
  if psv in psvs:
  
  continue
  psvs.append(psv)
 
  self.newdata['COLOR'].append({color_data[v]["names"]:main_img[";"+psv+";"]})
  
 pprint.pprint(self.newdata)
 
 return self.newdata
 
 def download(self):
 if len(self.newdata)>0:
  for x in range(len(self.newdata['MAIN'])):
  
  threading.Thread(target=self.download_main,args=(self.newdata['MAIN'][x],x)).start()
  
  for x in self.newdata['COLOR']:
  
  threading.Thread(target=self.download_color,args=(x,)).start()
  for x in range(len(self.newdata['DETAIL'])):
  
  threading.Thread(target=self.download_detail,args=(self.newdata['DETAIL'][x],x)).start()
 return
 def download_main(self,url,index):
 try:
  img = requests.get("http:"+url,stream=True,headers = self.headers,timeout=10)
 except:
  print(sys.exc_info())
  return
 if img.ok:
  if not os.path.exists(self.name+"/main"):
  try:
   os.makedirs(self.name+"/main")
  except:
   pass
  imgs = open(self.name+"/main/%s.jpg"%index,"wb")
  imgs.write(img.content)
  imgs.close()
  
 def download_color(self,url):
  
 try:
  img = requests.get("http:"+url[list(url.keys())[0]][0],stream=True,headers = self.headers,timeout=10)
 except:
  print(sys.exc_info())
  return
 if img.ok:
  if not os.path.exists(self.name+"/color"):
  try:
   os.makedirs(self.name+"/color")
  except:
   pass
  if "/"in list(url.keys())[0]:
  color = list(url.keys())[0].replace("/","_")
  elif "\\" in list(url.keys())[0]:
  color = list(url.keys())[0].replace("\\","_")
  else:
  color = list(url.keys())[0]
  imgs = open(self.name+"/color/%s.jpg"%color,"wb")
  imgs.write(img.content)
  imgs.close()
 def download_detail(self,url,index):
 try:
  img = requests.get(url,stream=True,headers = self.headers,timeout=10)
 except:
  print(sys.exc_info())
  return
 if img.ok:
  if not os.path.exists(self.name+"/detail"):
  try:
   os.makedirs(self.name+"/detail")
  except:
   pass
  
  imgs = open(self.name+"/detail/%s.jpg"%index,"wb")
  imgs.write(img.content)
  imgs.close()
  
if __name__ =="__main__":
 
 sid = 528766269341 ## 这里输入天猫宝贝ID
 taobao = spider(sid,"下载图片/T")
 taobao.matchs()
 taobao.download()

以上这篇python 爬虫一键爬取 淘宝天猫宝贝页面主图颜色图和详情图的教程就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python赋值操作方法分享
Mar 23 Python
使用Python实现下载网易云音乐的高清MV
Mar 16 Python
python rsa 加密解密
Mar 20 Python
python中模块查找的原理与方法详解
Aug 11 Python
python实现集中式的病毒扫描功能详解
Jul 09 Python
详解使用python绘制混淆矩阵(confusion_matrix)
Jul 14 Python
Pandas0.25来了千万别错过这10大好用的新功能
Aug 07 Python
python2.7的flask框架之引用js&css等静态文件的实现方法
Aug 22 Python
django实现更改数据库某个字段以及字段段内数据
Mar 31 Python
Python unittest单元测试框架及断言方法
Apr 15 Python
Anaconda和ipython环境适配的实现
Apr 22 Python
Jupyter notebook如何修改平台字体
May 13 Python
python3.x实现发送邮件功能
May 22 #Python
python 爬虫 批量获取代理ip的实例代码
May 22 #Python
python 获取当天每个准点时间戳的实例
May 22 #Python
selenium+python 去除启动的黑色cmd窗口方法
May 22 #Python
python3实现163邮箱SMTP发送邮件
May 22 #Python
django请求返回不同的类型图片json,xml,html的实例
May 22 #Python
Django使用HttpResponse返回图片并显示的方法
May 22 #Python
You might like
一键删除顽固的空文件夹 软件下载
2007/01/26 PHP
newxtree.js代码
2007/03/13 Javascript
改版了网上的一个js操作userdata
2007/04/27 Javascript
js登录弹出层特效
2014/03/07 Javascript
nodejs中操作mysql数据库示例
2014/12/20 NodeJs
JS实现可拖曳、可关闭的弹窗效果
2015/09/26 Javascript
使用jquery获取url及url参数的简单实例
2016/06/14 Javascript
JavaScript数据结构链表知识详解
2016/11/21 Javascript
微信小程序 scroll-view隐藏滚动条详解
2017/01/16 Javascript
jQuery按需加载轮播图(web前端性能优化)
2017/02/17 Javascript
JavaScript函数参数的传递方式详解
2017/03/06 Javascript
js禁止浏览器的回退事件
2017/04/20 Javascript
用vue2.0实现点击选中active其他选项互斥的效果
2018/04/12 Javascript
vue不操作dom实现图片轮播的示例代码
2019/12/18 Javascript
vue商城中商品“筛选器”功能的实现代码
2020/07/01 Javascript
element-ui点击查看大图的方法示例
2020/12/14 Javascript
python实现bitmap数据结构详解
2014/02/17 Python
Python字符串替换实例分析
2015/05/11 Python
python中format()函数的简单使用教程
2018/03/14 Python
Python3 实现随机生成一组不重复数并按行写入文件
2018/04/09 Python
python 读取文本文件的行数据,文件.splitlines()的方法
2018/07/12 Python
详解Ubuntu16.04安装Python3.7及其pip3并切换为默认版本
2019/02/25 Python
python实现12306登录并保存cookie的方法示例
2019/12/17 Python
移动端Html5中百度地图的点击事件
2019/01/31 HTML / CSS
荷兰优雅女装网上商店:Heine
2016/11/14 全球购物
行政部总经理岗位职责
2014/01/04 职场文书
教师党性分析材料
2014/02/04 职场文书
社会学专业求职信
2014/02/24 职场文书
绩效考核实施方案
2014/03/18 职场文书
青年文明号服务承诺
2014/03/31 职场文书
社区两委对照检查材料
2014/08/23 职场文书
教师思想作风整顿个人剖析材料
2014/10/10 职场文书
先进工作者申报材料
2014/12/23 职场文书
酒店服务员岗位职责
2015/02/09 职场文书
冲出亚马逊观后感
2015/06/03 职场文书
Win10玩csgo闪退如何解决?Win10玩csgo闪退的解决方法
2022/07/23 数码科技