python爬取淘宝商品销量信息


Posted in Python onNovember 16, 2018

python爬取淘宝商品销量的程序,运行程序,输入想要爬取的商品关键词,在代码中的‘###'可以进一步约束商品的属性,比如某某作者的书籍,可以在###处输入作者名字,以及时期等等。最后可以得到所要商品的总销量

import requests
import bs4
import re
import json
 
def open(keywords, page):
   headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36"}
 
   payload = {'q':keywords, 'sort':"sale-desc", 's':(page-1)*44}
   url = "https://s.taobao.com/search"
 
   res = requests.get(url, params = payload)
   return res
   
   
def get_item(res):
 
   g_page_config = re.search(r'g_page_config = (.*?);\n', res.text)
   page_config_json = json.loads(g_page_config.group(1))
   page_item = page_config_json['mods']['itemlist']['data']['auctions']
 
   result = []#整理出我们关注的信息(ID,标题,链接,售价,销量和商家)
   for each in page_item:
      dict1 = dict.fromkeys(('id','title','link','price','sale','shoper'))
      dict1['id'] = each['nid']
      dict1['title'] = each['title']
      dict1['link'] = each['detail_url']
      dict1['price'] = each['view_price']
      dict1['sale'] = each['view_sales']
      dict1['shoper'] = each['nick']
      result.append(dict1)
 
   return result
      
def count_sales(items):
   count = 0
   for each in items:
      if '###' in each['title']:#规定只取标题中‘###'的商品
         count += int(re.search(r'\d+',each['sale']).group())
         
   return count
 
def main():
 
   keywords = input("请输入搜索关键词:")#可以为各种商品名称
   length = 10#淘宝商品页数
   total = 0
   
   for each in range(length):
      res = open(keywords, each+1)
      items = get_item(res)
      total += count_sales(items)#销售总量
   print(total)
 
 
if __name__ == "__main__":
   main()

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python实现股市信息下载的方法
Jun 15 Python
Python编程之event对象的用法实例分析
Mar 23 Python
使用Python写一个贪吃蛇游戏实例代码
Aug 21 Python
python PyTorch预训练示例
Feb 11 Python
Python3爬虫学习之应对网站反爬虫机制的方法分析
Dec 12 Python
Python企业编码生成系统之系统主要函数设计详解
Jul 26 Python
Python BeautifulSoup [解决方法] TypeError: list indices must be integers or slices, not str
Aug 07 Python
python将字母转化为数字实例方法
Oct 04 Python
python中threading开启关闭线程操作
May 02 Python
matplotlib运行时配置(Runtime Configuration,rc)参数rcParams解析
Jan 05 Python
K近邻法(KNN)相关知识总结以及如何用python实现
Jan 28 Python
pycharm代码删除恢复的方法
Jun 26 Python
python爬取网易云音乐评论
Nov 16 #Python
python实现将汉字保存成文本的方法
Nov 16 #Python
python 字符串只保留汉字的方法
Nov 16 #Python
Python 创建新文件时避免覆盖已有的同名文件的解决方法
Nov 16 #Python
用python标准库difflib比较两份文件的异同详解
Nov 16 #Python
在Pandas中给多层索引降级的方法
Nov 16 #Python
Python 面试中 8 个必考问题
Nov 16 #Python
You might like
php接口与接口引用的深入解析
2013/08/09 PHP
yii框架结合charjs统计上一年与当前年数据的方法示例
2020/04/04 PHP
IE6 hack for js 集锦
2014/09/23 Javascript
JavaScript将一个数组插入到另一个数组的方法
2015/03/19 Javascript
JS实现为表格动态添加标题的方法
2015/03/31 Javascript
javascript 动态生成css代码的两种方法
2017/03/17 Javascript
Bootstrap多级菜单的实现代码
2017/05/23 Javascript
Angular 4环境准备与Angular cli创建项目详解
2017/05/27 Javascript
通过学习bootstrop导航条学会修改bootstrop颜色基调
2017/06/11 Javascript
vue实现百度搜索下拉提示功能实例
2017/06/14 Javascript
Vue.js上下滚动加载组件的实例代码
2017/07/17 Javascript
vuex实现登录状态的存储,未登录状态不允许浏览的方法
2018/03/09 Javascript
详解微信小程序之scroll-view的flex布局问题
2019/01/16 Javascript
python+opencv实现动态物体追踪
2018/01/09 Python
python增加矩阵维度的实例讲解
2018/04/04 Python
对Python3使运行暂停的方法详解
2019/02/18 Python
Python+PyQT5的子线程更新UI界面的实例
2019/06/14 Python
python 批量解压压缩文件的实例代码
2019/06/27 Python
对Python函数设计规范详解
2019/07/19 Python
解决ROC曲线画出来只有一个点的问题
2020/02/28 Python
2020年10款优秀的Python第三方库,看看有你中意的吗?
2021/01/12 Python
自定义html标记替换html5新增元素
2008/10/17 HTML / CSS
美国网上花店:JustFlowers
2017/02/12 全球购物
巴西宠物店在线:Geração Pet
2017/05/31 全球购物
俄罗斯童装网上商店:BebaKids
2020/06/06 全球购物
亚洲领先的设计购物网站:Pinkoi
2020/11/26 全球购物
临床医学大学生求职信
2013/09/28 职场文书
临床医师专业个人自我评价范文
2013/11/07 职场文书
长辈证婚人证婚词
2014/01/09 职场文书
养牛场项目建议书
2014/05/13 职场文书
机械专业技术员求职信
2014/06/14 职场文书
承诺函格式模板
2015/01/21 职场文书
自我推荐信格式模板
2015/03/24 职场文书
人民检察院起诉书
2015/05/20 职场文书
创业计划书之旅游网站
2019/09/06 职场文书
Kubernetes部署实例并配置Deployment、网络映射、副本集
2022/04/01 Servers