python定向爬取淘宝商品价格


Posted in Python onFebruary 27, 2018

python爬虫学习之定向爬取淘宝商品价格,供大家参考,具体内容如下

import requests
import re

def getHTMLText(url):
  try:
    r = requests.get(url, timeout=30)
    r.raise_for_status() #如果发送了一个失败请求(非200响应),#我们可以通过 Response.raise_for_status() 来抛出异常:
    r.encoding= r.apparent_encoding
    return r.text
  except:
    return ""

def parsePage(ilt,html):
  try:
    plt = re.findall(r'\"view_price\"\:\"[\d\.]*?\"',html) #正则表达式来匹配 "view_price":"\d\."类型的字符串
    tlt = re.findall(r'\"raw_title\"\:\".*?\"',html)
#正则表达式来匹配 "raw_title":".*?"类型的字符串,.*?是任意字符的最小匹配
    for i in range(len(plt)):
      price = eval(plt[i].split(':')[1])
      title = eval(tlt[i].split(':')[1])
      ilt.append([price,title])
  except:
    print ("")


def PrintGoodsList(ilt):
  tplt = "{:4}\t{:8}\t{:16}"
  print (tplt.format("序号","价格","商品名称"))
  count = 0
  for g in ilt:
    count = count + 1
    print (tplt.format(count,g[0],g[1]))
def main():
  goods = '书包'
  depth = 2
  start_url = 'https://s.taobao.com/search?q=' + goods
  infoList=[]
  for i in range(depth):
    try:
      url = start_url + '&s=' + str(44*i)
      html= getHTMLText(url)
      parsePage(infoList,html)
    except:
      continue

  PrintGoodsList(infoList)

main()

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python获取当前计算机cpu数量的方法
Apr 18 Python
Python打印“菱形”星号代码方法
Feb 05 Python
Python查找第n个子串的技巧分享
Jun 27 Python
python实现一个简单的ping工具方法
Jan 31 Python
利用django+wechat-python-sdk 创建微信服务器接入的方法
Feb 20 Python
浅谈Python2之汉字编码为unicode的问题(即类似\xc3\xa4)
Aug 12 Python
python字符串替换re.sub()方法解析
Sep 18 Python
python pycharm的安装及其使用
Oct 11 Python
Python迭代器iterator生成器generator使用解析
Oct 24 Python
python常用运维脚本实例小结
Feb 14 Python
python数据预处理 :数据共线性处理详解
Feb 24 Python
详解Django中views数据查询使用locals()函数进行优化
Aug 24 Python
python抓取文件夹的所有文件
Feb 27 #Python
python数据分析数据标准化及离散化详解
Feb 26 #Python
批量将ppt转换为pdf的Python代码 只要27行!
Feb 26 #Python
python 3利用Dlib 19.7实现摄像头人脸检测特征点标定
Feb 26 #Python
python3利用Dlib19.7实现人脸68个特征点标定
Feb 26 #Python
python微信跳一跳系列之棋子定位颜色识别
Feb 26 #Python
python微信跳一跳系列之棋子定位像素遍历
Feb 26 #Python
You might like
SONY ICF-SW7600的电路分析
2021/03/02 无线电
Fatal error: Call to undefined function curl_init()解决方法
2010/04/09 PHP
解析PHP高效率写法(详解原因)
2013/06/20 PHP
ThinkPHP行为扩展Behavior应用实例详解
2014/07/22 PHP
mac下多个php版本快速切换的方法
2016/10/09 PHP
php实现的顺序线性表示例
2019/05/04 PHP
传智播客学习之JavaScript基础篇
2009/11/13 Javascript
JS数组array元素的添加和删除方法代码实例
2015/06/01 Javascript
JavaScript获取对象在页面中位置坐标的方法
2016/02/03 Javascript
JS+HTML5手机开发之滚动和惯性缓动实现方法分析
2016/06/12 Javascript
jQuery 翻页组件yunm.pager.js实现div局部刷新的思路
2016/08/11 Javascript
jQuery子元素过滤选择器用法示例
2016/09/09 Javascript
Vue精简版风格概述
2018/01/30 Javascript
详解关于element el-button使用$attrs的一个注意要点
2018/11/09 Javascript
100行代码实现vue表单校验功能(小白自编)
2019/11/19 Javascript
快速解决vue2+vue-cli3项目ie兼容的问题
2020/11/17 Vue.js
详解微信小程序「渲染层网络层错误」的解决方法
2021/01/06 Javascript
Python实现数通设备端口使用情况监控实例
2015/07/15 Python
Python爬虫常用库的安装及其环境配置
2018/09/19 Python
Python django使用多进程连接mysql错误的解决方法
2018/10/08 Python
Pandas库之DataFrame使用的学习笔记
2019/06/21 Python
python3 webp转gif格式的实现示例
2019/12/10 Python
在python shell中运行python文件的实现
2019/12/21 Python
pycharm内无法import已安装的模块问题解决
2020/02/12 Python
python print 格式化输出,动态指定长度的实现
2020/04/12 Python
Python解析微信dat文件的方法
2020/11/30 Python
Html5插件教程之添加浏览器放大镜效果的商品橱窗
2016/01/07 HTML / CSS
欧洲领先的电子和电信零售商和服务提供商:Currys PC World Business
2017/12/05 全球购物
几个MySql的面试题
2013/04/22 面试题
介绍下static、final、abstract区别
2015/01/30 面试题
技校生自我鉴定
2013/12/08 职场文书
建筑个人求职信范文
2014/01/25 职场文书
《彩色世界》教学反思
2014/04/12 职场文书
高中同学会活动方案
2014/08/14 职场文书
虎兄虎弟观后感
2015/06/12 职场文书
Python FuzzyWuzzy实现模糊匹配
2022/04/28 Python