python定向爬取淘宝商品价格


Posted in Python onFebruary 27, 2018

python爬虫学习之定向爬取淘宝商品价格,供大家参考,具体内容如下

import requests
import re

def getHTMLText(url):
  try:
    r = requests.get(url, timeout=30)
    r.raise_for_status() #如果发送了一个失败请求(非200响应),#我们可以通过 Response.raise_for_status() 来抛出异常:
    r.encoding= r.apparent_encoding
    return r.text
  except:
    return ""

def parsePage(ilt,html):
  try:
    plt = re.findall(r'\"view_price\"\:\"[\d\.]*?\"',html) #正则表达式来匹配 "view_price":"\d\."类型的字符串
    tlt = re.findall(r'\"raw_title\"\:\".*?\"',html)
#正则表达式来匹配 "raw_title":".*?"类型的字符串,.*?是任意字符的最小匹配
    for i in range(len(plt)):
      price = eval(plt[i].split(':')[1])
      title = eval(tlt[i].split(':')[1])
      ilt.append([price,title])
  except:
    print ("")


def PrintGoodsList(ilt):
  tplt = "{:4}\t{:8}\t{:16}"
  print (tplt.format("序号","价格","商品名称"))
  count = 0
  for g in ilt:
    count = count + 1
    print (tplt.format(count,g[0],g[1]))
def main():
  goods = '书包'
  depth = 2
  start_url = 'https://s.taobao.com/search?q=' + goods
  infoList=[]
  for i in range(depth):
    try:
      url = start_url + '&s=' + str(44*i)
      html= getHTMLText(url)
      parsePage(infoList,html)
    except:
      continue

  PrintGoodsList(infoList)

main()

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python创建只读属性对象的方法(ReadOnlyObject)
Feb 10 Python
Python获取apk文件URL地址实例
Nov 01 Python
Python兔子毒药问题实例分析
Mar 05 Python
Python的Flask框架中实现分页功能的教程
Apr 20 Python
python字符串与url编码的转换实例
May 10 Python
Python正则表达式和元字符详解
Nov 29 Python
Python零基础入门学习之输入与输出
Apr 03 Python
Python3 Tkinkter + SQLite实现登录和注册界面
Nov 19 Python
Python list运算操作代码实例解析
Jan 20 Python
Django如何继承AbstractUser扩展字段
Nov 27 Python
Python中全局变量和局部变量的理解与区别
Feb 07 Python
Python实现Excel自动分组合并单元格
Feb 22 Python
python抓取文件夹的所有文件
Feb 27 #Python
python数据分析数据标准化及离散化详解
Feb 26 #Python
批量将ppt转换为pdf的Python代码 只要27行!
Feb 26 #Python
python 3利用Dlib 19.7实现摄像头人脸检测特征点标定
Feb 26 #Python
python3利用Dlib19.7实现人脸68个特征点标定
Feb 26 #Python
python微信跳一跳系列之棋子定位颜色识别
Feb 26 #Python
python微信跳一跳系列之棋子定位像素遍历
Feb 26 #Python
You might like
解析将多维数组转换为支持curl提交的一维数组格式
2013/07/08 PHP
PHP中define() 与 const定义常量的区别详解
2019/06/25 PHP
php测试kafka项目示例
2020/02/06 PHP
JavaScript 参考教程
2006/12/29 Javascript
基于jquery中children()与find()的区别介绍
2013/04/26 Javascript
JavaScript输出当前时间Unix时间戳的方法
2015/04/06 Javascript
js生成验证码并直接在前端判断
2015/05/15 Javascript
JS实现的仿东京商城菜单、仿Win右键菜单及仿淘宝TAB特效合集
2015/09/28 Javascript
详解javascript跨浏览器事件处理程序
2016/03/27 Javascript
JS实现pasteHTML兼容ie,firefox,chrome的方法
2016/06/22 Javascript
js css+html实现简单的日历
2016/07/14 Javascript
Bootstrap模态框水平垂直居中与增加拖拽功能
2016/11/09 Javascript
BootStrap的两种模态框方式
2017/05/10 Javascript
Bootstrap Table 双击、单击行获取该行及全表内容
2018/08/31 Javascript
脚手架vue-cli工程webpack的基本用法详解
2018/09/29 Javascript
JS实现的新闻列表自动滚动效果示例
2019/01/30 Javascript
js实现json数组分组合并操作示例
2019/02/12 Javascript
javascript实现支付宝滑块验证码效果
2020/07/24 Javascript
vue组件实现移动端九宫格转盘抽奖
2020/10/16 Javascript
Python的Flask框架中实现简单的登录功能的教程
2015/04/20 Python
在Python的Django框架中用流响应生成CSV文件的教程
2015/05/02 Python
Python的MongoDB模块PyMongo操作方法集锦
2016/01/05 Python
Python自定义线程池实现方法分析
2018/02/07 Python
python实现简单加密解密机制
2019/03/19 Python
Python上下文管理器全实例详解
2019/11/12 Python
python中图像通道分离与合并实例
2020/01/17 Python
python RSA加密的示例
2020/12/09 Python
室内设计专业个人的自我评价
2013/10/19 职场文书
石油大学毕业生自荐信
2014/01/28 职场文书
工程专业求职自荐书范文
2014/02/08 职场文书
网络技术专业求职信
2014/07/13 职场文书
2015年工会工作总结
2015/03/30 职场文书
高一军训感想
2015/08/07 职场文书
写给汽车4S店的创业计划书,拿来即用!
2019/08/09 职场文书
Nginx缓存设置案例详解
2021/09/15 Servers
keepalived + nginx 实现高可用方案
2022/12/24 Servers