python定向爬取淘宝商品价格


Posted in Python onFebruary 27, 2018

python爬虫学习之定向爬取淘宝商品价格,供大家参考,具体内容如下

import requests
import re

def getHTMLText(url):
  try:
    r = requests.get(url, timeout=30)
    r.raise_for_status() #如果发送了一个失败请求(非200响应),#我们可以通过 Response.raise_for_status() 来抛出异常:
    r.encoding= r.apparent_encoding
    return r.text
  except:
    return ""

def parsePage(ilt,html):
  try:
    plt = re.findall(r'\"view_price\"\:\"[\d\.]*?\"',html) #正则表达式来匹配 "view_price":"\d\."类型的字符串
    tlt = re.findall(r'\"raw_title\"\:\".*?\"',html)
#正则表达式来匹配 "raw_title":".*?"类型的字符串,.*?是任意字符的最小匹配
    for i in range(len(plt)):
      price = eval(plt[i].split(':')[1])
      title = eval(tlt[i].split(':')[1])
      ilt.append([price,title])
  except:
    print ("")


def PrintGoodsList(ilt):
  tplt = "{:4}\t{:8}\t{:16}"
  print (tplt.format("序号","价格","商品名称"))
  count = 0
  for g in ilt:
    count = count + 1
    print (tplt.format(count,g[0],g[1]))
def main():
  goods = '书包'
  depth = 2
  start_url = 'https://s.taobao.com/search?q=' + goods
  infoList=[]
  for i in range(depth):
    try:
      url = start_url + '&s=' + str(44*i)
      html= getHTMLText(url)
      parsePage(infoList,html)
    except:
      continue

  PrintGoodsList(infoList)

main()

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
深入解析Python中的WSGI接口
May 11 Python
带你了解python装饰器
Jun 15 Python
python如何让类支持比较运算
Mar 20 Python
python实现三次样条插值
Dec 17 Python
Golang GBK转UTF-8的例子
Aug 26 Python
python turtle 绘制太极图的实例
Dec 18 Python
python输出pdf文档的实例
Feb 13 Python
详解django中Template语言
Feb 22 Python
PyInstaller的安装和使用的详细步骤
Jun 02 Python
Pytorch 高效使用GPU的操作
Jun 27 Python
解决Python3.7.0 SSL低版本导致Pip无法使用问题
Sep 03 Python
Python还能这么玩之用Python修改了班花的开机密码
Jun 04 Python
python抓取文件夹的所有文件
Feb 27 #Python
python数据分析数据标准化及离散化详解
Feb 26 #Python
批量将ppt转换为pdf的Python代码 只要27行!
Feb 26 #Python
python 3利用Dlib 19.7实现摄像头人脸检测特征点标定
Feb 26 #Python
python3利用Dlib19.7实现人脸68个特征点标定
Feb 26 #Python
python微信跳一跳系列之棋子定位颜色识别
Feb 26 #Python
python微信跳一跳系列之棋子定位像素遍历
Feb 26 #Python
You might like
PHP去除数组中重复的元素并按键名排序函数
2008/08/18 PHP
PHP 加密解密内部算法
2010/04/22 PHP
php中防止伪造跨站请求的小招式
2011/09/02 PHP
PHP网页游戏学习之Xnova(ogame)源码解读(十)
2014/06/24 PHP
PHP的Socket网络编程入门指引
2015/08/11 PHP
PHP常用的小程序代码段
2015/11/14 PHP
给WordPress的编辑后台添加提示框的代码实例分享
2015/12/25 PHP
Yii框架通过请求组件处理get,post请求的方法分析
2019/09/03 PHP
Laravel5.4框架中视图共享数据的方法详解
2019/09/05 PHP
可以将word转成html的js代码
2010/04/11 Javascript
基于jQuery插件实现点击小图显示大图效果
2016/05/11 Javascript
Jquery中map函数的用法
2016/06/03 Javascript
AngularJS中$http服务常用的应用及参数
2016/08/22 Javascript
Vue实现双向绑定的方法
2016/12/22 Javascript
Vue实例简单方法介绍
2017/01/20 Javascript
Bootstrap Scrollspy源码学习
2017/03/02 Javascript
浅析JS中的 map, filter, some, every, forEach, for in, for of 用法总结
2017/03/29 Javascript
微信小程序实现鼠标拖动效果示例
2017/12/01 Javascript
详解写好JS条件语句的5条守则
2019/02/28 Javascript
基于Cesium绘制抛物弧线
2020/11/18 Javascript
[02:00]DAC2018主宣传片——龙征四海,剑问东方
2018/03/20 DOTA
python PrettyTable模块的安装与简单应用
2019/01/11 Python
使用k8s部署Django项目的方法步骤
2019/01/14 Python
python爬虫库scrapy简单使用实例详解
2020/02/10 Python
Python3 xml.etree.ElementTree支持的XPath语法详解
2020/03/06 Python
python如何建立全零数组
2020/07/19 Python
matplotlib 多个图像共用一个colorbar的实现示例
2020/09/10 Python
纯CSS实现设置半个字符的样式
2014/07/03 HTML / CSS
年终总结会议主持词
2014/03/17 职场文书
老龄工作先进事迹
2014/08/15 职场文书
工伤死亡理赔协议书
2014/10/20 职场文书
机关干部纪律作风整顿心得体会
2016/01/23 职场文书
因个人工作失误检讨书
2019/06/21 职场文书
入党转正申请自我鉴定
2019/06/25 职场文书
Java Kafka 消费积压监控的示例代码
2021/07/01 Java/Android
Android自定义ScrollView实现阻尼回弹
2022/04/01 Java/Android