python定向爬取淘宝商品价格


Posted in Python onFebruary 27, 2018

python爬虫学习之定向爬取淘宝商品价格,供大家参考,具体内容如下

import requests
import re

def getHTMLText(url):
  try:
    r = requests.get(url, timeout=30)
    r.raise_for_status() #如果发送了一个失败请求(非200响应),#我们可以通过 Response.raise_for_status() 来抛出异常:
    r.encoding= r.apparent_encoding
    return r.text
  except:
    return ""

def parsePage(ilt,html):
  try:
    plt = re.findall(r'\"view_price\"\:\"[\d\.]*?\"',html) #正则表达式来匹配 "view_price":"\d\."类型的字符串
    tlt = re.findall(r'\"raw_title\"\:\".*?\"',html)
#正则表达式来匹配 "raw_title":".*?"类型的字符串,.*?是任意字符的最小匹配
    for i in range(len(plt)):
      price = eval(plt[i].split(':')[1])
      title = eval(tlt[i].split(':')[1])
      ilt.append([price,title])
  except:
    print ("")


def PrintGoodsList(ilt):
  tplt = "{:4}\t{:8}\t{:16}"
  print (tplt.format("序号","价格","商品名称"))
  count = 0
  for g in ilt:
    count = count + 1
    print (tplt.format(count,g[0],g[1]))
def main():
  goods = '书包'
  depth = 2
  start_url = 'https://s.taobao.com/search?q=' + goods
  infoList=[]
  for i in range(depth):
    try:
      url = start_url + '&s=' + str(44*i)
      html= getHTMLText(url)
      parsePage(infoList,html)
    except:
      continue

  PrintGoodsList(infoList)

main()

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
在Python中使用列表生成式的教程
Apr 27 Python
Python批量重命名同一文件夹下文件的方法
May 25 Python
python中字符串前面加r的作用
Jun 04 Python
python用Pygal如何生成漂亮的SVG图像详解
Feb 10 Python
python中关于for循环的碎碎念
Jun 30 Python
浅谈Scrapy框架普通反爬虫机制的应对策略
Dec 28 Python
Python使用正则表达式获取网页中所需要的信息
Jan 29 Python
Python配置文件处理的方法教程
Aug 29 Python
Python循环实现n的全排列功能
Sep 16 Python
下载官网python并安装的步骤详解
Oct 12 Python
Python找出列表中出现次数最多的元素三种方式
Feb 24 Python
python shell命令行中import多层目录下的模块操作
Mar 09 Python
python抓取文件夹的所有文件
Feb 27 #Python
python数据分析数据标准化及离散化详解
Feb 26 #Python
批量将ppt转换为pdf的Python代码 只要27行!
Feb 26 #Python
python 3利用Dlib 19.7实现摄像头人脸检测特征点标定
Feb 26 #Python
python3利用Dlib19.7实现人脸68个特征点标定
Feb 26 #Python
python微信跳一跳系列之棋子定位颜色识别
Feb 26 #Python
python微信跳一跳系列之棋子定位像素遍历
Feb 26 #Python
You might like
php实现mysql同步的实现方法
2009/10/21 PHP
php trim 去除空字符的定义与语法介绍
2010/05/31 PHP
用 Composer构建自己的 PHP 框架之基础准备
2014/10/30 PHP
PHP实现将视频转成MP4并获取视频预览图的方法
2015/03/12 PHP
centos下file_put_contents()无法写入文件的原因及解决方法
2017/04/01 PHP
redis+php实现微博(二)发布与关注功能详解
2019/09/23 PHP
实例讲解PHP表单
2020/06/10 PHP
JSQL 基于客户端的成绩统计实现方法
2010/05/05 Javascript
JS 控件事件小结
2012/10/31 Javascript
js jquery验证银行卡号信息正则学习
2013/01/21 Javascript
Extjs4 GridPanel 的几种样式使用介绍
2013/04/18 Javascript
JavaScript在for循环中绑定事件解决事件参数不同的情况
2014/01/20 Javascript
Jquery Ajax解析XML数据(同步及异步调用)简单实例
2014/02/12 Javascript
javascritp添加url参数将参数加入到url中
2014/09/25 Javascript
JavaScript实现鼠标点击后层展开效果的方法
2015/05/13 Javascript
JavaScript随机打乱数组顺序之随机洗牌算法
2016/08/02 Javascript
原生js实现下拉框功能(支持键盘事件)
2017/01/13 Javascript
js定时器实现倒计时效果
2017/11/05 Javascript
Vue.js表单标签中的单选按钮、复选按钮和下拉列表的取值问题
2017/11/22 Javascript
Vue+webpack+Element 兼容问题总结(小结)
2018/08/16 Javascript
微信小程序开发问题之wx.previewImage
2018/12/25 Javascript
jQuery 判断元素是否存在然后按需加载内容的实现代码
2020/01/16 jQuery
JavaScript Image对象实现原理实例解析
2020/08/26 Javascript
如何在Vue项目中添加接口监听遮罩
2021/01/25 Vue.js
python图形用户接口实例详解
2019/12/16 Python
Pycharm激活方法及详细教程(详细且实用)
2020/05/12 Python
关于Python不换行输出和不换行输出end=““不显示的问题(亲测已解决)
2020/10/27 Python
美国女士内衣在线折扣商店:One Hanes Place
2019/03/24 全球购物
意大利巧克力店:Chocolate Shop
2019/07/24 全球购物
英国独特家具和家庭用品购物网站:Cuckooland
2020/08/30 全球购物
房地产开盘策划方案
2014/02/10 职场文书
室内趣味活动方案
2014/08/24 职场文书
财政局党的群众路线教育实践活动整改方案
2014/09/21 职场文书
2015年高考寄语或鼓励的话
2015/03/23 职场文书
通知格式
2015/04/27 职场文书
python自动化操作之动态验证码、滑动验证码的降噪和识别
2021/08/30 Python