python定向爬取淘宝商品价格


Posted in Python onFebruary 27, 2018

python爬虫学习之定向爬取淘宝商品价格,供大家参考,具体内容如下

import requests
import re

def getHTMLText(url):
  try:
    r = requests.get(url, timeout=30)
    r.raise_for_status() #如果发送了一个失败请求(非200响应),#我们可以通过 Response.raise_for_status() 来抛出异常:
    r.encoding= r.apparent_encoding
    return r.text
  except:
    return ""

def parsePage(ilt,html):
  try:
    plt = re.findall(r'\"view_price\"\:\"[\d\.]*?\"',html) #正则表达式来匹配 "view_price":"\d\."类型的字符串
    tlt = re.findall(r'\"raw_title\"\:\".*?\"',html)
#正则表达式来匹配 "raw_title":".*?"类型的字符串,.*?是任意字符的最小匹配
    for i in range(len(plt)):
      price = eval(plt[i].split(':')[1])
      title = eval(tlt[i].split(':')[1])
      ilt.append([price,title])
  except:
    print ("")


def PrintGoodsList(ilt):
  tplt = "{:4}\t{:8}\t{:16}"
  print (tplt.format("序号","价格","商品名称"))
  count = 0
  for g in ilt:
    count = count + 1
    print (tplt.format(count,g[0],g[1]))
def main():
  goods = '书包'
  depth = 2
  start_url = 'https://s.taobao.com/search?q=' + goods
  infoList=[]
  for i in range(depth):
    try:
      url = start_url + '&s=' + str(44*i)
      html= getHTMLText(url)
      parsePage(infoList,html)
    except:
      continue

  PrintGoodsList(infoList)

main()

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
用Python生成器实现微线程编程的教程
Apr 13 Python
Python选课系统开发程序
Sep 02 Python
Python如何实现MySQL实例初始化详解
Nov 06 Python
numpy中矩阵合并的实例
Jun 15 Python
如何利用python制作时间戳转换工具详解
Sep 12 Python
使用Python向DataFrame中指定位置添加一列或多列的方法
Jan 29 Python
Python3网络爬虫中的requests高级用法详解
Jun 18 Python
python3射线法判断点是否在多边形内
Jun 28 Python
numpy创建单位矩阵和对角矩阵的实例
Nov 29 Python
pytorch中的自定义数据处理详解
Jan 06 Python
python使用html2text库实现从HTML转markdown的方法详解
Feb 21 Python
用Python 爬取猫眼电影数据分析《无名之辈》
Jul 24 Python
python抓取文件夹的所有文件
Feb 27 #Python
python数据分析数据标准化及离散化详解
Feb 26 #Python
批量将ppt转换为pdf的Python代码 只要27行!
Feb 26 #Python
python 3利用Dlib 19.7实现摄像头人脸检测特征点标定
Feb 26 #Python
python3利用Dlib19.7实现人脸68个特征点标定
Feb 26 #Python
python微信跳一跳系列之棋子定位颜色识别
Feb 26 #Python
python微信跳一跳系列之棋子定位像素遍历
Feb 26 #Python
You might like
关于PHP中操作MySQL数据库的一些要注意的问题
2006/10/09 PHP
WIN98下Apache1.3.14+PHP4.0.4的安装
2006/10/09 PHP
深入php数据采集的详解
2013/06/02 PHP
PHP关于IE下的iframe跨域导致session丢失问题解决方法
2013/10/10 PHP
php过滤所有的空白字符(空格、全角空格、换行等)
2015/10/27 PHP
php array_chunk()函数用法与注意事项
2019/07/12 PHP
php中Swoole的热更新实现代码实例
2021/03/04 PHP
宝塔面板在NGINX环境中TP5.1如何运行?
2021/03/09 PHP
javascript的键盘控制事件说明
2008/04/15 Javascript
JavaScript Array Flatten 与递归使用介绍
2011/10/30 Javascript
ASP.NET jQuery 实例11 通过使用jQuery validation插件简单实现用户登录页面验证功能
2012/02/03 Javascript
JsRender for object语法简介
2014/10/31 Javascript
javascript实现给定半径求出圆的面积
2015/06/26 Javascript
jQuery实现有动画淡出效果的二级折叠菜单代码
2015/10/17 Javascript
基于JavaScript创建动态Dom
2015/12/08 Javascript
JS及PHP代码编写八大排序算法
2016/07/12 Javascript
Js删除数组中某一项或几项的几种方法(推荐)
2016/07/27 Javascript
ReactNative实现Toast的示例
2017/12/31 Javascript
Element-UI Table组件上添加列拖拽效果实现方法
2018/04/14 Javascript
jsonp实现百度下拉框功能的方法分析
2019/05/10 Javascript
浅谈Vue中render中的h箭头函数
2019/11/07 Javascript
JavaScript进阶(四)原型与原型链用法实例分析
2020/05/09 Javascript
taro 实现购物车逻辑的实例代码
2020/06/05 Javascript
[23:21]Ti4 冒泡赛第二轮DK vs C9 2
2014/07/14 DOTA
python中 logging的使用详解
2017/10/25 Python
Python tkinter实现的图片移动碰撞动画效果【附源码下载】
2018/01/04 Python
python3连接kafka模块pykafka生产者简单封装代码
2019/12/23 Python
详解torch.Tensor的4种乘法
2020/09/03 Python
浅谈移动端网页图片预加载方案
2018/11/05 HTML / CSS
会计专业的自荐信
2013/12/12 职场文书
2015年幼儿园元旦游艺活动策划书
2014/12/09 职场文书
思想政治表现评语
2015/01/04 职场文书
收入证明申请书
2015/06/12 职场文书
《搭石》教学反思
2016/02/18 职场文书
nginx location中多个if里面proxy_pass的方法
2021/03/31 Servers
如何使用PyCharm及常用配置详解
2021/06/03 Python