python爬虫爬取淘宝商品信息


Posted in Python onFebruary 23, 2018

本文实例为大家分享了python爬取淘宝商品的具体代码,供大家参考,具体内容如下

import requests as req 
import re 
 
def getHTMLText(url): 
 try: 
 r = req.get(url, timeout=30) 
 r.raise_for_status() 
 r.encoding = r.apparent_encoding 
 return r.text 
 except: 
 return "" 
 
def parasePage(ilt, html): 
 try: 
 plt = re.findall(r'\"view_price\"\:\"[\d\.]*\"', html) 
 tlt = re.findall(r'\"raw_title\"\:\".*?\"', html) 
 for i in range(len(plt)): 
  price = eval(plt[i].split(':')[1]) 
  title = eval(tlt[i].split(':')[1]) 
  ilt.append([price, title]) 
 except: 
 print("") 
 
 
def printGoodsList(ilt): 
 tplt = "{:4}\t{:8}\t{:16}" 
 print(tplt.format("序列号", "价格", "商品名称")) 
 count = 0 
 for j in ilt: 
 count = count + 1 
 print(tplt.format(count, j[0], j[1])) 
 
def main(): 
 goods = "python爬虫" 
 depth = 3 
 start_url = 'https://s.taobao.com/search?q=' + goods 
 infoList = [] 
 for i in range(depth): 
 try: 
  url = start_url + '&s=' + str(44*i) 
  html = getHTMLText(url) 
  parasePage(infoList, html) 
 except: 
  continue 
 printGoodsList(infoList) 
 
main()

效果图:

python爬虫爬取淘宝商品信息

更多内容请参考专题《python爬取功能汇总》进行学习。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
跟老齐学Python之私有函数和专有方法
Oct 24 Python
在Python中使用Mako模版库的简单教程
Apr 08 Python
编写Python爬虫抓取豆瓣电影TOP100及用户头像的方法
Jan 20 Python
详解Python pygame安装过程笔记
Jun 05 Python
Python使用matplotlib简单绘图示例
Feb 01 Python
10个Python小技巧你值得拥有
Sep 29 Python
在Python中pandas.DataFrame重置索引名称的实例
Nov 06 Python
你还在@微信官方?聊聊Python生成你想要的微信头像
Sep 25 Python
Python如何使用argparse模块处理命令行参数
Dec 11 Python
Python基于正则表达式实现计算器功能
Jul 13 Python
python实现简单石头剪刀布游戏
Oct 24 Python
图神经网络GNN算法
May 11 Python
python爬取淘宝商品详情页数据
Feb 23 #Python
Python如何抓取天猫商品详细信息及交易记录
Feb 23 #Python
python列表生成式与列表生成器的使用
Feb 23 #Python
1分钟快速生成用于网页内容提取的xslt
Feb 23 #Python
python使用xslt提取网页数据的方法
Feb 23 #Python
Python爬虫使用Selenium+PhantomJS抓取Ajax和动态HTML内容
Feb 23 #Python
python爬虫获取多页天涯帖子
Feb 23 #Python
You might like
PHP警告Cannot use a scalar value as an array的解决方法
2012/01/11 PHP
浅析PHP程序防止ddos,dns,集群服务器攻击的解决办法
2013/06/18 PHP
PHP向socket服务器收发数据的方法
2015/01/24 PHP
php打包网站并在线压缩为zip
2016/02/13 PHP
PHP实现权限管理功能示例
2017/09/22 PHP
PHP命令空间namespace及use的用法小结
2017/11/27 PHP
PHP反射基础知识回顾
2020/09/10 PHP
说说掌握JavaScript语言的思想前提想学习js的朋友可以看看
2009/04/01 Javascript
使用Javascript接收get传递的值的代码
2011/11/30 Javascript
js操作iframe的一些方法介绍
2013/06/25 Javascript
jQuery实现高亮显示网页关键词的方法
2015/08/07 Javascript
jquery实现页面常用的返回顶部效果
2016/03/04 Javascript
深入理解JS DOM事件机制
2016/08/06 Javascript
原生JS实现简单放大镜效果
2017/02/08 Javascript
解决Vue中引入swiper,在数据渲染的时候,发生不滑动的问题
2018/09/27 Javascript
详解JavaScript中的坐标和距离
2019/05/27 Javascript
JS扁平化输出数组的2种方法解析
2019/09/17 Javascript
Python入门篇之编程习惯与特点
2014/10/17 Python
Python中的闭包详细介绍和实例
2014/11/21 Python
Python matplotlib绘图可视化知识点整理(小结)
2018/03/16 Python
python寻找list中最大值、最小值并返回其所在位置的方法
2018/06/27 Python
python中的tcp示例详解
2018/12/09 Python
django 自定义过滤器(filter)处理较为复杂的变量方法
2019/08/12 Python
Django Docker容器化部署之Django-Docker本地部署
2019/10/09 Python
Python基于模块Paramiko实现SSHv2协议
2020/04/28 Python
Python reques接口测试框架实现代码
2020/07/28 Python
python3中编码获取网页的实例方法
2020/11/16 Python
Python爬虫UA伪装爬取的实例讲解
2021/02/19 Python
飞利浦比利时官方网站:Philips比利时
2016/08/24 全球购物
Paul Smith英国官网:英国国宝级时装品牌
2019/03/21 全球购物
Saks Fifth Avenue澳洲/亚太地区:萨克斯第五大道精品百货店
2019/06/09 全球购物
Lentiamo比利时:便宜的隐形眼镜
2020/02/14 全球购物
韩国乐天网上商城:Lotte iMall
2021/02/03 全球购物
计算机实训报告范文
2014/11/05 职场文书
2016新党章学习心得体会
2016/01/15 职场文书
python playwright之元素定位示例详解
2022/07/23 Python