PHP实现采集抓取淘宝网单个商品信息


Posted in PHP onJanuary 08, 2015

调用淘宝的数据可以使用淘宝提供的api,如果只需调用淘宝商品图片名称等公开信息在自己网站上,使用php中的 file_get_contents 函数实现即可。

思路:

file_get_contents(url) 该函数根据 url 如 http://www.baidu.com 将该网页内容(源码)以字符串形式输出(一个整字符串),然后配合preg_match,preg_replace等这些正则表达式操作就可以实现获取该url特定div,img等信息了。当然前题是淘宝在单个商品页面的结构是固定的,如500图的img中id就是J_ImgBooth!

具体实现方法:(获取500图,名称,价格,属性及商品描述)

$text=file_get_contents("http://item.taobao.com/item.htm?id=2380347279"); //将url地址上页面内容保存进$text

A.获取500图:

preg_match('/<img[^>]*id="J_ImgBooth"[^r]*rc=\"([^"]*)\"[^>]*>/', $text, $img); 

//运用正则抓取img标签中id为J_ImgBooth的img,$img[0]为该500图img标签,$img[1]为500图的图片地址;

B. 获取名称:

preg_match('/<title>([^<>]*)<\/title>/', $text, $title); 

//因为正文中的商品名称标签没有特殊class或id正则不好抓取,就抓<title>标签中的内容了,一般来说title中内容就是商品名称了(实际有些出入),$title[0]整个title标签 $title[1]标签中内容;

$title=iconv('GBK','UTF-8',$title);

//如果你的网站是utf8编码,那么需要进行一下转码(淘宝是gbk编码)

C.获取价格:

preg_match('/<([a-z]+)[^i]*id=\"J_StrPrice\"[^>]*>([^<]*)<\/\\1>/is', $text, $price);

//同理获取id为J_StrPrice的标签内容$price[2], $price[0]是整个标签, $price[1]为strong标签名;

$price=floatval($price);//放入数据库估计还有转一下变量类型

D.获取属性:

这之前获取的内容都是在单标签中相对只需一个正则就可搞定,然而如果要获取如

…

 

<div id=”xxx”>

 

…

 

<ul>

 

…

 

</ul>

 

<div>…

 

<div>…

 

</div>

 

</div>

 

</div>

 

…

这样特定div中有未知n个<>标签,获取该特定div将会非常的困难,搜了下网上,最接近的也只是”/<([a-z]+)[^>]*>([^<>]|(?R))*<\/\\1>/”这样使用递归抓取标签对,但是他不能抓特定标签,所以想要轻松抓取class=”attributes”的div我是没法办到了。但是淘宝网页有其特殊性,就是它的各个标签结构基本是固定的…<div>…</div>标签后面不是</div><div id=”description”>就是</div><div>,所以我们可以采用变通法达到获取属性标签内容的目的。

preg_match('/<(div)[^c]*class=\"attributes\"[^>]*>.*<\/\\1>/is', $text, $text0);

//这个正则会抓取<div开始到整个页面最后一个</div>标签,当然我们属性标签就在这个的前面部分。

 

$text1=preg_replace("/<\/div>[^<]*<(div)[^c]*id=\"description\"[^>]*>.*<\/\\1>/is","",$text0);

//匹配到</div ><div id=”description”>至最后</div>然后用””代替(就是把匹配的删除了),所以如果attributes的div后面紧跟的是description那么我们已经达到目的了。

 

$attributes=preg_replace("/<\/div>[^<]*<(div)[^c]*class=\"box J_TBox\"[^>]*>.*<\/\\1>/is","",$text1);

//如果attributes后面紧跟box J_Tbox标签,那么我们还需要使用以上这步来剔除box J_Tbox标签,当然如果attributes的div后面紧跟的是description,这一步将不会匹配到任何即什么都不会做。

E.获取描述:

通过上面方法你肯定觉得淘宝页面上任何标签都可以很简单获取了吧(我之前也是这么想的),但是使用这个方法获取描述时得到的内容将会是“描述加载中”,是的,这个描述内容不是在源码中的,它是打开页面加载进一大堆js后,不知道从淘宝的哪个角落中加载进来的。

好吧,那么我们也可以模仿它放一些js进去。不知道哪些对加载描述有用?没事,全加载进来肯定没错。不知道需要放那些特定div上去有作用?抓一个源码,删掉一些div一步步试试看,你会发现“<div id=”detail”> </div>

<div id="description">

 

<div id="J_DivItemDesc">描述加载中</div>

 

</div>

这几个div是加载描述所必须的,那么下面就是写代码了:

preg_match_all('/<script[^>]*>[^<]*<\/script>/is', $text, $content);//页面js脚本

 $content=$content[0];

 $description='<div id="detail"> </div>

  <div id="description">

   <div id="J_DivItemDesc">描述加载中</div>

  </div>';

foreach ($content as &$v){$description.=iconv('GBK','UTF-8',$v);};

//将这个$description放进页面,描述就会自动的加载进来了,当然多个商品描述在同一个页面也会只有一个描述会被加载的。
PHP 相关文章推荐
php 上传功能实例代码
Apr 13 PHP
php生成zip压缩文件的方法详解
Jun 09 PHP
PHP解决URL中文GBK乱码问题的两种方法
Jun 03 PHP
一个经典实用的PHP图像处理类分享
Nov 18 PHP
ThinkPHP打开验证码页面显示乱码的解决方法
Dec 18 PHP
php实现Session存储到Redis
Nov 11 PHP
AJAX的使用方法详解
Apr 29 PHP
thinkPHP微信分享接口JSSDK用法实例
Jul 07 PHP
Laravel如何使用Redis共享Session
Feb 23 PHP
php 截取中英文混合字符串的方法
May 31 PHP
PHP自动载入类文件函数__autoload的使用方法
Mar 25 PHP
PHP数组与字符串互相转换实例
May 05 PHP
linux中cd命令使用详解
Jan 08 #PHP
php计划任务之ignore_user_abort函数实现方法
Jan 08 #PHP
网站防止被刷票的一些思路与方法
Jan 08 #PHP
分享常见的几种页面静态化的方法
Jan 08 #PHP
php的ddos攻击解决方法
Jan 08 #PHP
php的sso单点登录实现方法
Jan 08 #PHP
PHP制作万年历
Jan 07 #PHP
You might like
B2K与车机的中波PK
2021/03/02 无线电
PHP APC的安装与使用详解
2013/06/13 PHP
让iframe框架网页在任何浏览器下自动伸缩
2006/08/18 Javascript
javascript实现的动态文字变换
2007/07/28 Javascript
几个比较经典常用的jQuery小技巧
2010/03/01 Javascript
(跨浏览器基础事件/浏览器检测/判断浏览器)经验代码分享
2013/01/24 Javascript
js中top/parent/frame概述及案例应用
2013/02/06 Javascript
如何动态的导入js文件具体该怎么实现
2014/01/14 Javascript
简介JavaScript中Math.LOG10E属性的使用
2015/06/14 Javascript
javascript实现简单的进度条
2015/07/02 Javascript
js鼠标点击按钮切换图片-图片自动切换-点击左右按钮切换特效代码
2015/09/02 Javascript
jquery点击缩略图切换视频播放特效代码分享
2015/09/15 Javascript
详解angularjs利用ui-route异步加载组件
2017/05/21 Javascript
JavaScript两种计时器的实例讲解
2019/01/31 Javascript
小程序开发踩坑:页面窗口定位(相对于浏览器定位)(推荐)
2019/04/25 Javascript
在vant中使用时间选择器和popup弹出层的操作
2020/11/04 Javascript
[58:25]VP vs RNG 2019国际邀请赛小组赛 BO2 第一场 8.15
2019/08/17 DOTA
python中列表元素连接方法join用法实例
2015/04/07 Python
python创建一个最简单http webserver服务器的方法
2015/05/08 Python
python实现字符串和日期相互转换的方法
2015/05/13 Python
获取django框架orm query执行的sql语句实现方法分析
2019/06/20 Python
Python使用pyyaml模块处理yaml数据
2020/04/14 Python
使用 django orm 写 exists 条件过滤实例
2020/05/20 Python
HTML5在canvas中绘制复杂形状附效果截图
2014/06/23 HTML / CSS
购买瑞典当代设计的腕表和太阳眼镜:TRIWA
2016/10/30 全球购物
加拿大花店:1800Flowers.ca
2016/11/16 全球购物
Steve Madden官网:美国鞋类品牌
2017/01/29 全球购物
英国和爱尔兰的自炊式豪华度假小屋:Rural Retreats
2018/06/08 全球购物
十八届三中全会报告学习材料
2014/02/17 职场文书
2015年考研复习计划
2015/01/19 职场文书
2015年财务部年度工作总结
2015/05/19 职场文书
交通事故案件代理词
2015/05/23 职场文书
法定代表人免职证明
2015/06/24 职场文书
重温入党誓词主持词
2015/06/29 职场文书
2016会计专业自荐信范文
2016/01/28 职场文书
为什么MySQL 删除表数据 磁盘空间还一直被占用
2021/10/16 MySQL