PHP实现采集抓取淘宝网单个商品信息


Posted in PHP onJanuary 08, 2015

调用淘宝的数据可以使用淘宝提供的api,如果只需调用淘宝商品图片名称等公开信息在自己网站上,使用php中的 file_get_contents 函数实现即可。

思路:

file_get_contents(url) 该函数根据 url 如 http://www.baidu.com 将该网页内容(源码)以字符串形式输出(一个整字符串),然后配合preg_match,preg_replace等这些正则表达式操作就可以实现获取该url特定div,img等信息了。当然前题是淘宝在单个商品页面的结构是固定的,如500图的img中id就是J_ImgBooth!

具体实现方法:(获取500图,名称,价格,属性及商品描述)

$text=file_get_contents("http://item.taobao.com/item.htm?id=2380347279"); //将url地址上页面内容保存进$text

A.获取500图:

preg_match('/<img[^>]*id="J_ImgBooth"[^r]*rc=\"([^"]*)\"[^>]*>/', $text, $img); 

//运用正则抓取img标签中id为J_ImgBooth的img,$img[0]为该500图img标签,$img[1]为500图的图片地址;

B. 获取名称:

preg_match('/<title>([^<>]*)<\/title>/', $text, $title); 

//因为正文中的商品名称标签没有特殊class或id正则不好抓取,就抓<title>标签中的内容了,一般来说title中内容就是商品名称了(实际有些出入),$title[0]整个title标签 $title[1]标签中内容;

$title=iconv('GBK','UTF-8',$title);

//如果你的网站是utf8编码,那么需要进行一下转码(淘宝是gbk编码)

C.获取价格:

preg_match('/<([a-z]+)[^i]*id=\"J_StrPrice\"[^>]*>([^<]*)<\/\\1>/is', $text, $price);

//同理获取id为J_StrPrice的标签内容$price[2], $price[0]是整个标签, $price[1]为strong标签名;

$price=floatval($price);//放入数据库估计还有转一下变量类型

D.获取属性:

这之前获取的内容都是在单标签中相对只需一个正则就可搞定,然而如果要获取如

…

 

<div id=”xxx”>

 

…

 

<ul>

 

…

 

</ul>

 

<div>…

 

<div>…

 

</div>

 

</div>

 

</div>

 

…

这样特定div中有未知n个<>标签,获取该特定div将会非常的困难,搜了下网上,最接近的也只是”/<([a-z]+)[^>]*>([^<>]|(?R))*<\/\\1>/”这样使用递归抓取标签对,但是他不能抓特定标签,所以想要轻松抓取class=”attributes”的div我是没法办到了。但是淘宝网页有其特殊性,就是它的各个标签结构基本是固定的…<div>…</div>标签后面不是</div><div id=”description”>就是</div><div>,所以我们可以采用变通法达到获取属性标签内容的目的。

preg_match('/<(div)[^c]*class=\"attributes\"[^>]*>.*<\/\\1>/is', $text, $text0);

//这个正则会抓取<div开始到整个页面最后一个</div>标签,当然我们属性标签就在这个的前面部分。

 

$text1=preg_replace("/<\/div>[^<]*<(div)[^c]*id=\"description\"[^>]*>.*<\/\\1>/is","",$text0);

//匹配到</div ><div id=”description”>至最后</div>然后用””代替(就是把匹配的删除了),所以如果attributes的div后面紧跟的是description那么我们已经达到目的了。

 

$attributes=preg_replace("/<\/div>[^<]*<(div)[^c]*class=\"box J_TBox\"[^>]*>.*<\/\\1>/is","",$text1);

//如果attributes后面紧跟box J_Tbox标签,那么我们还需要使用以上这步来剔除box J_Tbox标签,当然如果attributes的div后面紧跟的是description,这一步将不会匹配到任何即什么都不会做。

E.获取描述:

通过上面方法你肯定觉得淘宝页面上任何标签都可以很简单获取了吧(我之前也是这么想的),但是使用这个方法获取描述时得到的内容将会是“描述加载中”,是的,这个描述内容不是在源码中的,它是打开页面加载进一大堆js后,不知道从淘宝的哪个角落中加载进来的。

好吧,那么我们也可以模仿它放一些js进去。不知道哪些对加载描述有用?没事,全加载进来肯定没错。不知道需要放那些特定div上去有作用?抓一个源码,删掉一些div一步步试试看,你会发现“<div id=”detail”> </div>

<div id="description">

 

<div id="J_DivItemDesc">描述加载中</div>

 

</div>

这几个div是加载描述所必须的,那么下面就是写代码了:

preg_match_all('/<script[^>]*>[^<]*<\/script>/is', $text, $content);//页面js脚本

 $content=$content[0];

 $description='<div id="detail"> </div>

  <div id="description">

   <div id="J_DivItemDesc">描述加载中</div>

  </div>';

foreach ($content as &$v){$description.=iconv('GBK','UTF-8',$v);};

//将这个$description放进页面,描述就会自动的加载进来了,当然多个商品描述在同一个页面也会只有一个描述会被加载的。
PHP 相关文章推荐
同时提取多条新闻中的文本一例
Oct 09 PHP
PHP统计目录下的文件总数及代码行数(去除注释及空行)
Jan 17 PHP
php入门学习知识点八 PHP中for循环基本应用之九九乘法口绝表
Jul 14 PHP
PHP查询数据库中满足条件的记录条数(两种实现方法)
Jan 29 PHP
PHP循环函数使用介绍之PHP基础入门教程
Sep 21 PHP
php实现邮件发送并带有附件
Jan 24 PHP
php基于表单密码验证与HTTP验证用法实例
Jan 06 PHP
Mac环境下php操作mysql数据库的方法分享
May 11 PHP
php 截取utf-8格式的字符串实例代码
Oct 30 PHP
Yii2中添加全局函数的方法分析
May 04 PHP
YII2框架中excel表格导出的方法详解
Jul 21 PHP
CI框架附属类用法分析
Dec 26 PHP
linux中cd命令使用详解
Jan 08 #PHP
php计划任务之ignore_user_abort函数实现方法
Jan 08 #PHP
网站防止被刷票的一些思路与方法
Jan 08 #PHP
分享常见的几种页面静态化的方法
Jan 08 #PHP
php的ddos攻击解决方法
Jan 08 #PHP
php的sso单点登录实现方法
Jan 08 #PHP
PHP制作万年历
Jan 07 #PHP
You might like
Linux下编译redis和phpredis的方法
2016/04/07 PHP
微信支付开发告警通知实例
2016/07/12 PHP
PHP Filter过滤器全面解析
2016/08/09 PHP
yii2 commands模式以及配置crontab定时任务的方法
2017/08/19 PHP
iframe子页面与父页面在同域或不同域下的js通信
2014/05/07 Javascript
使用ajaxfileupload.js实现ajax上传文件php版
2014/06/26 Javascript
Bootstrap每天必学之标签页(Tab)插件
2020/08/09 Javascript
仅9张思维导图帮你轻松学习Javascript 就这么简单
2016/06/01 Javascript
AngularJS ng-app 指令实例详解
2016/07/30 Javascript
AngularJS在IE下取数据总是缓存问题的解决方法
2016/08/05 Javascript
轻松掌握JavaScript享元模式
2016/08/27 Javascript
原生js实现新闻列表展开/收起全文功能
2017/01/20 Javascript
基于jquery实现二级联动效果
2017/03/30 jQuery
Nodejs中Express 常用中间件 body-parser 实现解析
2017/05/22 NodeJs
激动人心的 Angular HttpClient的源码解析
2017/07/10 Javascript
Vue scrollBehavior 滚动行为实现后退页面显示在上次浏览的位置
2019/05/27 Javascript
如何利用nodejs实现命令行游戏
2020/11/24 NodeJs
[51:34]Ti4主赛事胜者组 DK vs EG 2
2014/07/19 DOTA
布同 Python中文问题解决方法(总结了多位前人经验,初学者必看)
2011/03/13 Python
Python3.5 创建文件的简单实例
2018/04/26 Python
python集合比较(交集,并集,差集)方法详解
2018/09/13 Python
将python运行结果保存至本地文件中的示例讲解
2019/07/11 Python
python按行读取文件并找出其中指定字符串
2019/08/08 Python
HTML5 Canvas 旋转风车绘制
2017/08/18 HTML / CSS
白兰氏健康Mall:BRAND’S
2017/11/13 全球购物
材料加工硕士生求职信
2013/10/10 职场文书
主持人演讲稿范文
2013/12/28 职场文书
经典大学生求职信范文
2014/01/06 职场文书
质量承诺书范文
2014/03/27 职场文书
保险专业求职信
2014/07/07 职场文书
2014年除四害工作总结
2014/12/06 职场文书
2014年妇幼保健工作总结
2014/12/08 职场文书
个人维稳承诺书
2015/05/04 职场文书
浅谈JS的原型和原型链
2021/06/04 Javascript
Redis集群新增、删除节点以及动态增加内存的方法
2021/09/04 Redis
Python  lambda匿名函数和三元运算符
2022/04/19 Python