PHP实现采集抓取淘宝网单个商品信息


Posted in PHP onJanuary 08, 2015

调用淘宝的数据可以使用淘宝提供的api,如果只需调用淘宝商品图片名称等公开信息在自己网站上,使用php中的 file_get_contents 函数实现即可。

思路:

file_get_contents(url) 该函数根据 url 如 http://www.baidu.com 将该网页内容(源码)以字符串形式输出(一个整字符串),然后配合preg_match,preg_replace等这些正则表达式操作就可以实现获取该url特定div,img等信息了。当然前题是淘宝在单个商品页面的结构是固定的,如500图的img中id就是J_ImgBooth!

具体实现方法:(获取500图,名称,价格,属性及商品描述)

$text=file_get_contents("http://item.taobao.com/item.htm?id=2380347279"); //将url地址上页面内容保存进$text

A.获取500图:

preg_match('/<img[^>]*id="J_ImgBooth"[^r]*rc=\"([^"]*)\"[^>]*>/', $text, $img); 

//运用正则抓取img标签中id为J_ImgBooth的img,$img[0]为该500图img标签,$img[1]为500图的图片地址;

B. 获取名称:

preg_match('/<title>([^<>]*)<\/title>/', $text, $title); 

//因为正文中的商品名称标签没有特殊class或id正则不好抓取,就抓<title>标签中的内容了,一般来说title中内容就是商品名称了(实际有些出入),$title[0]整个title标签 $title[1]标签中内容;

$title=iconv('GBK','UTF-8',$title);

//如果你的网站是utf8编码,那么需要进行一下转码(淘宝是gbk编码)

C.获取价格:

preg_match('/<([a-z]+)[^i]*id=\"J_StrPrice\"[^>]*>([^<]*)<\/\\1>/is', $text, $price);

//同理获取id为J_StrPrice的标签内容$price[2], $price[0]是整个标签, $price[1]为strong标签名;

$price=floatval($price);//放入数据库估计还有转一下变量类型

D.获取属性:

这之前获取的内容都是在单标签中相对只需一个正则就可搞定,然而如果要获取如

…

 

<div id=”xxx”>

 

…

 

<ul>

 

…

 

</ul>

 

<div>…

 

<div>…

 

</div>

 

</div>

 

</div>

 

…

这样特定div中有未知n个<>标签,获取该特定div将会非常的困难,搜了下网上,最接近的也只是”/<([a-z]+)[^>]*>([^<>]|(?R))*<\/\\1>/”这样使用递归抓取标签对,但是他不能抓特定标签,所以想要轻松抓取class=”attributes”的div我是没法办到了。但是淘宝网页有其特殊性,就是它的各个标签结构基本是固定的…<div>…</div>标签后面不是</div><div id=”description”>就是</div><div>,所以我们可以采用变通法达到获取属性标签内容的目的。

preg_match('/<(div)[^c]*class=\"attributes\"[^>]*>.*<\/\\1>/is', $text, $text0);

//这个正则会抓取<div开始到整个页面最后一个</div>标签,当然我们属性标签就在这个的前面部分。

 

$text1=preg_replace("/<\/div>[^<]*<(div)[^c]*id=\"description\"[^>]*>.*<\/\\1>/is","",$text0);

//匹配到</div ><div id=”description”>至最后</div>然后用””代替(就是把匹配的删除了),所以如果attributes的div后面紧跟的是description那么我们已经达到目的了。

 

$attributes=preg_replace("/<\/div>[^<]*<(div)[^c]*class=\"box J_TBox\"[^>]*>.*<\/\\1>/is","",$text1);

//如果attributes后面紧跟box J_Tbox标签,那么我们还需要使用以上这步来剔除box J_Tbox标签,当然如果attributes的div后面紧跟的是description,这一步将不会匹配到任何即什么都不会做。

E.获取描述:

通过上面方法你肯定觉得淘宝页面上任何标签都可以很简单获取了吧(我之前也是这么想的),但是使用这个方法获取描述时得到的内容将会是“描述加载中”,是的,这个描述内容不是在源码中的,它是打开页面加载进一大堆js后,不知道从淘宝的哪个角落中加载进来的。

好吧,那么我们也可以模仿它放一些js进去。不知道哪些对加载描述有用?没事,全加载进来肯定没错。不知道需要放那些特定div上去有作用?抓一个源码,删掉一些div一步步试试看,你会发现“<div id=”detail”> </div>

<div id="description">

 

<div id="J_DivItemDesc">描述加载中</div>

 

</div>

这几个div是加载描述所必须的,那么下面就是写代码了:

preg_match_all('/<script[^>]*>[^<]*<\/script>/is', $text, $content);//页面js脚本

 $content=$content[0];

 $description='<div id="detail"> </div>

  <div id="description">

   <div id="J_DivItemDesc">描述加载中</div>

  </div>';

foreach ($content as &$v){$description.=iconv('GBK','UTF-8',$v);};

//将这个$description放进页面,描述就会自动的加载进来了,当然多个商品描述在同一个页面也会只有一个描述会被加载的。
PHP 相关文章推荐
php基础知识:类与对象(5) static
Dec 13 PHP
php面向对象全攻略 (九)访问类型
Sep 30 PHP
测试PHP连接MYSQL成功与否的代码
Aug 16 PHP
PHP获取QQ达人QQ信息的方法
Mar 05 PHP
PHP实现获取并生成数据库字典的方法
May 04 PHP
使用ThinkPHP的自动完成实现无限级分类实例详解
Sep 02 PHP
php无限级分类实现方法分析
Oct 19 PHP
浅谈php处理后端&amp;接口访问超时的解决方法
Oct 29 PHP
PHP使用GD库输出汉字的方法【测试可用】
Nov 10 PHP
Ubuntu 16.04中Laravel5.4升级到5.6的步骤
Dec 07 PHP
详解PHP PDO简单教程
May 28 PHP
laravel 字段格式化 modle 字段类型转换方法
Sep 30 PHP
linux中cd命令使用详解
Jan 08 #PHP
php计划任务之ignore_user_abort函数实现方法
Jan 08 #PHP
网站防止被刷票的一些思路与方法
Jan 08 #PHP
分享常见的几种页面静态化的方法
Jan 08 #PHP
php的ddos攻击解决方法
Jan 08 #PHP
php的sso单点登录实现方法
Jan 08 #PHP
PHP制作万年历
Jan 07 #PHP
You might like
PHP实现无限极分类图文教程
2014/11/25 PHP
PHP接收json 并将接收数据插入数据库的实现代码
2015/12/01 PHP
PHP文件上传之多文件上传的实现思路
2016/01/27 PHP
php监测数据是否成功插入到Mysql数据库的方法
2016/11/25 PHP
javascript采用数组实现tab菜单切换效果
2012/12/12 Javascript
取消选中单选框radio的三种方式示例介绍
2013/12/23 Javascript
jquery 获取dom固定元素 添加样式的简单实例
2014/02/04 Javascript
js创建对象的区别示例介绍
2014/07/24 Javascript
JS自定义选项卡函数及用法实例分析
2015/09/02 Javascript
学习JavaScript设计模式之状态模式
2016/01/08 Javascript
dedecms页面如何获取会员状态的实例代码
2016/03/15 Javascript
nodeJS删除文件方法示例
2016/12/25 NodeJs
JS实现移动端实时监听输入框变化的实例代码
2017/04/12 Javascript
Node.js学习之查询字符串解析querystring详解
2017/09/28 Javascript
Vue父子组件双向绑定传值的实现方法
2018/07/31 Javascript
jquery无缝图片轮播组件封装
2020/11/25 jQuery
jQuery实现的点击显示隐藏下拉菜单功能完整示例
2019/05/17 jQuery
vue路由教程之静态路由
2019/09/03 Javascript
vue watch监控对象的简单方法示例
2021/01/07 Vue.js
教你安装python Django(图文)
2013/11/04 Python
在Python上基于Markov链生成伪随机文本的教程
2015/04/17 Python
python开发之函数定义实例分析
2015/11/12 Python
Linux下为不同版本python安装第三方库
2016/08/31 Python
python smtplib模块实现发送邮件带附件sendmail
2018/05/22 Python
对Python subprocess.Popen子进程管道阻塞详解
2018/10/29 Python
使用pth文件添加Python环境变量方式
2020/05/26 Python
如何用Anaconda搭建虚拟环境并创建Django项目
2020/08/02 Python
html5使用canvas压缩图片的示例代码
2018/09/11 HTML / CSS
巴西葡萄酒销售网站:Wine.com.br
2017/11/07 全球购物
Sisley法国希思黎中国官网:享誉全球的奢华植物美容品牌
2019/06/30 全球购物
转预备党员政审材料
2014/02/06 职场文书
法人授权委托书范本
2014/04/04 职场文书
如何写通讯稿
2015/07/22 职场文书
小学生红领巾广播稿
2015/08/19 职场文书
Python机器学习算法之决策树算法的实现与优缺点
2021/05/13 Python
如何给HttpServletRequest增加消息头
2021/06/30 Java/Android