PHP实现采集抓取淘宝网单个商品信息


Posted in PHP onJanuary 08, 2015

调用淘宝的数据可以使用淘宝提供的api,如果只需调用淘宝商品图片名称等公开信息在自己网站上,使用php中的 file_get_contents 函数实现即可。

思路:

file_get_contents(url) 该函数根据 url 如 http://www.baidu.com 将该网页内容(源码)以字符串形式输出(一个整字符串),然后配合preg_match,preg_replace等这些正则表达式操作就可以实现获取该url特定div,img等信息了。当然前题是淘宝在单个商品页面的结构是固定的,如500图的img中id就是J_ImgBooth!

具体实现方法:(获取500图,名称,价格,属性及商品描述)

$text=file_get_contents("http://item.taobao.com/item.htm?id=2380347279"); //将url地址上页面内容保存进$text

A.获取500图:

preg_match('/<img[^>]*id="J_ImgBooth"[^r]*rc=\"([^"]*)\"[^>]*>/', $text, $img); 

//运用正则抓取img标签中id为J_ImgBooth的img,$img[0]为该500图img标签,$img[1]为500图的图片地址;

B. 获取名称:

preg_match('/<title>([^<>]*)<\/title>/', $text, $title); 

//因为正文中的商品名称标签没有特殊class或id正则不好抓取,就抓<title>标签中的内容了,一般来说title中内容就是商品名称了(实际有些出入),$title[0]整个title标签 $title[1]标签中内容;

$title=iconv('GBK','UTF-8',$title);

//如果你的网站是utf8编码,那么需要进行一下转码(淘宝是gbk编码)

C.获取价格:

preg_match('/<([a-z]+)[^i]*id=\"J_StrPrice\"[^>]*>([^<]*)<\/\\1>/is', $text, $price);

//同理获取id为J_StrPrice的标签内容$price[2], $price[0]是整个标签, $price[1]为strong标签名;

$price=floatval($price);//放入数据库估计还有转一下变量类型

D.获取属性:

这之前获取的内容都是在单标签中相对只需一个正则就可搞定,然而如果要获取如

…

 

<div id=”xxx”>

 

…

 

<ul>

 

…

 

</ul>

 

<div>…

 

<div>…

 

</div>

 

</div>

 

</div>

 

…

这样特定div中有未知n个<>标签,获取该特定div将会非常的困难,搜了下网上,最接近的也只是”/<([a-z]+)[^>]*>([^<>]|(?R))*<\/\\1>/”这样使用递归抓取标签对,但是他不能抓特定标签,所以想要轻松抓取class=”attributes”的div我是没法办到了。但是淘宝网页有其特殊性,就是它的各个标签结构基本是固定的…<div>…</div>标签后面不是</div><div id=”description”>就是</div><div>,所以我们可以采用变通法达到获取属性标签内容的目的。

preg_match('/<(div)[^c]*class=\"attributes\"[^>]*>.*<\/\\1>/is', $text, $text0);

//这个正则会抓取<div开始到整个页面最后一个</div>标签,当然我们属性标签就在这个的前面部分。

 

$text1=preg_replace("/<\/div>[^<]*<(div)[^c]*id=\"description\"[^>]*>.*<\/\\1>/is","",$text0);

//匹配到</div ><div id=”description”>至最后</div>然后用””代替(就是把匹配的删除了),所以如果attributes的div后面紧跟的是description那么我们已经达到目的了。

 

$attributes=preg_replace("/<\/div>[^<]*<(div)[^c]*class=\"box J_TBox\"[^>]*>.*<\/\\1>/is","",$text1);

//如果attributes后面紧跟box J_Tbox标签,那么我们还需要使用以上这步来剔除box J_Tbox标签,当然如果attributes的div后面紧跟的是description,这一步将不会匹配到任何即什么都不会做。

E.获取描述:

通过上面方法你肯定觉得淘宝页面上任何标签都可以很简单获取了吧(我之前也是这么想的),但是使用这个方法获取描述时得到的内容将会是“描述加载中”,是的,这个描述内容不是在源码中的,它是打开页面加载进一大堆js后,不知道从淘宝的哪个角落中加载进来的。

好吧,那么我们也可以模仿它放一些js进去。不知道哪些对加载描述有用?没事,全加载进来肯定没错。不知道需要放那些特定div上去有作用?抓一个源码,删掉一些div一步步试试看,你会发现“<div id=”detail”> </div>

<div id="description">

 

<div id="J_DivItemDesc">描述加载中</div>

 

</div>

这几个div是加载描述所必须的,那么下面就是写代码了:

preg_match_all('/<script[^>]*>[^<]*<\/script>/is', $text, $content);//页面js脚本

 $content=$content[0];

 $description='<div id="detail"> </div>

  <div id="description">

   <div id="J_DivItemDesc">描述加载中</div>

  </div>';

foreach ($content as &$v){$description.=iconv('GBK','UTF-8',$v);};

//将这个$description放进页面,描述就会自动的加载进来了,当然多个商品描述在同一个页面也会只有一个描述会被加载的。
PHP 相关文章推荐
基于magic_quotes_gpc与magic_quotes_runtime的区别与使用介绍
Apr 22 PHP
Smarty变量调节器失效的解决办法
Aug 20 PHP
PDO防注入原理分析以及注意事项
Feb 25 PHP
php简单实现屏蔽指定ip段用户的访问
Apr 29 PHP
php自定义类fsocket模拟post或get请求的方法
Jul 31 PHP
PHP中Http协议post请求参数
Nov 02 PHP
PHP简单实现生成txt文件到指定目录的方法
Apr 25 PHP
laravel创建类似ThinPHP中functions.php的全局函数
Nov 26 PHP
DWZ+ThinkPHP开发时遇到的问题分析
Dec 12 PHP
Thinkphp5.0自动生成模块及目录的方法详解
Apr 17 PHP
PHP基于openssl实现的非对称加密操作示例
Jan 11 PHP
php-fpm中max_children的配置
Mar 15 PHP
linux中cd命令使用详解
Jan 08 #PHP
php计划任务之ignore_user_abort函数实现方法
Jan 08 #PHP
网站防止被刷票的一些思路与方法
Jan 08 #PHP
分享常见的几种页面静态化的方法
Jan 08 #PHP
php的ddos攻击解决方法
Jan 08 #PHP
php的sso单点登录实现方法
Jan 08 #PHP
PHP制作万年历
Jan 07 #PHP
You might like
查找mysql字段中固定字符串并替换的几个方法
2012/09/23 PHP
php的闭包(Closure)匿名函数详解
2015/02/22 PHP
PHP实现简单搜歌的方法
2015/07/28 PHP
php开发时容易忘记的一些技术细节
2016/02/03 PHP
PHP基于迭代实现文件夹复制、删除、查看大小等操作的方法
2017/08/11 PHP
PHP chunk_split()函数讲解
2019/02/12 PHP
php传值和传引用的区别点总结
2019/11/19 PHP
js 数据类型转换总结笔记
2011/01/17 Javascript
jquery如何把参数列严格转换成数组实现思路
2013/04/01 Javascript
解析JSON对象与字符串之间的相互转换
2013/12/18 Javascript
JS delegate与live浅析
2013/12/21 Javascript
jquery实现人性化的有选择性禁用鼠标右键
2014/06/30 Javascript
jquery序列化表单以及回调函数的使用示例
2014/07/02 Javascript
基于jQuery实现复选框的全选 全不选 反选功能
2014/11/24 Javascript
仿JQuery输写高效JSLite代码的一些技巧
2015/01/13 Javascript
jQuery下拉美化搜索表单效果代码分享
2015/08/25 Javascript
jQuery xml字符串的解析、读取及查找方法
2016/03/01 Javascript
微信小程序 配置文件详细介绍
2016/12/14 Javascript
JavaScript判断浏览器及其版本信息
2017/01/20 Javascript
JavaScript制作简易计算器(不用eval)
2017/02/05 Javascript
详解vue移动端日期选择组件
2018/02/22 Javascript
关于vue中 $emit的用法详解
2018/04/12 Javascript
关于vue v-for 循环问题(一行显示四个,每一行的最右边那个计算属性)
2018/09/04 Javascript
如何用vue-cli3脚手架搭建一个基于ts的基础脚手架的方法
2019/12/12 Javascript
启动targetcli时遇到错误解决办法
2017/10/26 Python
python绘制双柱形图代码实例
2017/12/14 Python
Pandas读写CSV文件的方法示例
2019/03/27 Python
详解Python的爬虫框架 Scrapy
2020/08/03 Python
For Art’s Sake官网:手工制作的奢华眼镜
2018/12/15 全球购物
工作态度不端正检讨书
2014/10/04 职场文书
博士给导师的自荐信
2015/03/06 职场文书
公司晚会主持词
2019/04/17 职场文书
postgresql 删除重复数据案例详解
2021/08/02 PostgreSQL
Python+Pillow+Pytesseract实现验证码识别
2022/05/11 Python
MySQL详解进行JDBC编程与增删改查方法
2022/06/16 MySQL
win server2012 r2服务器共享文件夹如何设置
2022/06/21 Servers