PHP批量采集下载美女图片的实现代码


Posted in PHP onJune 03, 2013

设计思路

考虑到单纯的采集一个网页的图片,太麻烦,所以直接采集他的列表页,获取列表的url然后在一一采集,但是用php匹配列表页的url太麻烦,第一列表页有很多无效url这对我这个正则小菜鸟实在是个问题,看了一下列表页的结构,果断采用jquery获取url,jquery的万能选择器又再次强大起来了。

jquery获取url,然后ajax传递url—>对应PHP文件,遍历url参数—->单页面采集保存图片

jquery程序

<script src="http://www.cztv.com/uibase/jquery.js"></script> 
<script > 
$(document).ready(function(){ 
var hrefs =''; 
$('.f_folder>a').each(function(i){ 
var href = $('.f_folder:eq('+i+')>a:eq(0)').attr('href'); 
if(href!='undefined'){ 
hrefs +=href+','; 
} 
}) 
$.getJSON("http://www.****.com/365/getimg.php?hrefs="+hrefs+"&callback=?", function(data){ 
//alert(data.info); 
}); 
}); 
</script>

这里把url拼接成‘,'分割的字符串传递url,使用getjson是为了跨域需要,关于getjson常见的几个问题可以参看<$.getjson遇到的几个问题>

PHP采集程序

<?php 
// 抓起365图片 
error_reporting(E_ALL ^ E_NOTICE); 
set_time_limit(0);//设置PHP超时时间 
/** 
* 得到当前时间 
*/ 
function getMicrotime() { list ($usec, $sec) = explode(" ", microtime()); 
return ((float) $usec + (float) $sec); 
} 
$stime = getMicrotime(); 
$callback = $_GET['callback']; 
$hrefs = $_GET['hrefs']; 
$urlarray = explode(',',$hrefs); 
//获取指定url的所有图片 
function getimgs($url){ 
$dirname = basename($url,".php"); 
if(!file_exists($dirname)){ 
mkdir('365/'.$dirname.''); 
} 
clearstatcache(); 
$data = file_get_contents($url); 
preg_match_all("/(href|src)=(["|']?)([^ "'>]+.(jpg|png|PNG|JPG|gif))\2/i", $data, $matches); 
//$matches[3] = array_unique($matches[3]); 
unset($data); 
$i=0; 
if(count($matches[3])>0){ 
foreach($matches[3] as $k=>$v){ 
//简单判断是否是标准url,而不是相对路径 
if(substr($v,0,4)=='http'){ 
$ext = pathinfo($v,PATHINFO_EXTENSION);//图片扩展 
if(!file_exists('365/'.$dirname.'/'.$k.'.'.$ext)){ 
file_put_contents('365/'.$dirname.'/'.$k.'.'.$ext,file_get_contents($v)); 
$i++; 
}else{ 
unset($v); 
} 
clearstatcache(); 
}else{ 
unset($v); 
} 
} 
unset($matches); 
return $i; 
} 
} 
foreach($urlarray as $k=>$v){ 
if($v!=''){ 
$j +=getimgs($v); 
} 
} 
$etime = getMicrotime(); 
echo "合计采集了".$j."张图片"; 
echo "用时".($etime-$stime)."秒";

考虑到性能问题:在getimgs方法中所用的变量都是使用后便注销(unset)了,以便释放内存。

设计到的几个知识点

判断是否是标准有效图片url
if(substr($v,0,4)=='http')这个只是简单的判断一下匹配到的图片url是否是标准的url,因为采集的图片可能是相对路径的,这里我直接放弃这种图片的采集,当然你也可以把这种图片还原成标准图片路径,还有一个问题就是即使是标准url格式,这样的图片也未必可以采集,因为你不知道这个图片是否还有,也许这个图片url已经无效了,如果你想更严格的判断这个图片url是否真实有效可以推荐看我之前的《PHP判断远程url是否有效的几种方法》有三种方法可以验证是否是有效url。

获取图片格式

$ext = pathinfo($v,PATHINFO_EXTENSION);//图片扩展

这里使用了pathinfo的方法,总结有7种方法可以获取到文件的格式,推荐文章:《PHP判断图片格式的七种方法》

下载保存到本地

file_put_contents('365/'.$dirname.'/'.$k.'.'.$ext,file_get_contents($v));
file_put_contents() 函数把一个字符串写入文件中。
与依次调用 fopen(),fwrite() 以及 fclose() 功能一样。
file_get_contents() 函数把整个文件读入一个字符串中。

因为服务器支持file_get_contents,如果服务器把这个函数禁用了,可以使用curl,这个工具要比file_get_contents更加强大,推荐学习《CURL的学习和应用(附多线程)》,可以使用curl的多线程下载存储,效果更牛逼

清除文件操作缓存

clearstatcache() 函数清除文件状态缓存。clearstatcache() 函数会缓存某些函数的返回信息,以便提供更高的性能。但是有时候,比如在一个脚本中多次检查同一个文件,而该文件在此脚本执行期间有被删除或修改的危险时,你需要清除文件状态缓存,以便获得正确的结果。要做到这一点,就需要使用 clearstatcache() 函数。官方手册:

程序执行时间计算

/** * 得到当前时间 
*/ 
function getMicrotime() { 
list ($usec, $sec) = explode(" ", microtime()); 
return ((float) $usec + (float) $sec); 
}

可以参考本博客文章;《获取php页面执行时间,数据库读写次数,函数调用次数等【THINKPHP】》

最后看一下效果;

PHP批量采集下载美女图片的实现代码

409秒采集了214张图片,大概2秒下载保存了一张图片,图片总大小约62M,这样看来:

一个小时60*60可以大约下载1800张美女图片。

PHP 相关文章推荐
PHP 日期时间函数的高级应用技巧
Oct 10 PHP
php查看请求头信息获取远程图片大小的方法分享
Dec 25 PHP
使用PHPCMS搭建wap手机网站
Sep 20 PHP
PHP人民币金额转大写实例代码
Oct 02 PHP
PHP中JSON的应用技巧
Oct 10 PHP
PHP面向对象编程之深入理解方法重载与方法覆盖(多态)
Dec 24 PHP
PHP实现无限分类的实现方法
Nov 14 PHP
Yii2框架实现登陆添加验证码功能示例
Jul 12 PHP
php连接mysql数据库最简单的实现方法
Sep 24 PHP
PHP 计算至少是其他数字两倍的最大数的实现代码
May 26 PHP
如何在PHP中使用数组
Jun 09 PHP
php swoft框架实例用法
Dec 22 PHP
基于PHP CURL获取邮箱地址的详解
Jun 03 #PHP
解析CI即CodeIgniter框架在Nginx下的重写规则
Jun 03 #PHP
深入php函数file_get_contents超时处理的方法详解
Jun 03 #PHP
详解PHP内置访问资源的超时时间 time_out file_get_contents read_file
Jun 03 #PHP
PHP CLI模式下的多进程应用分析
Jun 03 #PHP
基于php-fpm 参数的深入理解
Jun 03 #PHP
php-cli简介(不会Shell语言一样用Shell)
Jun 03 #PHP
You might like
我的论坛源代码(三)
2006/10/09 PHP
解析php中获取url与物理路径的总结
2013/06/21 PHP
php生成curl命令行的方法
2015/12/14 PHP
yii通过小物件生成view的方法
2016/10/08 PHP
PHP中STDCLASS用法实例分析
2016/11/11 PHP
php读取qqwry.dat ip地址定位文件的类实例代码
2016/11/15 PHP
PHP策略模式定义与用法示例
2017/07/27 PHP
php+ajax实现商品对比功能示例
2019/04/13 PHP
php模拟实现斗地主发牌
2020/04/22 PHP
MooBox 基于Mootools的对话框插件
2012/01/20 Javascript
JQuery-tableDnD 拖拽的基本使用介绍
2013/07/04 Javascript
javascript获取元素偏移量的方法有哪些
2014/06/24 Javascript
Javascript中arguments对象详解
2014/10/22 Javascript
js获取元素的标签名实现方法
2016/10/08 Javascript
微信小程序 教程之wxapp视图容器 scroll-view
2016/10/19 Javascript
jQuery Validate验证框架详解(推荐)
2016/12/17 Javascript
如何理解Vue的作用域插槽的实现原理
2017/08/19 Javascript
小程序点击图片实现自动播放视频
2020/05/29 Javascript
微信小程序单选radio及多选checkbox按钮用法示例
2019/04/30 Javascript
微信小程序 checkbox使用实例解析
2019/09/09 Javascript
用js编写留言板
2020/03/17 Javascript
python过滤字符串中不属于指定集合中字符的类实例
2015/06/30 Python
Python验证文件是否可读写代码分享
2017/12/11 Python
python通过elixir包操作mysql数据库实例代码
2018/01/31 Python
Python使用combinations实现排列组合的方法
2018/11/13 Python
flask-restful使用总结
2018/12/04 Python
Python读取Pickle文件信息并计算与当前时间间隔的方法分析
2019/01/30 Python
python3使用matplotlib绘制条形图
2020/03/25 Python
解决pycharm最左侧Tool Buttons显示不全的问题
2019/12/17 Python
selenium中get_cookies()和add_cookie()的用法详解
2020/01/06 Python
Python进行特征提取的示例代码
2020/10/15 Python
ReVive利维肤美国官网:RéVive Skincare
2018/04/18 全球购物
Bitiba意大利:在线宠物商店
2020/10/31 全球购物
旅游管理专业大学生职业规划书
2014/02/27 职场文书
乡镇安全生产目标责任书
2014/07/23 职场文书
Windows下使用Nginx+Tomcat做负载均衡的完整步骤
2021/03/31 Servers