CodeIgniter实现从网站抓取图片并自动下载到文件夹里的方法


Posted in PHP onJune 17, 2015

本文实例讲述了CodeIgniter实现从网站抓取图片并自动下载到文件夹里的方法。分享给大家供大家参考。具体如下:

因为某网站看图比较坑爹,要一页一页的翻页。。。。所以。。。。就写了这么个东西

(我是产品不是程序员)运行速度简直无法忍受,而且经常会有错误发生,所以希望大家帮忙改进(PHP)。

当然也欢迎看到PYTHON,GOLANG的版本~~^_^

1. controllers:

$this->load->helper('date');
$this->load->helper('phpQuery');
//我是把phpQuery单文件放到helper里了

2. view:

这里只是为了快速出产品,所以直接在VIEW里写的代码,请无视变量名。。。

<?php
$imageslist = phpQuery::newDocumentFile('http://g.e-hentai.org/g/xxxxx/xxxxxxx/');
//首页
$pn = 1;//页数
$ps = $imageslist->find('.ptt td a');//从首页抓页面导航
//从页面导航开始获取页面内容
foreach($ps as $p)
{
  echo '第'.$pn++.'页:<a href="'.pq($p)->attr("href").'"/></br>';
  $imagesnow = phpQuery::newDocumentFile(pq($p)->attr("href"));
  //单页内容
  $images = $imagesnow->find('#gdt a');//抓取图片页列表
  foreach($images as $image)
  {
    echo '<a href="'.pq($image,$imagesnow)->attr("href").'"/></br>';
    $imagebigs = phpQuery::newDocumentFile(pq($image,$imagesnow)->attr("href"));
    //获取单图片页地址
    echo '<img src="'.$imagebigs->find('#i3 img')->attr('src').'"></br>';//输出图片
    ob_start();
    readfile($imagebigs->find('#i3 img')->attr('src'));
    $img = ob_get_contents();
    ob_end_clean();
    $filename='img/'.now().'.jpg';
    $f=fopen($filename,'a');
    fwrite($f,$img);
    fclose($f);
  }
}
?>

希望本文所述对大家基于CodeIgniter的php程序设计有所帮助。

PHP 相关文章推荐
PHP与MySQL交互使用详解
Oct 09 PHP
PHP生成静态页面详解
Dec 05 PHP
用php过滤危险html代码的函数
Jul 22 PHP
Godaddy空间Zend Optimizer升级方法
May 10 PHP
php统计文件大小,以GB、MB、KB、B输出
May 29 PHP
php设计模式之单例、多例设计模式的应用分析
Jun 30 PHP
PHP输出九九乘法表代码实例
Mar 27 PHP
在Linux系统下一键重新安装WordPress的脚本示例
Jun 30 PHP
PHP多维数组遍历方法(2种实现方法)
Dec 10 PHP
linux平台编译安装PHP7并安装Redis扩展与Swoole扩展实例教程
Sep 30 PHP
laravel + vue实现的数据统计绘图(今天、7天、30天数据)
Jul 31 PHP
PHP get_html_translation_table()函数用法讲解
Feb 16 PHP
PHP基于MySQL数据库实现对象持久层的方法
Jun 17 #PHP
php使用curl打开https网站的方法
Jun 17 #PHP
php使用CURL不依赖COOKIEJAR获取COOKIE的方法
Jun 17 #PHP
PHP封装的HttpClient类用法实例
Jun 17 #PHP
PHP处理postfix邮件内容的方法
Jun 16 #PHP
PHP限制HTML内容中图片必须是本站的方法
Jun 16 #PHP
php采集中国代理服务器网的方法
Jun 16 #PHP
You might like
杏林同学录(二)
2006/10/09 PHP
php生成静态html页面的方法(2种方法)
2015/09/14 PHP
PHP中ltrim()函数的用法与实例讲解
2019/03/28 PHP
解决 firefox 不支持 document.all的方法
2007/03/12 Javascript
IE event.srcElement和FF event.target 功能比较
2010/03/01 Javascript
初窥JQuery(二) 事件机制(1)
2010/11/25 Javascript
jQuery对象的length属性用法实例
2014/12/27 Javascript
js识别uc浏览器的代码
2015/11/06 Javascript
javascript字符串函数汇总
2015/12/06 Javascript
JS事件添加和移出的兼容写法示例
2016/06/20 Javascript
JavaScript实现定时页面跳转功能示例
2017/02/14 Javascript
原生nodejs使用websocket代码分享
2018/04/07 NodeJs
angularjs实现的购物金额计算工具示例
2018/05/08 Javascript
使用vue-cli导入Element UI组件的方法
2018/05/16 Javascript
[01:37]TI4西雅图DOTA2前线报道 VG拿下首胜教练357给出获胜秘诀
2014/07/10 DOTA
[42:52]Optic vs Serenity 2018国际邀请赛淘汰赛BO3 第二场 8.22
2018/08/23 DOTA
python删除特定文件的方法
2015/07/30 Python
利用Anaconda简单安装scrapy框架的方法
2018/06/13 Python
python 读写excel文件操作示例【附源码下载】
2019/06/19 Python
python版百度语音识别功能
2019/07/09 Python
python实现本地批量ping多个IP的方法示例
2019/08/07 Python
python自动保存百度盘资源到百度盘中的实例代码
2019/08/26 Python
Python PyQt5运行程序把输出信息展示到GUI图形界面上
2020/04/27 Python
Django实现随机图形验证码的示例
2020/10/15 Python
css3实现一个div设置多张背景图片及background-image属性实例演示
2017/08/10 HTML / CSS
CSS3实现自定义Checkbox特效实例代码
2017/04/24 HTML / CSS
CSS3改变浏览器滚动条样式
2019/01/04 HTML / CSS
如何用H5实现一个触屏版的轮播器的实例
2017/01/09 HTML / CSS
MIXIT官网:俄罗斯最大的化妆品公司之一
2020/01/25 全球购物
外企办公室竞聘演讲稿
2013/12/29 职场文书
简易版租房协议书范本
2014/10/13 职场文书
2015年大学生社会实践评语
2015/03/26 职场文书
2015年班干部工作总结
2015/04/29 职场文书
pytorch常用数据类型所占字节数对照表一览
2021/05/17 Python
Python源码解析之List
2021/05/21 Python
java基础——多线程
2021/07/03 Java/Android