CodeIgniter实现从网站抓取图片并自动下载到文件夹里的方法


Posted in PHP onJune 17, 2015

本文实例讲述了CodeIgniter实现从网站抓取图片并自动下载到文件夹里的方法。分享给大家供大家参考。具体如下:

因为某网站看图比较坑爹,要一页一页的翻页。。。。所以。。。。就写了这么个东西

(我是产品不是程序员)运行速度简直无法忍受,而且经常会有错误发生,所以希望大家帮忙改进(PHP)。

当然也欢迎看到PYTHON,GOLANG的版本~~^_^

1. controllers:

$this->load->helper('date');
$this->load->helper('phpQuery');
//我是把phpQuery单文件放到helper里了

2. view:

这里只是为了快速出产品,所以直接在VIEW里写的代码,请无视变量名。。。

<?php
$imageslist = phpQuery::newDocumentFile('http://g.e-hentai.org/g/xxxxx/xxxxxxx/');
//首页
$pn = 1;//页数
$ps = $imageslist->find('.ptt td a');//从首页抓页面导航
//从页面导航开始获取页面内容
foreach($ps as $p)
{
  echo '第'.$pn++.'页:<a href="'.pq($p)->attr("href").'"/></br>';
  $imagesnow = phpQuery::newDocumentFile(pq($p)->attr("href"));
  //单页内容
  $images = $imagesnow->find('#gdt a');//抓取图片页列表
  foreach($images as $image)
  {
    echo '<a href="'.pq($image,$imagesnow)->attr("href").'"/></br>';
    $imagebigs = phpQuery::newDocumentFile(pq($image,$imagesnow)->attr("href"));
    //获取单图片页地址
    echo '<img src="'.$imagebigs->find('#i3 img')->attr('src').'"></br>';//输出图片
    ob_start();
    readfile($imagebigs->find('#i3 img')->attr('src'));
    $img = ob_get_contents();
    ob_end_clean();
    $filename='img/'.now().'.jpg';
    $f=fopen($filename,'a');
    fwrite($f,$img);
    fclose($f);
  }
}
?>

希望本文所述对大家基于CodeIgniter的php程序设计有所帮助。

PHP 相关文章推荐
桌面中心(一)创建数据库
Oct 09 PHP
PHP脚本的10个技巧(7)
Oct 09 PHP
第八节--访问方式
Nov 16 PHP
Smarty模板快速入门
Jan 04 PHP
一个比较简单的PHP 分页分组类
Dec 10 PHP
PHP数组的交集array_intersect(),array_intersect_assoc(),array_inter_key()函数的小问题
May 29 PHP
PHP zip扩展Linux下安装过程分享
May 05 PHP
mod_php、FastCGI、PHP-FPM等PHP运行方式对比
Jul 02 PHP
yii2 数据库读写分离配置示例
Feb 10 PHP
php使用mysqli和pdo扩展,测试对比连接mysql数据库的效率完整示例
May 09 PHP
php 实现银联商务H5支付的示例代码
Oct 12 PHP
PHP7 其他修改
Mar 09 PHP
PHP基于MySQL数据库实现对象持久层的方法
Jun 17 #PHP
php使用curl打开https网站的方法
Jun 17 #PHP
php使用CURL不依赖COOKIEJAR获取COOKIE的方法
Jun 17 #PHP
PHP封装的HttpClient类用法实例
Jun 17 #PHP
PHP处理postfix邮件内容的方法
Jun 16 #PHP
PHP限制HTML内容中图片必须是本站的方法
Jun 16 #PHP
php采集中国代理服务器网的方法
Jun 16 #PHP
You might like
PHP调用三种数据库的方法(2)
2006/10/09 PHP
php实现jQuery扩展函数
2009/10/30 PHP
php启用zlib压缩文件的配置方法
2013/06/12 PHP
基于php流程控制语句和循环控制语句(讲解)
2017/10/23 PHP
Confirmer JQuery确认对话框组件
2010/06/09 Javascript
ASP.NET jQuery 实例15 通过控件CustomValidator验证CheckBoxList
2012/02/03 Javascript
解析JavaScript中的不可见数据类型
2013/12/02 Javascript
JS小游戏之象棋暗棋源码详解
2014/09/25 Javascript
Jquery中Event对象属性小结
2015/02/27 Javascript
JS 实现计算器详解及实例代码(一)
2017/01/08 Javascript
详解axios 全攻略之基本介绍与使用(GET 与 POST)
2017/09/15 Javascript
基于Vue的商品主图放大镜方案详解
2019/09/19 Javascript
vue+vant-UI框架实现购物车的复选框全选和反选功能
2019/11/05 Javascript
如何利用Node.js与JSON搭建简单的动态服务器
2020/06/16 Javascript
vuex实现购物车的增加减少移除
2020/06/28 Javascript
微信小程序自定义底部弹出框功能
2020/11/18 Javascript
python自动化测试之从命令行运行测试用例with verbosity
2014/09/28 Python
Python使用sqlalchemy模块连接数据库操作示例
2019/03/13 Python
python笔记_将循环内容在一行输出的方法
2019/08/08 Python
美国新兴城市生活方式零售商:VILLA
2017/12/06 全球购物
印度最大的时尚购物网站:Myntra
2018/09/13 全球购物
瑞士设计师家具和家居饰品网上商店:Bruno Wickart
2019/03/18 全球购物
判断单链表中是否存在环
2012/07/16 面试题
JAVA和C++区别都有哪些
2015/03/30 面试题
销售文员的岗位职责
2013/11/20 职场文书
工厂实习感言
2014/01/14 职场文书
社区党员先进事迹
2014/01/22 职场文书
开业庆典主持词
2014/03/21 职场文书
大班开学家长寄语
2014/04/04 职场文书
教师一岗双责责任书
2014/04/16 职场文书
孩子教育的心得体会
2014/09/01 职场文书
党员干部群众路线教育实践活动个人对照检查材料
2014/09/23 职场文书
小学教育见习报告
2014/10/31 职场文书
违反纪律检讨书范文
2015/05/07 职场文书
社会实践活动总结格式
2015/05/11 职场文书
如果用一句诗总结你的上半年,你会用哪句呢?
2019/07/16 职场文书