CodeIgniter实现从网站抓取图片并自动下载到文件夹里的方法


Posted in PHP onJune 17, 2015

本文实例讲述了CodeIgniter实现从网站抓取图片并自动下载到文件夹里的方法。分享给大家供大家参考。具体如下:

因为某网站看图比较坑爹,要一页一页的翻页。。。。所以。。。。就写了这么个东西

(我是产品不是程序员)运行速度简直无法忍受,而且经常会有错误发生,所以希望大家帮忙改进(PHP)。

当然也欢迎看到PYTHON,GOLANG的版本~~^_^

1. controllers:

$this->load->helper('date');
$this->load->helper('phpQuery');
//我是把phpQuery单文件放到helper里了

2. view:

这里只是为了快速出产品,所以直接在VIEW里写的代码,请无视变量名。。。

<?php
$imageslist = phpQuery::newDocumentFile('http://g.e-hentai.org/g/xxxxx/xxxxxxx/');
//首页
$pn = 1;//页数
$ps = $imageslist->find('.ptt td a');//从首页抓页面导航
//从页面导航开始获取页面内容
foreach($ps as $p)
{
  echo '第'.$pn++.'页:<a href="'.pq($p)->attr("href").'"/></br>';
  $imagesnow = phpQuery::newDocumentFile(pq($p)->attr("href"));
  //单页内容
  $images = $imagesnow->find('#gdt a');//抓取图片页列表
  foreach($images as $image)
  {
    echo '<a href="'.pq($image,$imagesnow)->attr("href").'"/></br>';
    $imagebigs = phpQuery::newDocumentFile(pq($image,$imagesnow)->attr("href"));
    //获取单图片页地址
    echo '<img src="'.$imagebigs->find('#i3 img')->attr('src').'"></br>';//输出图片
    ob_start();
    readfile($imagebigs->find('#i3 img')->attr('src'));
    $img = ob_get_contents();
    ob_end_clean();
    $filename='img/'.now().'.jpg';
    $f=fopen($filename,'a');
    fwrite($f,$img);
    fclose($f);
  }
}
?>

希望本文所述对大家基于CodeIgniter的php程序设计有所帮助。

PHP 相关文章推荐
站长助手-网站web在线管理程序 v1.0 下载
May 12 PHP
IIS下PHP连接数据库提示mysql undefined function mysql_connect()
Jun 04 PHP
兼容性最强的PHP生成缩略图的函数代码(修改版)
Jan 18 PHP
获取PHP警告错误信息的解决方法
Jun 03 PHP
phpcms手机内容页面添加上一篇和下一篇
Jun 05 PHP
php解析url并得到url中的参数及获取url参数的四种方式
Oct 26 PHP
php阳历转农历优化版
Aug 08 PHP
php微信公众平台配置接口开发程序
Sep 22 PHP
php并发加锁示例
Oct 17 PHP
CI框架(CodeIgniter)操作redis的方法详解
Jan 25 PHP
PHP基于rabbitmq操作类的生产者和消费者功能示例
Jun 16 PHP
YII2框架中ActiveDataProvider与GridView的配合使用操作示例
Mar 18 PHP
PHP基于MySQL数据库实现对象持久层的方法
Jun 17 #PHP
php使用curl打开https网站的方法
Jun 17 #PHP
php使用CURL不依赖COOKIEJAR获取COOKIE的方法
Jun 17 #PHP
PHP封装的HttpClient类用法实例
Jun 17 #PHP
PHP处理postfix邮件内容的方法
Jun 16 #PHP
PHP限制HTML内容中图片必须是本站的方法
Jun 16 #PHP
php采集中国代理服务器网的方法
Jun 16 #PHP
You might like
用 PHP5 轻松解析 XML
2006/12/04 PHP
php类声明和php类使用方法示例分享
2014/03/29 PHP
Yii结合CKEditor实现图片上传功能
2014/06/13 PHP
php二维数组合并及去重复的方法
2015/03/04 PHP
PHP文件类型检查及fileinfo模块安装使用详解
2019/05/09 PHP
浅谈PHP之ThinkPHP框架使用详解
2020/07/21 PHP
你必须知道的Javascript知识点之&quot;单线程事件驱动&quot;的使用
2013/04/23 Javascript
Javascript倒计时页面跳转实例小结
2013/09/11 Javascript
jquery提交form表单时禁止重复提交的方法
2014/02/13 Javascript
JavaScript插件化开发教程 (三)
2015/01/27 Javascript
AngularJS表达式讲解及示例代码
2016/08/16 Javascript
javascript中call,apply,bind函数用法示例
2016/12/19 Javascript
Angular2的管道Pipe的使用方法
2017/11/07 Javascript
vue2.0+vuex+localStorage代办事项应用实现详解
2018/05/31 Javascript
@angular前端项目代码优化之构建Api Tree的方法
2018/12/24 Javascript
vue.js 打包时出现空白页和路径错误问题及解决方法
2019/06/26 Javascript
vue.js实现数据库的JSON数据输出渲染到html页面功能示例
2019/08/03 Javascript
Egg Vue SSR 服务端渲染数据请求与asyncData
2019/11/24 Javascript
JS如何把字符串转换成json
2020/02/21 Javascript
[02:11]2016国际邀请赛中国区预选赛最美TA采访现场玩家
2016/06/28 DOTA
记录Django开发心得
2014/07/16 Python
Python实现发送email的几种常用方法
2014/08/18 Python
Python脚本暴力破解栅栏密码
2015/10/19 Python
pandas pivot_table() 按日期分多列数据的方法
2018/11/16 Python
Python自动发送邮件的方法实例总结
2018/12/08 Python
python实现根据文件关键字进行切分为多个文件的示例
2018/12/10 Python
python计算二维矩形IOU实例
2020/01/18 Python
Django 解决model 反向引用中的related_name问题
2020/05/19 Python
Python+OpenCV图像处理——实现直线检测
2020/10/23 Python
Python实现简单猜数字游戏
2021/02/03 Python
茶叶店创业计划书范文
2014/01/19 职场文书
应用外语系自荐信
2014/06/26 职场文书
公司门卫岗位职责
2015/04/13 职场文书
活动新闻稿范文
2015/07/17 职场文书
将MySQL的表数据全量导入clichhouse库中
2022/03/21 MySQL
muduo TcpServer模块源码分析
2022/04/26 Redis