CodeIgniter实现从网站抓取图片并自动下载到文件夹里的方法


Posted in PHP onJune 17, 2015

本文实例讲述了CodeIgniter实现从网站抓取图片并自动下载到文件夹里的方法。分享给大家供大家参考。具体如下:

因为某网站看图比较坑爹,要一页一页的翻页。。。。所以。。。。就写了这么个东西

(我是产品不是程序员)运行速度简直无法忍受,而且经常会有错误发生,所以希望大家帮忙改进(PHP)。

当然也欢迎看到PYTHON,GOLANG的版本~~^_^

1. controllers:

$this->load->helper('date');
$this->load->helper('phpQuery');
//我是把phpQuery单文件放到helper里了

2. view:

这里只是为了快速出产品,所以直接在VIEW里写的代码,请无视变量名。。。

<?php
$imageslist = phpQuery::newDocumentFile('http://g.e-hentai.org/g/xxxxx/xxxxxxx/');
//首页
$pn = 1;//页数
$ps = $imageslist->find('.ptt td a');//从首页抓页面导航
//从页面导航开始获取页面内容
foreach($ps as $p)
{
  echo '第'.$pn++.'页:<a href="'.pq($p)->attr("href").'"/></br>';
  $imagesnow = phpQuery::newDocumentFile(pq($p)->attr("href"));
  //单页内容
  $images = $imagesnow->find('#gdt a');//抓取图片页列表
  foreach($images as $image)
  {
    echo '<a href="'.pq($image,$imagesnow)->attr("href").'"/></br>';
    $imagebigs = phpQuery::newDocumentFile(pq($image,$imagesnow)->attr("href"));
    //获取单图片页地址
    echo '<img src="'.$imagebigs->find('#i3 img')->attr('src').'"></br>';//输出图片
    ob_start();
    readfile($imagebigs->find('#i3 img')->attr('src'));
    $img = ob_get_contents();
    ob_end_clean();
    $filename='img/'.now().'.jpg';
    $f=fopen($filename,'a');
    fwrite($f,$img);
    fclose($f);
  }
}
?>

希望本文所述对大家基于CodeIgniter的php程序设计有所帮助。

PHP 相关文章推荐
php设计模式 Delegation(委托模式)
Jun 26 PHP
PHP设计模式之装饰者模式
Feb 29 PHP
php实现的简易扫雷游戏实例
Jul 09 PHP
实例详解PHP中html word 互转的方法
Jan 28 PHP
PHP指定截取字符串中的中英文或数字字符的实例分享
Mar 18 PHP
zen_cart实现支付前生成订单的方法
May 06 PHP
php通过两层过滤获取留言内容的方法
Jul 11 PHP
php安装ssh2扩展的方法【Linux平台】
Jul 20 PHP
php中get_magic_quotes_gpc()函数说明
Feb 06 PHP
php数组指针操作详解
Feb 14 PHP
Paypal实现循环扣款(订阅)功能
Mar 23 PHP
PHP实现小程序批量通知推送
Nov 27 PHP
PHP基于MySQL数据库实现对象持久层的方法
Jun 17 #PHP
php使用curl打开https网站的方法
Jun 17 #PHP
php使用CURL不依赖COOKIEJAR获取COOKIE的方法
Jun 17 #PHP
PHP封装的HttpClient类用法实例
Jun 17 #PHP
PHP处理postfix邮件内容的方法
Jun 16 #PHP
PHP限制HTML内容中图片必须是本站的方法
Jun 16 #PHP
php采集中国代理服务器网的方法
Jun 16 #PHP
You might like
PHP中addslashes()和stripslashes()实现字符串转义和还原用法实例
2016/01/07 PHP
javascript 动态调整图片尺寸实现代码
2009/12/28 Javascript
解决iframe的frameborder在chrome/ff/ie下的差异
2010/08/12 Javascript
理解Javascript_05_原型继承原理
2010/10/13 Javascript
JavaScript版DateAdd和DateDiff函数代码
2012/03/01 Javascript
js取消单选按钮选中示例代码
2013/11/14 Javascript
JS动态添加Table的TR,TD实现方法
2015/01/28 Javascript
JavaScript实现向setTimeout执行代码传递参数的方法
2015/04/16 Javascript
不得不分享的JavaScript常用方法函数集(上)
2015/12/23 Javascript
微信小程序 devtool隐藏的秘密
2017/01/21 Javascript
bootstrap模态框弹出和隐藏,动态改变中间内容的实例
2018/08/10 Javascript
关于vue v-for 循环问题(一行显示四个,每一行的最右边那个计算属性)
2018/09/04 Javascript
Vue组件之单向数据流的解决方法
2018/11/10 Javascript
JS使用Dijkstra算法求解最短路径
2019/01/17 Javascript
Vue Cli 3项目使用融云IM实现聊天功能的方法
2019/04/19 Javascript
解决vue-router 二级导航默认选中某一选项的问题
2019/11/01 Javascript
python命令行参数解析OptionParser类用法实例
2014/10/09 Python
python中split方法用法分析
2015/04/17 Python
21行Python代码实现拼写检查器
2016/01/25 Python
Python实现的特征提取操作示例
2018/12/03 Python
pycharm配置当鼠标悬停时快速提示方法参数
2019/07/31 Python
python 利用pywifi模块实现连接网络破解wifi密码实时监控网络
2019/09/16 Python
分享PyCharm的几个使用技巧
2019/11/10 Python
numpy ndarray 取出满足特定条件的某些行实例
2019/12/05 Python
Python numpy多维数组实现原理详解
2020/03/10 Python
Django Form设置文本框为readonly操作
2020/07/03 Python
英国时尚服饰电商:Boohoo
2017/10/12 全球购物
奢华时尚的独特视角:La Garçonne
2018/06/07 全球购物
Rentalcars.com中国:世界上最大的在线汽车租赁服务
2019/08/22 全球购物
工商管理专业实习生自我鉴定
2013/09/29 职场文书
物理系毕业生自荐信
2013/11/01 职场文书
教育学专业实习生的自我鉴定
2013/11/26 职场文书
红领巾心向党广播稿
2014/01/19 职场文书
音乐课《小猫钓鱼》教学反思
2016/02/18 职场文书
Python time库的时间时钟处理
2021/05/02 Python
IDEA中sout快捷键无效问题的解决方法
2022/07/23 Java/Android