基于php实现七牛抓取远程图片


Posted in PHP onDecember 01, 2015

由于公司网站之前的用户头像都是存储在自己的服务器上的,后来感觉管理不方便,新增加的用户头像都上传到了七牛,为了方便统一管理,领导说把本地服务器的头像全部迁移到了七牛。

1.梳理下思路

先判断用户的头像是否在七牛,若不存在,本地如果有则抓取到七牛,然后进行批量抓取

2.七牛判断图片是否存在

/**
    * 查看七牛url是否存在
    * @param string $url
    */
   function url_exists($url) {
     require_once(COMMON_PATH."qiniu/rs.php");
     require_once(COMMON_PATH."qiniu/http.php");
     $parts=parse_url($url);
     $bucket ;//桶
     $key=substr($parts['path'], );//七牛文件名
    //密钥
     $accessKey ; 
     $secretKey ;
     Qiniu_SetKeys($accessKey, $secretKey);
     $client = new Qiniu_MacHttpClient(null);
     list($ret, $err) = Qiniu_RS_Stat($client, $bucket, $key);//查看单个文件信息
     if ($err !== null) {
       return false;
     } else {
       return true;
     }
   }

3.移动单个文件到七牛

/**
    * 移动单个头像到七牛
    * @param string $remotePath 远程文件在服务器上的物理地址
    * @param string $qiniuPath 七牛文件地址
    */
   function oneFetch($remotePath,$qiniuPath){
     if(!$this->url_exists($qiniuPath) && file_exists($remotePath)){
       require_once(COMMON_PATH."qiniu/rs.php");
       require_once(COMMON_PATH."qiniu/http.php");
       require_once(COMMON_PATH."qiniu/conf.php");
       $client = new Qiniu_MacHttpClient(NULL);
       /*$accessUrl 远程文件访问地址
       *$bucket桶
       *$key 存储在七牛的文件名
       */
       $ret = Qiniu_RS_Fetch($client,$accessUrl, $bucket, $key);
       if($ret != NULL)
       {
         $errlog = 'fail.log';//写错误日志
         file_put_contents($errlog,  "{$key}\n", FILE_APPEND);
       }
       else
       {
         var_dump($ret);
       }
     }else{
       var_dump('已有头像');
     }
   }

4.批量抓取

function t(){
    header("Content-type: text/html; charset=utf-8");
    set_time_limit(0);
    $start = intval($_GET['num']);//开始位置
    $str = '';
    /*从数据库查询记录*/
    $link = mysql_connect("localhost", "root", "root") or die("error");
    $db_selected = mysql_select_db("test", $link);
    mysql_query ("SET NAMES UTF8");
    $limit = 10;//每次查询数
     $sql = "SELECT * FROM test order by id desc limit {$start},{$limit}"; 
     $result = mysql_query($sql) or die(mysql_error());
    if(mysql_num_rows($result))
    {
      while($row=mysql_fetch_assoc($result)){
          oneFetch($row['remotePath'], $row['qiniuPath']);
      }  
      $start += 10;
      $url = "/t?num={$start}";
      $str = '已经更新'.$start.'条<br />';
      $str .= '<script>location.href="'.$url.'";</script>';//更新$limit条,跳转防止脚本无响应
    }
    else
    {
      echo '结束';
    } 
    echo $str;
    ob_flush();
    flush();
    sleep(2);
    unset($sql,$result,$row);
  }

以上内容是基于php实现七牛抓取远程图片的全部内容,希望大家喜欢。

PHP 相关文章推荐
PHP的一个完整SMTP类(解决邮件服务器需要验证时的问题)
Oct 09 PHP
php magic_quotes_gpc的一点认识与分析
Aug 18 PHP
php垃圾代码优化操作代码
Aug 05 PHP
Windows下利用Gvim写PHP产生中文乱码问题解决方法
Apr 20 PHP
深入理解:单一入口、MVC、ORM、CURD、ActiveRecord概念
Jun 06 PHP
PHP5函数小全(分享)
Jun 06 PHP
php出租房数据管理及搜索页面
May 23 PHP
php+redis实现商城秒杀功能
Nov 19 PHP
PHP面向对象程序设计之接口的继承定义与用法详解
Dec 20 PHP
解决Laravel blade模板转义html标签的问题
Sep 03 PHP
THINKPHP5.1 Config的配置与获取详解
Jun 08 PHP
PHP实现长轮询消息实时推送功能代码实例讲解
Feb 26 PHP
使用Huagepage和PGO来提升PHP7的执行性能
Nov 30 #PHP
深入解析PHP中foreach语句控制数组循环的用法
Nov 30 #PHP
简单了解PHP编程中数组的指针的使用
Nov 30 #PHP
PHP 微信支付类 demo
Nov 30 #PHP
PHP CURL或file_get_contents获取网页标题的代码及两者效率的稳定性问题
Nov 30 #PHP
php curl抓取网页的介绍和推广及使用CURL抓取淘宝页面集成方法
Nov 30 #PHP
PHP curl模拟登录带验证码的网站
Nov 30 #PHP
You might like
windows下升级PHP到5.3.3的过程及注意事项
2010/10/12 PHP
php实现cookie加密的方法
2015/03/10 PHP
php注册和登录界面的实现案例(推荐)
2016/10/24 PHP
PHP基于正则批量替换Img中src内容实现获取缩略图的功能示例
2017/06/07 PHP
php插件Xajax使用方法详解
2017/08/31 PHP
CodeIgniter框架实现的整合Smarty引擎DEMO示例
2019/03/28 PHP
获取JavaScript用户自定义类的类名称的代码
2007/03/08 Javascript
js注意img图片的onerror事件的分析
2011/01/01 Javascript
node-webkit打包成exe文件被360误报木马的解决方法
2015/03/11 Javascript
JavaScript的Polymer框架中dom-repeat与VM的相关操作
2015/07/29 Javascript
浅谈js中StringBuffer类的实现方法及使用
2016/09/02 Javascript
Javascript oop设计模式 面向对象编程简单实例介绍
2016/12/13 Javascript
Html5+jQuery+CSS制作相册小记录
2016/12/30 Javascript
js时间查询插件使用详解
2017/04/07 Javascript
详解微信小程序 通过控制CSS实现view隐藏与显示
2017/05/24 Javascript
详解vue过滤器在v2.0版本用法
2017/06/01 Javascript
vue移动端裁剪图片结合插件Cropper的使用实例代码
2017/07/10 Javascript
微信小程序自定义组件之可清除的input组件
2018/07/17 Javascript
vue项目刷新当前页面的三种方法
2018/12/04 Javascript
nodejs npm错误Error:UNKNOWN:unknown error,mkdir 'D:\Develop\nodejs\node_global'at Error
2019/03/02 NodeJs
Vue动态生成表格的行和列
2019/07/18 Javascript
Vue实现浏览器打印功能的代码
2020/04/17 Javascript
微信小程序自定义扫码功能界面的实现代码
2020/07/02 Javascript
在python中利用GDAL对tif文件进行读写的方法
2018/11/29 Python
Python+Pyqt实现简单GUI电子时钟
2021/02/22 Python
Python 多线程,threading模块,创建子线程的两种方式示例
2019/09/29 Python
Python API自动化框架总结
2019/11/12 Python
python实现自动化报表功能(Oracle/plsql/Excel/多线程)
2019/12/02 Python
解决Python中报错TypeError: must be str, not bytes问题
2020/04/07 Python
Python pip安装第三方库实现过程解析
2020/07/09 Python
What is view? why do we have view?
2012/06/22 面试题
户外拓展活动方案
2014/02/11 职场文书
《去年的树》教学反思
2014/04/11 职场文书
格列佛游记读书笔记
2015/06/30 职场文书
golang 比较浮点数的大小方式
2021/05/02 Golang
MySQL 外连接语法之 OUTER JOIN
2022/04/09 MySQL