基于php实现七牛抓取远程图片


Posted in PHP onDecember 01, 2015

由于公司网站之前的用户头像都是存储在自己的服务器上的,后来感觉管理不方便,新增加的用户头像都上传到了七牛,为了方便统一管理,领导说把本地服务器的头像全部迁移到了七牛。

1.梳理下思路

先判断用户的头像是否在七牛,若不存在,本地如果有则抓取到七牛,然后进行批量抓取

2.七牛判断图片是否存在

/**
    * 查看七牛url是否存在
    * @param string $url
    */
   function url_exists($url) {
     require_once(COMMON_PATH."qiniu/rs.php");
     require_once(COMMON_PATH."qiniu/http.php");
     $parts=parse_url($url);
     $bucket ;//桶
     $key=substr($parts['path'], );//七牛文件名
    //密钥
     $accessKey ; 
     $secretKey ;
     Qiniu_SetKeys($accessKey, $secretKey);
     $client = new Qiniu_MacHttpClient(null);
     list($ret, $err) = Qiniu_RS_Stat($client, $bucket, $key);//查看单个文件信息
     if ($err !== null) {
       return false;
     } else {
       return true;
     }
   }

3.移动单个文件到七牛

/**
    * 移动单个头像到七牛
    * @param string $remotePath 远程文件在服务器上的物理地址
    * @param string $qiniuPath 七牛文件地址
    */
   function oneFetch($remotePath,$qiniuPath){
     if(!$this->url_exists($qiniuPath) && file_exists($remotePath)){
       require_once(COMMON_PATH."qiniu/rs.php");
       require_once(COMMON_PATH."qiniu/http.php");
       require_once(COMMON_PATH."qiniu/conf.php");
       $client = new Qiniu_MacHttpClient(NULL);
       /*$accessUrl 远程文件访问地址
       *$bucket桶
       *$key 存储在七牛的文件名
       */
       $ret = Qiniu_RS_Fetch($client,$accessUrl, $bucket, $key);
       if($ret != NULL)
       {
         $errlog = 'fail.log';//写错误日志
         file_put_contents($errlog,  "{$key}\n", FILE_APPEND);
       }
       else
       {
         var_dump($ret);
       }
     }else{
       var_dump('已有头像');
     }
   }

4.批量抓取

function t(){
    header("Content-type: text/html; charset=utf-8");
    set_time_limit(0);
    $start = intval($_GET['num']);//开始位置
    $str = '';
    /*从数据库查询记录*/
    $link = mysql_connect("localhost", "root", "root") or die("error");
    $db_selected = mysql_select_db("test", $link);
    mysql_query ("SET NAMES UTF8");
    $limit = 10;//每次查询数
     $sql = "SELECT * FROM test order by id desc limit {$start},{$limit}"; 
     $result = mysql_query($sql) or die(mysql_error());
    if(mysql_num_rows($result))
    {
      while($row=mysql_fetch_assoc($result)){
          oneFetch($row['remotePath'], $row['qiniuPath']);
      }  
      $start += 10;
      $url = "/t?num={$start}";
      $str = '已经更新'.$start.'条<br />';
      $str .= '<script>location.href="'.$url.'";</script>';//更新$limit条,跳转防止脚本无响应
    }
    else
    {
      echo '结束';
    } 
    echo $str;
    ob_flush();
    flush();
    sleep(2);
    unset($sql,$result,$row);
  }

以上内容是基于php实现七牛抓取远程图片的全部内容,希望大家喜欢。

PHP 相关文章推荐
PHP中的串行化变量和序列化对象
Sep 05 PHP
用libtemplate实现静态网页生成
Oct 09 PHP
PHP逐行输出(ob_flush与flush的组合)
Feb 04 PHP
Win下如何安装PHP的APC拓展
Aug 07 PHP
ThinkPHP视图查询详解
Jun 30 PHP
php针对cookie操作的队列操作类实例
Dec 10 PHP
php实现excel中rank函数功能的方法
Jan 20 PHP
dvwa+xampp搭建显示乱码的问题及解决方案
Aug 23 PHP
PHP计算当前坐标3公里内4个角落的最大最小经纬度实例
Feb 26 PHP
自定义Laravel (monolog)日志位置,并增加请求ID的实现
Oct 17 PHP
laravel返回统一格式错误码问题
Nov 04 PHP
Yii框架组件的事件机制原理与用法分析
Apr 07 PHP
使用Huagepage和PGO来提升PHP7的执行性能
Nov 30 #PHP
深入解析PHP中foreach语句控制数组循环的用法
Nov 30 #PHP
简单了解PHP编程中数组的指针的使用
Nov 30 #PHP
PHP 微信支付类 demo
Nov 30 #PHP
PHP CURL或file_get_contents获取网页标题的代码及两者效率的稳定性问题
Nov 30 #PHP
php curl抓取网页的介绍和推广及使用CURL抓取淘宝页面集成方法
Nov 30 #PHP
PHP curl模拟登录带验证码的网站
Nov 30 #PHP
You might like
一些php技巧与注意事项分析
2011/02/03 PHP
php各种编码集详解和以及在什么情况下进行使用
2011/09/11 PHP
Yii框架使用魔术方法实现跨文件调用功能示例
2017/05/20 PHP
php中输出json对象的值(实现方法)
2018/03/07 PHP
让getElementsByName适应IE和firefox的方法
2007/09/24 Javascript
在chrome中window.onload事件的一些问题
2010/03/01 Javascript
JavaScript 继承使用分析
2011/05/12 Javascript
js 金额格式化来回转换示例
2014/02/23 Javascript
深入浅析JavaScript面向对象和原型函数
2016/02/06 Javascript
js改变css样式的三种方法推荐
2016/06/28 Javascript
footer定位页面底部(代码分享)
2017/03/07 Javascript
jQuery获取单选按钮radio选中值与去除所有radio选中状态的方法
2017/05/20 jQuery
使用vue开发移动端管理后台的注意事项
2019/03/07 Javascript
细说Vue组件的服务器端渲染的过程
2019/05/30 Javascript
使用p5.js实现动态GIF图片临摹重现
2019/10/23 Javascript
用js实现放大镜效果
2020/10/28 Javascript
[06:50]DSPL次级职业联赛十强晋级之路
2014/11/18 DOTA
[02:34]DOTA2亚洲邀请赛 BG战队出场宣传片
2015/03/09 DOTA
[37:50]VP vs TNC Supermajor小组赛B组 BO3 第一场 6.2
2018/06/03 DOTA
浅要分析Python程序与C程序的结合使用
2015/04/07 Python
Python实现将Excel转换成xml的方法示例
2018/08/25 Python
Python设计模式之代理模式实例详解
2019/01/19 Python
python 内置函数汇总详解
2019/09/16 Python
基于MSELoss()与CrossEntropyLoss()的区别详解
2020/01/02 Python
如何使用Python处理HDF格式数据及可视化问题
2020/06/24 Python
TensorFlow Autodiff自动微分详解
2020/07/06 Python
猎人靴英国官网:Hunter Boots
2017/02/02 全球购物
TALLY WEiJL法国网上商店:服装、时装及配饰
2019/08/31 全球购物
C语言中一个结构不能包含指向自己的指针吗
2012/05/25 面试题
护士辞职信范文
2014/01/19 职场文书
中国入世承诺
2014/04/01 职场文书
给老婆的检讨书(搞笑版)
2015/05/06 职场文书
公司行政管理制度范本
2015/08/05 职场文书
2016年毕业实习心得体会范文
2015/10/09 职场文书
2016年优秀共产党员先进事迹材料
2016/02/29 职场文书
2016年禁毒宣传活动总结
2016/04/05 职场文书