基于ThinkPHP5框架使用QueryList爬取并存入mysql数据库操作示例


Posted in PHP onMay 25, 2019

本文实例讲述了基于ThinkPHP5框架使用QueryList爬取并存入mysql数据库操作。分享给大家供大家参考,具体如下:

QueryList4教程 地址:

https://doc.querylist.cc/site/index/doc/45

在ThinkPHP5代码根目录执行composer命令安装QueryList:

composer require jaeger/querylist

如果出现 以下错误

Loading composer repositories with package information
Updating dependencies (including require-dev)
    Authentication required (packagist.phpcomposer.com):
      Username:

出现这样的 情况

使用

composer config -g repo.packagist composer https://packagist.laravel-china.org

下面演示在Index控制器中使用QueryList:

use QL\QueryList;
public function qulist(){
  $data = QueryList::get('http://maoyan.com/board/4')
  // 设置采集规则
  ->rules([
    // 爬取图片地址
    "src"=>array(".board-wrapper dd img.board-img","data-src"),
    // 爬取电影名
    "name"=>array(".board-wrapper dd .movie-item-info .name","html"),
    // 爬取电影主演信息
    "star"=>array(".board-wrapper dd .movie-item-info .star","html"),
    // 爬取上映时间
    "releasetime"=>array(".board-wrapper dd .movie-item-info .releasetime","html"),
  ])
  ->query()->getData();
  $excel_array=$data->all();
  var_dump($excel_array);exit;
}

如果没有错的 则

基于ThinkPHP5框架使用QueryList爬取并存入mysql数据库操作示例

如果想继续抓取下一页的数据 要根据规律来去

基于ThinkPHP5框架使用QueryList爬取并存入mysql数据库操作示例

这里我继续抓取20页 但是没有那么多就抓取了10页的数据

public function qulist(){
    for($i=0;$i<20;$i++){
      $page=$i*10;
      $data = QueryList::get('http://maoyan.com/board/4?offset='.$page)
        // 设置采集规则
        ->rules([
          // 爬取图片地址
          "src"=>array(".board-wrapper dd img.board-img","data-src"),
          // 爬取电影名
          "name"=>array(".board-wrapper dd .movie-item-info .name","html"),
          // 爬取电影主演信息
          "star"=>array(".board-wrapper dd .movie-item-info .star","html"),
          // 爬取上映时间
          "releasetime"=>array(".board-wrapper dd .movie-item-info .releasetime","html"),
        ])
        ->query()->getData();
      $excel_array=$data->all();
      var_dump($excel_array);exit;
    }
}

将数据插入到数据库 详细步骤

基于ThinkPHP5框架使用QueryList爬取并存入mysql数据库操作示例

希望本文所述对大家基于ThinkPHP框架的PHP程序设计有所帮助。

PHP 相关文章推荐
PHP去掉从word直接粘贴过来的没有用格式的函数
Oct 29 PHP
php实现保存submit内容之后禁止刷新
Mar 19 PHP
将二维数组转为一维数组的2种方法
May 26 PHP
php基于socket实现SMTP发送邮件的方法
Mar 05 PHP
使用php实现从身份证中提取生日
May 09 PHP
php同时使用session和cookie来保存用户登录信息的实现代码
May 13 PHP
php原生导出excel文件的两种方法(推荐)
Nov 19 PHP
PHP中in_array的隐式转换的解决方法
Mar 06 PHP
Laravel框架路由和控制器的绑定操作方法
Jun 12 PHP
Laravel框架实现修改登录和注册接口数据返回格式的方法
Aug 17 PHP
PHP操作XML中XPath的应用示例
Jul 04 PHP
PHP 超级全局变量相关总结
Jun 30 PHP
Yii2框架自定义类统一处理url操作示例
May 25 #PHP
Yii2框架加载css和js文件的方法分析
May 25 #PHP
php数组遍历类与用法示例
May 24 #PHP
PHP实现的操作数组类库定义与用法示例
May 24 #PHP
定位地理位置PHP判断员工打卡签到经纬度是否在打卡之内
May 23 #PHP
Swoole4.4协程抢占式调度器详解
May 23 #PHP
PHP文件上传小程序 适合初学者学习!
May 23 #PHP
You might like
PHP实现文件安全下载
2006/10/09 PHP
php 将bmp图片转为jpg等其他任意格式的图片
2009/06/29 PHP
浅谈web上存漏洞及原理分析、防范方法(安全文件上存方法)
2013/06/29 PHP
最常用的8款PHP调试工具
2014/07/06 PHP
[原创]ThinkPHP让../Public在模板不解析(直接输出)的方法
2015/10/09 PHP
PHP常用字符串函数小结(推荐)
2018/08/05 PHP
JavaScript 学习笔记(五)
2009/12/31 Javascript
Javascript 实用小技巧
2010/04/07 Javascript
用js判断页面刷新或关闭的方法(onbeforeunload与onunload事件)
2012/06/22 Javascript
JS实现div内部的文字或图片自动循环滚动代码
2013/04/19 Javascript
几种延迟加载JS代码的方法加快网页的访问速度
2013/10/12 Javascript
js表单验证实例讲解
2016/03/31 Javascript
RequireJS多页面应用实例分析
2016/06/29 Javascript
requirejs + vue 项目搭建详解
2017/06/16 Javascript
vue.js评论发布信息可插入QQ表情功能
2017/08/08 Javascript
vue-awesome-swiper 基于vue实现h5滑动翻页效果【推荐】
2018/11/08 Javascript
jQuery实现本地存储
2020/12/22 jQuery
[01:20]DOTA2 齐天大圣至宝动态展示
2016/12/13 DOTA
详解Python编程中包的概念与管理
2015/10/16 Python
Python使用Mechanize模块编写爬虫的要点解析
2016/03/31 Python
python+selenium实现京东自动登录及秒杀功能
2017/11/18 Python
Python时间戳使用和相互转换详解
2017/12/11 Python
使用Python制作新型冠状病毒实时疫情图
2020/01/28 Python
CSS3中利用animation属性创建雪花飘落特效
2014/05/14 HTML / CSS
html5 viewport使用方法示例详解
2013/12/02 HTML / CSS
印度网上药店:1mg
2017/10/13 全球购物
美国迪克体育用品商店:DICK’S Sporting Goods
2018/07/24 全球购物
爱岗敬业演讲稿范文
2014/01/14 职场文书
违反工作纪律检讨书
2014/02/15 职场文书
法制宣传口号
2014/06/16 职场文书
爱护草坪标语
2014/06/24 职场文书
大学生助学金感谢信
2015/01/21 职场文书
暑期实践个人总结
2015/03/06 职场文书
大队委员竞选稿
2015/11/20 职场文书
通过Python把学姐照片做成拼图游戏
2022/02/15 Python
CentOS 7安装mysql5.7使用XtraBackUp备份工具命令详解
2022/04/12 MySQL