基于ThinkPHP5框架使用QueryList爬取并存入mysql数据库操作示例


Posted in PHP onMay 25, 2019

本文实例讲述了基于ThinkPHP5框架使用QueryList爬取并存入mysql数据库操作。分享给大家供大家参考,具体如下:

QueryList4教程 地址:

https://doc.querylist.cc/site/index/doc/45

在ThinkPHP5代码根目录执行composer命令安装QueryList:

composer require jaeger/querylist

如果出现 以下错误

Loading composer repositories with package information
Updating dependencies (including require-dev)
    Authentication required (packagist.phpcomposer.com):
      Username:

出现这样的 情况

使用

composer config -g repo.packagist composer https://packagist.laravel-china.org

下面演示在Index控制器中使用QueryList:

use QL\QueryList;
public function qulist(){
  $data = QueryList::get('http://maoyan.com/board/4')
  // 设置采集规则
  ->rules([
    // 爬取图片地址
    "src"=>array(".board-wrapper dd img.board-img","data-src"),
    // 爬取电影名
    "name"=>array(".board-wrapper dd .movie-item-info .name","html"),
    // 爬取电影主演信息
    "star"=>array(".board-wrapper dd .movie-item-info .star","html"),
    // 爬取上映时间
    "releasetime"=>array(".board-wrapper dd .movie-item-info .releasetime","html"),
  ])
  ->query()->getData();
  $excel_array=$data->all();
  var_dump($excel_array);exit;
}

如果没有错的 则

基于ThinkPHP5框架使用QueryList爬取并存入mysql数据库操作示例

如果想继续抓取下一页的数据 要根据规律来去

基于ThinkPHP5框架使用QueryList爬取并存入mysql数据库操作示例

这里我继续抓取20页 但是没有那么多就抓取了10页的数据

public function qulist(){
    for($i=0;$i<20;$i++){
      $page=$i*10;
      $data = QueryList::get('http://maoyan.com/board/4?offset='.$page)
        // 设置采集规则
        ->rules([
          // 爬取图片地址
          "src"=>array(".board-wrapper dd img.board-img","data-src"),
          // 爬取电影名
          "name"=>array(".board-wrapper dd .movie-item-info .name","html"),
          // 爬取电影主演信息
          "star"=>array(".board-wrapper dd .movie-item-info .star","html"),
          // 爬取上映时间
          "releasetime"=>array(".board-wrapper dd .movie-item-info .releasetime","html"),
        ])
        ->query()->getData();
      $excel_array=$data->all();
      var_dump($excel_array);exit;
    }
}

将数据插入到数据库 详细步骤

基于ThinkPHP5框架使用QueryList爬取并存入mysql数据库操作示例

希望本文所述对大家基于ThinkPHP框架的PHP程序设计有所帮助。

PHP 相关文章推荐
PHP生成网页快照 不用COM不用扩展.
Feb 11 PHP
php将数据库导出成excel的方法
May 07 PHP
php配置php-fpm启动参数及配置详解
Nov 04 PHP
PHP内存缓存Memcached类实例
Dec 08 PHP
CI操作cookie的方法分析(基于helper类库)
Mar 28 PHP
apache php mysql开发环境安装教程
Jul 28 PHP
php操纵mysqli数据库的实现方法
Sep 18 PHP
php实现支持中文的文件下载功能示例
Aug 30 PHP
[原创]php token使用与验证示例【测试可用】
Aug 30 PHP
PHP ADODB生成HTML表格函数rs2html功能【附错误处理函数用法】
May 29 PHP
PHP的mysqli_rollback()函数讲解
Jan 23 PHP
php curl发送请求实例方法
Aug 01 PHP
Yii2框架自定义类统一处理url操作示例
May 25 #PHP
Yii2框架加载css和js文件的方法分析
May 25 #PHP
php数组遍历类与用法示例
May 24 #PHP
PHP实现的操作数组类库定义与用法示例
May 24 #PHP
定位地理位置PHP判断员工打卡签到经纬度是否在打卡之内
May 23 #PHP
Swoole4.4协程抢占式调度器详解
May 23 #PHP
PHP文件上传小程序 适合初学者学习!
May 23 #PHP
You might like
php mssql扩展SQL查询中文字段名解决方法
2012/10/15 PHP
php中将一个对象保存到Session中的方法
2015/03/13 PHP
php计算多维数组中所有值总和的方法
2015/06/24 PHP
PHP操作FTP类 (上传、下载、移动、创建等)
2016/03/31 PHP
ECSHOP完美解决Deprecated: preg_replace()报错的问题
2016/05/17 PHP
在Laravel中使用DataTables插件的方法
2018/05/29 PHP
兼容多浏览器的字幕特效Marquee的通用js类
2008/07/20 Javascript
jQuery Deferred和Promise创建响应式应用程序详细介绍
2013/03/05 Javascript
通过上下左右键和回车键切换光标实现代码
2013/03/08 Javascript
使用jQuery插件创建常规模态窗口登陆效果
2013/08/23 Javascript
jquery跨域请求示例分享(jquery发送ajax请求)
2014/03/25 Javascript
jQuery.parseJSON(json)将JSON字符串转换成js对象
2014/07/27 Javascript
JavaScript检测实例属性, 原型属性
2015/02/04 Javascript
javascript限制文本框输入值类型的方法
2015/05/07 Javascript
谈谈jQuery Ajax用法详解
2015/11/27 Javascript
javascript js 操作数组 增删改查的简单实现
2016/06/20 Javascript
Bootstrap 中data-[*] 属性的整理
2018/03/13 Javascript
详解Vue.js项目API、Router配置拆分实践
2018/03/16 Javascript
vue中获取滚动table的可视页面宽度调整表头与列对齐(每列宽度不都相同)
2019/08/17 Javascript
javascript 原型与原型链的理解及实例分析
2019/11/23 Javascript
js实现select下拉框选择
2020/01/11 Javascript
[01:03:09]完美世界DOTA2联赛PWL S2 Forest vs SZ 第二场 11.25
2020/11/26 DOTA
[41:17]完美世界DOTA2联赛PWL S3 access vs CPG 第二场 12.13
2020/12/17 DOTA
python 示例分享---逻辑推理编程解决八皇后
2014/07/20 Python
Eclipse和PyDev搭建完美Python开发环境教程(Windows篇)
2016/11/16 Python
python的Crypto模块实现AES加密实例代码
2018/01/22 Python
PyQt5基本控件使用详解:单选按钮、复选框、下拉框
2019/08/05 Python
利用python画出AUC曲线的实例
2020/02/28 Python
基于python实现数组格式参数加密计算
2020/04/21 Python
Numpy 多维数据数组的实现
2020/06/18 Python
详解python变量与数据类型
2020/08/25 Python
在终端启动Python时报错的解决方案
2020/11/20 Python
整理HTML5中支持的URL编码与字符编码
2016/02/23 HTML / CSS
韩国江南富人区高端时尚百货商场:Galleria(格乐丽雅)
2018/03/27 全球购物
创建索引时需要注意的事项
2013/05/13 面试题
学生会干部任命书
2015/09/21 职场文书