Node.js实现爬取网站图片的示例代码


Posted in NodeJs onApril 04, 2022

涉及知识点

开发一个小爬虫,涉及的知识点如下所示:

  • https模块,主要是用户获取网络资源,如:网页源码,图片资源等。
  • cheerio模块,主要用于解析html源码,并可访问,查找html节点内容。
  • fs模块,主要用于文件的读写操作,如保存图片,日志等。
  • 闭包,主要是对于异步操作,对象的隔离保护。

cheerio简介

什么是cheerio ?

cheerio是为服务器特别定制的,快速、灵活、实施的jQuery核心实现。主要用于在服务端解析html。特点如下所示:

  • 易用,语法类似jQuery语法,从jQuery库中去除了所有 DOM不一致性和浏览器尴尬的部分。
  • 解析快,比JSDOM快八倍。
  • 灵活,Cheerio 封装了兼容的htmlparser。Cheerio 几乎能够解析任何的 HTML 和 XML document。

安装cheerio

首先在命令行,切换到程序目录,然后输入安装命令进行安装,如下所示:

cnpm install cheerio

安装过程,如下所示:

Node.js实现爬取网站图片的示例代码

准备工作

在编写爬虫之前,首先需要分析目标内容,本次需要爬取的是某网站,星空类型的图片内容,经过分析,发现所有的图片都是在ul下每一个li中的a标签内的img中,本次只需要解析出img的src属性,即可获取图片的下载路径。如下所示:

Node.js实现爬取网站图片的示例代码

核心代码

经过以上分析,通过Node.js编写代码,分为两步,获取所有图片的url路径,即解析所有目标img元素的src属性。然后再下载具体图片进行保存即可。

引用所需要的功能模块,如下所示:

var https = require('https');
var cheerio = require('cheerio');
var fs = require('fs');

获取并解析html页面内容,如下所示:

//爬取的网址
var addrs=['https://www.*****.com/topic/show_27202_1.html','https://www.******.com/topic/show_27202_2.html','https://www.*****.com/topic/show_27202_3.html'];
var logger = fs.createWriteStream('./download/log.txt',{flags:'a+',autoClose:'true'});

for(i in addrs){
    (function(num){
   var addr = addrs[num];
   //创建目录
   var p1 = new Promise(function(resolve,reject){
     fs.access('./download',function(err){
       if(err){
           fs.mkdir('./download',function(e){
               if(e){
                   console.log('创建失败');
               }
           });
        }else{
            resolve("success");
        }
       });
   });

   p1.then(function(datas){
       var html='';
       var p2 = new Promise(function(resolve,reject){
           https.get(addr,function(res){
                res.on('data',function(data){
                    html+=data.toString();
                })
                res.on('end',function(){
                    resolve("success");
                });

            });

       });
      p2.then(function(data){
        //下载完成后,进行解析
        const $ =cheerio.load(html);
        var lis = $('#img-list-outer').find('li');
        for(var j=0;j<lis.length-1;j++){
            var li = lis[j];
            var src =$(li).find('a').find('img').attr('src');
            //console.log(src);
            //console.log('-------------------------');
            var imgurl='https:'+src;
            download(imgurl);
            var msg='['+j+']下载成功:'+imgurl;
            logger.write(msg+'\n');
            console.log(msg);
        }
      });
   });
   })(i);
}

注意:因为所有爬取的目标共分为3页,所以用到了循环,并且在循环中用到了闭包。

下载并保存单张图片代码,如下所示:

//下载图片
function download(imgurl){
    var p1 = new Promise(function(resolve,reject){
        https.get(imgurl,function(res){
            var imgName=imgurl.substr(imgurl.lastIndexOf('/')+1);
            var stream = fs.createWriteStream('./download/'+imgName);
            res.pipe(stream);
            setTimeout(function(){
                resolve('success');
            },300);

        });
    });
    p1.then(function(data){
        return;
    });
}

示例截图

开发完成后,运行代码,如下所示

Node.js实现爬取网站图片的示例代码

爬取的图片,保存在文件夹中,如下所示:

Node.js实现爬取网站图片的示例代码

注意:添加日志,是为了方便记录程序执行过程,对比图片和日志,便于发现问题。

到此这篇关于Node.js实现爬取网站图片的示例代码的文章就介绍到这了,更多相关Node.js爬取图片内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

NodeJs 相关文章推荐
利用NodeJS和PhantomJS抓取网站页面信息以及网站截图
Nov 18 NodeJs
基于NodeJS的前后端分离的思考与实践(三)轻量级的接口配置建模框架
Sep 26 NodeJs
Nodejs极简入门教程(二):定时器
Oct 25 NodeJs
NodeJs的优势和适合开发的程序
Aug 14 NodeJs
NodeJs读取JSON文件格式化时的注意事项
Sep 25 NodeJs
Jquery通过ajax请求NodeJS返回json数据实例
Nov 08 NodeJs
nodejs连接mongodb数据库实现增删改查
Dec 01 NodeJs
NodeJs模拟登陆正方教务
Apr 28 NodeJs
nodeJS实现路由功能实例代码
Jun 08 NodeJs
Nodejs+express+ejs简单使用实例代码
Sep 18 NodeJs
nodeJS进程管理器pm2的使用
Jan 09 NodeJs
NodeJs之word文件生成与解析的实现代码
Apr 01 NodeJs
NodeJs使用webpack打包项目的方法详解
Feb 28 #NodeJs
node快速搭建后台的实现步骤
nodejs利用readline提示输入内容实例代码
详解NodeJS模块化
NodeJs内存占用过高的排查实战记录
详解nodejs内置模块
May 06 #NodeJs
浅谈JS和Nodejs中的事件驱动
May 05 #NodeJs
You might like
删除html标签得到纯文本可处理嵌套的标签
2014/04/28 PHP
thinkPHP和onethink微信支付插件分享
2019/08/11 PHP
javascript中的array数组使用技巧
2010/01/31 Javascript
Node.js中require的工作原理浅析
2014/06/24 Javascript
Windows 系统下安装和部署Egret的开发环境
2014/07/31 Javascript
兼容最新firefox、chrome和IE的javascript图片预览实现代码
2014/08/08 Javascript
Nodejs异步回调的优雅处理方法
2014/09/25 NodeJs
JavaScript中使用Object.prototype.toString判断是否为数组
2015/04/01 Javascript
JS实现的文字与图片定时切换效果代码
2015/10/06 Javascript
JS中sort函数排序用法实例分析
2016/06/16 Javascript
ES6通过babel转码使用webpack使用import关键字
2016/12/13 Javascript
详解angular2实现ng2-router 路由和嵌套路由
2017/03/24 Javascript
vue translate peoject实现在线翻译功能【新手必看】
2018/06/07 Javascript
详解webpack的proxyTable无效的解决方案
2018/06/15 Javascript
vue利用v-for嵌套输出多层对象,分别输出到个表的方法
2018/09/07 Javascript
Vue中的$set的使用实例代码
2018/10/08 Javascript
Vue-cli3.x + axios 跨域方案踩坑指北
2019/07/04 Javascript
[46:47]完美世界DOTA2联赛PWL S2 FTD vs Magma 第二场 11.20
2020/11/23 DOTA
用python实现的去除win下文本文件头部BOM的代码
2013/02/10 Python
python 读取更新中的log 或其它文本方式
2019/12/24 Python
Python3+Selenium+Chrome实现自动填写WPS表单
2020/02/12 Python
Python Tornado批量上传图片并显示功能
2020/03/26 Python
css3动画事件—webkitAnimationEnd与计时器time事件
2013/01/31 HTML / CSS
非洲NO.1网上商店:Jumia肯尼亚
2016/08/18 全球购物
阿迪达斯意大利在线商店:adidas意大利
2016/09/19 全球购物
澳大利亚最好的电动自行车:Leon Cycle
2020/12/19 全球购物
毕业生自我鉴定范文
2013/11/08 职场文书
有关环保的标语
2014/06/13 职场文书
公务员群众路线专题民主生活会发言材料
2014/09/17 职场文书
社团个人总结范文
2015/03/05 职场文书
2015-2016年小学教导工作总结
2015/07/21 职场文书
oracle DGMGRL ORA-16603报错的解决方法(DG Broker)
2021/04/06 Oracle
这样写python注释让代码更加的优雅
2021/06/02 Python
OpenCV-Python实现轮廓的特征值
2021/06/09 Python
mysql数据库隔离级别详解
2022/06/16 MySQL
js 实现验证码输入框示例详解
2022/09/23 Javascript