基于node.js制作简单爬虫教程


Posted in Javascript onJune 29, 2017

前言:最近想学习node.js,突然在网上看到基于node的爬虫制作教程,所以简单学习了一下,把这篇文章分享给同样初学node.js的朋友。

目标:爬取 http://tweixin.yueyishujia.com/webapp/build/html/ 网站的所有门店发型师的基本信息。

思路:访问上述网站,通过chrome浏览器的network对网页内容分析,找到获取各个门店发型师的接口,对参数及返回数据进行分析,遍历所有门店的所有发型师,直到遍历完毕,同事将信息存储到本地。

步骤一:安装node.js

下载并安装node,此步骤比较简单就不详细解释了,有问题的可以直接问一下度娘。

步骤二:建立工程

1)打开dos命令条,cd进入想要创建项目的路径(我将此项目直接放在了E盘,以下皆以此路径为例);

2)mkdir node (创建一个文件夹用来存放项目,我这里取名为node);

3)cd 进入名为node的文件夹,并执行npm init初始化工程(期间会让填写一些信息,我是直接回车的);

步骤三:创建爬取到的数据存放的文件夹

1)创建data文件夹用来存放发型师基本信息;

2)创建image文件夹用来存储发型师头像图片;

此时工程下文件如下: 

基于node.js制作简单爬虫教程

步骤四:安装第三方依赖包(fs是内置模块,不需要单独安装)

1)npm install cheerio ?save

2)npm install superagent ?save

3)npm install async ?save

4)npm install request ?save

分别简单解释一下上面安装的依赖包:

cheerio:是nodejs的抓取页面模块,为服务器特别定制的,快速、灵活、实施的jQuery核心实现,则能够对请求结果进行解析,解析方式和jQuery的解析方式几乎完全相同;

superagent:能够实现主动发起get/post/delete等请求;

async:async模块是为了解决嵌套金字塔,和异步流程控制而生,由于nodejs是异步编程模型,有一些在同步编程中很容易做到的事情,现在却变得很麻烦。Async的流程控制就是为了简化这些操作;

request:有了这个模块,http请求变的超简单,Request使用简单,同时支持https和重定向; 

步骤五:编写爬虫程序代码

打开hz.js,编写代码:

var superagent = require('superagent'); 
var cheerio = require('cheerio');
var async = require('async');
var fs = require('fs');
var request = require('request');
var page=1; //获取发型师处有分页功能,所以用该变量控制分页
var num = 0;//爬取到的信息总条数
var storeid = 1;//门店ID
console.log('爬虫程序开始运行......');

function fetchPage(x) {   //封装函数
  startRequest(x); 
}
function startRequest(x) {

  superagent
    .post('http://tweixin.yueyishujia.com/v2/store/designer.json')
    .send({ 
      // 请求的表单信息Form data
      page : x, 
      storeid : storeid
    })
      // Http请求的Header信息
    .set('Accept', 'application/json, text/javascript, */*; q=0.01')
    .set('Content-Type','application/x-www-form-urlencoded; charset=UTF-8')
    .end(function(err, res){     
      // 请求返回后的处理
      // 将response中返回的结果转换成JSON对象
      if(err){
        console.log(err);
      }else{
        var designJson = JSON.parse(res.text);
        var deslist = designJson.data.designerlist;
        if(deslist.length > 0){
          num += deslist.length;
          // 并发遍历deslist对象
          async.mapLimit(deslist, 5, 
            function (hair, callback) {
            // 对每个对象的处理逻辑
               console.log('...正在抓取数据ID:'+hair.id+'----发型师:'+hair.name);
               saveImg(hair,callback);
            }, 
            function (err, result) {
              console.log('...累计抓取的信息数→→' + num);
            }
          );
          page++;
          fetchPage(page);
        }else{
          if(page == 1){
            console.log('...爬虫程序运行结束~~~~~~~');
            console.log('...本次共爬取数据'+num+'条...');
            return;
          }
          storeid += 1;
          page = 1;
          fetchPage(page);
        }
      }
    });
} 
fetchPage(page);
function saveImg(hair,callback){
  // 存储图片
  var img_filename = hair.store.name+'-'+hair.name + '.png';

  var img_src = 'http://photo.yueyishujia.com:8112' + hair.avatar; //获取图片的url

  //采用request模块,向服务器发起一次请求,获取图片资源
  request.head(img_src,function(err,res,body){
    if(err){
      console.log(err);
    }else{
        request(img_src).pipe(fs.createWriteStream('./image/' + img_filename));   //通过流的方式,把图片写到本地/image目录下,并用发型师的姓名和所属门店作为图片的名称。
        console.log('...存储id='+hair.id+'相关图片成功!');
    }
  });
  // 存储照片相关信息
  var html = '姓名:'+hair.name+'<br>职业:'+hair.jobtype+'<br>职业等级:'+hair.jobtitle+'<br>简介:'+hair.simpleinfo+'<br>个性签名:'+hair.info+'<br>剪发价格:'+hair.cutmoney+'元<br>店名:'+hair.store.name+'<br>地址:'+hair.store.location+'<br>联系方式:'+hair.telephone+'<br>头像:<img src='+img_src+' style="width:200px;height:200px;">';
  fs.appendFile('./data/' +hair.store.name+'-'+ hair.name + '.html', html, 'utf-8', function (err) {
    if (err) {
      console.log(err);
    }
  });
  callback(null, hair);
}

步骤六:运行爬虫程序

输入node hz.js命令运行爬虫程序,效果图如下:

基于node.js制作简单爬虫教程

运行成功后,发型师基本信息以html文件的形式存储在data文件夹中,发型师头像图片存储在image文件夹下:

基于node.js制作简单爬虫教程

基于node.js制作简单爬虫教程

 后记:到此一款基于node.js制作的简单爬虫就大功告成了,由于我也是初学者,好多地方也不是很理解,但好在是自己完成了,不足之处敬请谅解。

代码下载地址:https://github.com/yanglei0323/nodeCrawler

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Javascript 相关文章推荐
HTML 自动伸缩的表格Table js实现
Apr 01 Javascript
js String对象中常用方法小结(字符串操作)
Jan 27 Javascript
JavaScript分析、压缩工具JavaScript Analyser
Dec 31 Javascript
JQuery+CSS实现图片上放置按钮的方法
May 29 Javascript
基于JavaScript实现弹出框效果
Feb 19 Javascript
jQuery实现HTML表格单元格的合并功能
Apr 06 Javascript
利用js来实现缩略语列表、文献来源链接和快捷键列表
Dec 16 Javascript
JavaScript30 一个月纯 JS 挑战中文指南(英文全集)
Jul 23 Javascript
JS实现百度网盘任意文件强制下载功能
Aug 31 Javascript
详解json串反转义(消除反斜杠)
Aug 12 Javascript
微信小程序自定义弹出模态框禁止底部滚动功能
Mar 09 Javascript
mpvue 项目初始化及实现授权登录的实现方法
Jul 20 Javascript
JavaScript算法教程之sku(库存量单位)详解
Jun 29 #Javascript
详解webpack自动生成html页面
Jun 29 #Javascript
JS判断Android、iOS或浏览器的多种方法(四种方法)
Jun 29 #Javascript
详解webpack分包及异步加载套路
Jun 29 #Javascript
JavaScript之map reduce_动力节点Java学院整理
Jun 29 #Javascript
Angular 2 ngForm中的ngModel、[ngModel]和[(ngModel)]的写法
Jun 29 #Javascript
JavaScript之iterable_动力节点Java学院整理
Jun 29 #Javascript
You might like
编写安全 PHP应用程序的七个习惯深入分析
2013/06/08 PHP
php网页病毒清除类
2014/12/08 PHP
php中heredoc与nowdoc介绍
2014/12/25 PHP
php单元测试phpunit入门实例教程
2017/11/17 PHP
Prototype 学习 工具函数学习($方法)
2009/07/12 Javascript
随窗体滑动的小插件sticky源码
2013/06/21 Javascript
javascript正则匹配汉字、数字、字母、下划线
2014/04/10 Javascript
基于NodeJS的前后端分离的思考与实践(三)轻量级的接口配置建模框架
2014/09/26 NodeJs
JS简单实现移动端日历功能示例
2016/12/28 Javascript
详细AngularJs4的图片剪裁组件的实例
2017/07/12 Javascript
vue-cli3 从搭建到优化的详细步骤
2019/01/20 Javascript
微信小程序实现商城倒计时
2020/11/01 Javascript
keep-alive保持组件状态的方法
2020/12/02 Javascript
[15:35]教你分分钟做大人:天怒法师
2014/10/30 DOTA
Python 字典与字符串的互转实例
2017/01/13 Python
Python爬虫beautifulsoup4常用的解析方法总结
2019/02/25 Python
python数据归一化及三种方法详解
2019/08/06 Python
使用Python快乐学数学Github万星神器Manim简介
2019/08/07 Python
python多线程并发及测试框架案例
2019/10/15 Python
python 实现人和电脑猜拳的示例代码
2020/03/02 Python
win10从零安装配置pytorch全过程图文详解
2020/05/08 Python
浅谈numpy中函数resize与reshape,ravel与flatten的区别
2020/06/18 Python
Python中用xlwt制作表格实例讲解
2020/11/05 Python
CSS3圆角和渐变2种常用功能详解
2016/01/06 HTML / CSS
H5最强接口之canvas实现动态图形功能
2019/05/31 HTML / CSS
北美最大的手工艺品零售商之一:Michaels Stores
2019/02/27 全球购物
英国在线发型和美容产品商店:Beauty Cutie
2019/04/27 全球购物
匡威俄罗斯官网:Converse俄罗斯
2020/05/09 全球购物
优秀党支部事迹材料
2014/01/14 职场文书
运动会开幕式邀请函
2014/02/03 职场文书
外贸员简历中的自我评价
2014/03/04 职场文书
忠诚教育心得体会
2014/09/03 职场文书
授权收款委托书
2014/09/23 职场文书
个人剖析材料及整改措施
2014/10/07 职场文书
浅谈Python项目的服务器部署
2021/04/25 Python
MySQL 覆盖索引的优点
2021/05/19 MySQL