基于node.js制作简单爬虫教程


Posted in Javascript onJune 29, 2017

前言:最近想学习node.js,突然在网上看到基于node的爬虫制作教程,所以简单学习了一下,把这篇文章分享给同样初学node.js的朋友。

目标:爬取 http://tweixin.yueyishujia.com/webapp/build/html/ 网站的所有门店发型师的基本信息。

思路:访问上述网站,通过chrome浏览器的network对网页内容分析,找到获取各个门店发型师的接口,对参数及返回数据进行分析,遍历所有门店的所有发型师,直到遍历完毕,同事将信息存储到本地。

步骤一:安装node.js

下载并安装node,此步骤比较简单就不详细解释了,有问题的可以直接问一下度娘。

步骤二:建立工程

1)打开dos命令条,cd进入想要创建项目的路径(我将此项目直接放在了E盘,以下皆以此路径为例);

2)mkdir node (创建一个文件夹用来存放项目,我这里取名为node);

3)cd 进入名为node的文件夹,并执行npm init初始化工程(期间会让填写一些信息,我是直接回车的);

步骤三:创建爬取到的数据存放的文件夹

1)创建data文件夹用来存放发型师基本信息;

2)创建image文件夹用来存储发型师头像图片;

此时工程下文件如下: 

基于node.js制作简单爬虫教程

步骤四:安装第三方依赖包(fs是内置模块,不需要单独安装)

1)npm install cheerio ?save

2)npm install superagent ?save

3)npm install async ?save

4)npm install request ?save

分别简单解释一下上面安装的依赖包:

cheerio:是nodejs的抓取页面模块,为服务器特别定制的,快速、灵活、实施的jQuery核心实现,则能够对请求结果进行解析,解析方式和jQuery的解析方式几乎完全相同;

superagent:能够实现主动发起get/post/delete等请求;

async:async模块是为了解决嵌套金字塔,和异步流程控制而生,由于nodejs是异步编程模型,有一些在同步编程中很容易做到的事情,现在却变得很麻烦。Async的流程控制就是为了简化这些操作;

request:有了这个模块,http请求变的超简单,Request使用简单,同时支持https和重定向; 

步骤五:编写爬虫程序代码

打开hz.js,编写代码:

var superagent = require('superagent'); 
var cheerio = require('cheerio');
var async = require('async');
var fs = require('fs');
var request = require('request');
var page=1; //获取发型师处有分页功能,所以用该变量控制分页
var num = 0;//爬取到的信息总条数
var storeid = 1;//门店ID
console.log('爬虫程序开始运行......');

function fetchPage(x) {   //封装函数
  startRequest(x); 
}
function startRequest(x) {

  superagent
    .post('http://tweixin.yueyishujia.com/v2/store/designer.json')
    .send({ 
      // 请求的表单信息Form data
      page : x, 
      storeid : storeid
    })
      // Http请求的Header信息
    .set('Accept', 'application/json, text/javascript, */*; q=0.01')
    .set('Content-Type','application/x-www-form-urlencoded; charset=UTF-8')
    .end(function(err, res){     
      // 请求返回后的处理
      // 将response中返回的结果转换成JSON对象
      if(err){
        console.log(err);
      }else{
        var designJson = JSON.parse(res.text);
        var deslist = designJson.data.designerlist;
        if(deslist.length > 0){
          num += deslist.length;
          // 并发遍历deslist对象
          async.mapLimit(deslist, 5, 
            function (hair, callback) {
            // 对每个对象的处理逻辑
               console.log('...正在抓取数据ID:'+hair.id+'----发型师:'+hair.name);
               saveImg(hair,callback);
            }, 
            function (err, result) {
              console.log('...累计抓取的信息数→→' + num);
            }
          );
          page++;
          fetchPage(page);
        }else{
          if(page == 1){
            console.log('...爬虫程序运行结束~~~~~~~');
            console.log('...本次共爬取数据'+num+'条...');
            return;
          }
          storeid += 1;
          page = 1;
          fetchPage(page);
        }
      }
    });
} 
fetchPage(page);
function saveImg(hair,callback){
  // 存储图片
  var img_filename = hair.store.name+'-'+hair.name + '.png';

  var img_src = 'http://photo.yueyishujia.com:8112' + hair.avatar; //获取图片的url

  //采用request模块,向服务器发起一次请求,获取图片资源
  request.head(img_src,function(err,res,body){
    if(err){
      console.log(err);
    }else{
        request(img_src).pipe(fs.createWriteStream('./image/' + img_filename));   //通过流的方式,把图片写到本地/image目录下,并用发型师的姓名和所属门店作为图片的名称。
        console.log('...存储id='+hair.id+'相关图片成功!');
    }
  });
  // 存储照片相关信息
  var html = '姓名:'+hair.name+'<br>职业:'+hair.jobtype+'<br>职业等级:'+hair.jobtitle+'<br>简介:'+hair.simpleinfo+'<br>个性签名:'+hair.info+'<br>剪发价格:'+hair.cutmoney+'元<br>店名:'+hair.store.name+'<br>地址:'+hair.store.location+'<br>联系方式:'+hair.telephone+'<br>头像:<img src='+img_src+' style="width:200px;height:200px;">';
  fs.appendFile('./data/' +hair.store.name+'-'+ hair.name + '.html', html, 'utf-8', function (err) {
    if (err) {
      console.log(err);
    }
  });
  callback(null, hair);
}

步骤六:运行爬虫程序

输入node hz.js命令运行爬虫程序,效果图如下:

基于node.js制作简单爬虫教程

运行成功后,发型师基本信息以html文件的形式存储在data文件夹中,发型师头像图片存储在image文件夹下:

基于node.js制作简单爬虫教程

基于node.js制作简单爬虫教程

 后记:到此一款基于node.js制作的简单爬虫就大功告成了,由于我也是初学者,好多地方也不是很理解,但好在是自己完成了,不足之处敬请谅解。

代码下载地址:https://github.com/yanglei0323/nodeCrawler

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Javascript 相关文章推荐
用Jquery实现可编辑表格并用AJAX提交到服务器修改数据
Dec 27 Javascript
ASP 过滤数组重复数据函数(加强版)
May 31 Javascript
JS左右无缝滚动(一般方法+面向对象方法)
Aug 17 Javascript
javascript判断两个IP地址是否在同一个网段的实现思路
Dec 13 Javascript
微信小程序获取手机号授权用户登录功能
Nov 09 Javascript
JS+canvas画一个圆锥实例代码
Dec 13 Javascript
MUI 实现侧滑菜单及其主体部分上下滑动的方法
Jan 25 Javascript
基于JavaScript实现瀑布流布局
Aug 15 Javascript
JS中数据结构与算法---排序算法(Sort Algorithm)实例详解
Jun 17 Javascript
iview form清除校验状态的实现
Sep 19 Javascript
微信小程序实现canvas分享朋友圈海报
Jun 21 Javascript
vue data对象重新赋值无效(未更改)的解决方式
Jul 24 Javascript
JavaScript算法教程之sku(库存量单位)详解
Jun 29 #Javascript
详解webpack自动生成html页面
Jun 29 #Javascript
JS判断Android、iOS或浏览器的多种方法(四种方法)
Jun 29 #Javascript
详解webpack分包及异步加载套路
Jun 29 #Javascript
JavaScript之map reduce_动力节点Java学院整理
Jun 29 #Javascript
Angular 2 ngForm中的ngModel、[ngModel]和[(ngModel)]的写法
Jun 29 #Javascript
JavaScript之iterable_动力节点Java学院整理
Jun 29 #Javascript
You might like
MySQL授权问题总结
2007/05/06 PHP
用php实现百度网盘图片直链的代码分享
2012/11/01 PHP
PHP系统命令函数使用分析
2013/07/05 PHP
Laravel 5框架学习之数据库迁移(Migrations)
2015/04/08 PHP
Yii框架函数简单用法分析
2019/09/09 PHP
laravel按天、按小时,查询数据的实例
2019/10/09 PHP
得到文本框选中的文字,动态插入文字的js代码
2007/03/07 Javascript
Prototype Function对象 学习
2009/07/12 Javascript
JQuery通过Ajax提交表单并返回结果
2011/07/31 Javascript
js解析xml字符串和xml文档实现原理及代码(针对ie与火狐)
2013/02/02 Javascript
JS实现日期时间动态显示的方法
2015/12/07 Javascript
Sea.JS知识总结
2016/05/05 Javascript
Javascript发送AJAX请求实例代码
2016/08/21 Javascript
Javascript中的getter和setter初识
2017/08/17 Javascript
JS手机端touch事件计算滑动距离的方法示例
2017/10/26 Javascript
jQuery 禁止表单用户名、密码自动填充功能
2017/10/30 jQuery
JS实现带导航城市列表以及输入搜索功能
2018/01/04 Javascript
Node.js搭建WEB服务器的示例代码
2018/08/15 Javascript
vue实现后台管理权限系统及顶栏三级菜单显示功能
2019/06/19 Javascript
微信小程序实现手势滑动卡片效果
2019/08/26 Javascript
Layui 导航默认展开和菜单栏选中高亮设置的方法
2019/09/04 Javascript
[05:23]DOTA2-DPC中国联赛2月1日Recap集锦
2021/03/11 DOTA
总结Python编程中三条常用的技巧
2015/05/11 Python
python中将函数赋值给变量时需要注意的一些问题
2017/08/18 Python
使用Python通过win32 COM打开Excel并添加Sheet的方法
2018/05/02 Python
python ipset管理 增删白名单的方法
2019/01/14 Python
Python-opencv实现红绿两色识别操作
2020/06/04 Python
python报错: 'list' object has no attribute 'shape'的解决
2020/07/15 Python
高级人员简历的自我评价分享
2013/11/03 职场文书
会计系中文个人求职信
2013/12/24 职场文书
优秀大学生职业生涯规划书
2014/02/27 职场文书
片区教研活动总结
2014/07/02 职场文书
小学运动会开幕词
2015/01/28 职场文书
毕业证明模板
2015/06/19 职场文书
优质服务心得体会(共4篇)
2016/01/22 职场文书
pytorch 预训练模型读取修改相关参数的填坑问题
2021/06/05 Python