Nodejs实现爬虫抓取数据实例解析


Posted in NodeJs onJuly 05, 2018

开始之前请先确保自己安装了Node.js环境,如果没有安装,大家可以到三水点靠木下载安装。

1.在项目文件夹安装两个必须的依赖包

npm install superagent --save-dev

superagent 是一个轻量的,渐进式的ajax api,可读性好,学习曲线低,内部依赖nodejs原生的请求api,适用于nodejs环境下

npm install cheerio --save-dev

cheerio是nodejs的抓取页面模块,为服务器特别定制的,快速、灵活、实施的jQuery核心实现。适合各种Web爬虫程序。相当于node.js中的jQuery

2.新建  crawler.js  文件

//导入依赖包
const http    = require("http");
const path    = require("path");
const url    = require("url");
const fs     = require("fs");
const superagent = require("superagent");
const cheerio  = require("cheerio");

3.获取 Boos直聘数据

superagent
  .get("https://www.zhipin.com/job_detail/?city=100010000&source=10&query=%E5%89%8D%E7%AB%AF")
  .end((error,response)=>{
    //获取页面文档数据
    var content = response.text;
    //cheerio也就是nodejs下的jQuery 将整个文档包装成一个集合,定义一个变量$接收
    var $ = cheerio.load(content);
    //定义一个空数组,用来接收数据
    var result=[];
    //分析文档结构 先获取每个li 再遍历里面的内容(此时每个li里面就存放着我们想要获取的数据)
    $(".job-list li .job-primary").each((index,value)=>{
      //地址和类型为一行显示,需要用到字符串截取
      //地址
      let address=$(value).find(".info-primary").children().eq(1).html();
      //类型
      let type=$(value).find(".info-company p").html();
      //解码
      address=unescape(address.replace(/&#x/g,'%u').replace(/;/g,''));
      type=unescape(type.replace(/&#x/g,'%u').replace(/;/g,''))
      //字符串截取
      let addressArr=address.split('<em class="vline"></em>');
      let typeArr=type.split('<em class="vline"></em>');
      //将获取的数据以对象的形式添加到数组中
      result.push({
        title:$(value).find(".name .job-title").text(),
        money:$(value).find(".name .red").text(),
        address:addressArr,
        company:$(value).find(".info-company a").text(),
        type:typeArr,
        position:$(value).find(".info-publis .name").text(),
        txImg:$(value).find(".info-publis img").attr("src"),
        time:$(value).find(".info-publis p").text()
      });
      // console.log(typeof $(value).find(".info-primary").children().eq(1).html());
    });
    //将数组转换成字符串
    result=JSON.stringify(result);
    //将数组输出到json文件里 刷新目录 即可看到当前文件夹多出一个boss.json文件(打开boss.json文件,ctrl+A全选之后 ctrl+K,再Ctrl+F即可将json文件自动排版)
    fs.writeFile("boss.json",result,"utf-8",(error)=>{
      //监听错误,如正常输出,则打印null
      if(error==null){
        console.log("恭喜您,数据爬取成功!请打开json文件,先Ctrl+A,再Ctrl+K,最后Ctrl+F格式化后查看json文件(仅限Visual Studio Code编辑器)");
      }
    });
  });

总结

以上所述是小编给大家介绍的Nodejs实现爬虫抓取数据,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

NodeJs 相关文章推荐
NodeJS框架Express的模板视图机制分析
Jul 19 NodeJs
nodejs的require模块(文件模块/核心模块)及路径介绍
Jan 14 NodeJs
nodejs连接mongodb数据库实现增删改查
Dec 01 NodeJs
NodeJS实现客户端js加密
Jan 09 NodeJs
使用nodejs下载风景壁纸
Feb 05 NodeJs
详解nodejs中exports和module.exports的区别
Feb 17 NodeJs
解析NodeJS异步I/O的实现
Apr 13 NodeJs
让nodeJS支持ES6的词法----babel的安装和使用方法
Jul 31 NodeJs
nodejs 图解express+supervisor+ejs的用法(推荐)
Sep 08 NodeJs
nodejs+mongodb+vue前后台配置ueditor的示例代码
Jan 02 NodeJs
nodejs+express搭建多人聊天室步骤
Feb 12 NodeJs
nodejs搭建本地服务器轻松解决跨域问题
Mar 21 NodeJs
nodejs的路径问题的解决
Jun 30 #NodeJs
nodejs用gulp管理前端文件方法
Jun 24 #NodeJs
Nodejs异步回调之异常处理实例分析
Jun 22 #NodeJs
nodejs实现套接字服务功能详解
Jun 21 #NodeJs
详解Nodejs mongoose
Jun 10 #NodeJs
详解NodeJs开发微信公众号
May 25 #NodeJs
nodejs express配置自签名https服务器的方法
May 22 #NodeJs
You might like
php array的学习笔记
2012/05/16 PHP
CI框架自动加载session出现报错的解决办法
2014/06/17 PHP
windows中为php安装mongodb与memcache
2015/01/06 PHP
smarty自定义函数用法示例
2016/05/20 PHP
JS对URL字符串进行编码/解码分析
2008/10/25 Javascript
关于JavaScript中var声明变量作用域的推断
2010/12/16 Javascript
js获取字符串字节数方法小结
2015/06/09 Javascript
jquery checkbox无法用attr()二次勾选问题的解决方法
2016/07/22 Javascript
AngularJs bootstrap搭载前台框架——准备工作
2016/09/01 Javascript
javascript实现获取指定精度的上传文件的大小简单实例
2016/10/25 Javascript
vue 子组件向父组件传值方法
2018/02/26 Javascript
element-ui使用导航栏跳转路由的用法详解
2018/08/22 Javascript
vue实现轮播图帧率播放
2021/01/26 Vue.js
[07:20]2018DOTA2国际邀请赛寻真——逐梦Mineski
2018/08/10 DOTA
python通过yield实现数组全排列的方法
2015/03/18 Python
Python解析json文件相关知识学习
2016/03/01 Python
Python3数据库操作包pymysql的操作方法
2018/07/16 Python
Python面向对象之静态属性、类方法与静态方法分析
2018/08/24 Python
Python异常处理例题整理
2019/07/07 Python
python模拟斗地主发牌
2020/04/22 Python
python实现四人制扑克牌游戏
2020/04/22 Python
Python如何在main中调用函数内的函数方式
2020/06/01 Python
python打开音乐文件的实例方法
2020/07/21 Python
Python字典取键、值对的方法步骤
2020/09/30 Python
HTML5移动端开发中的Viewport标签及相关CSS用法解析
2016/04/15 HTML / CSS
移风易俗倡议书
2014/04/15 职场文书
2014年入党积极分子学习三中全会思想汇报
2014/09/13 职场文书
2015年学生会纪检部工作总结
2015/03/31 职场文书
销售经理助理岗位职责
2015/04/13 职场文书
节约用电通知
2015/04/25 职场文书
新郎接新娘保证书
2015/05/08 职场文书
开学随笔
2015/08/15 职场文书
MySQL获取所有分类的前N条记录
2021/05/07 MySQL
手把手教你导入Go语言第三方库
2021/08/04 Golang
golang定时器
2022/04/14 Golang
基于Python实现nc批量转tif格式
2022/08/14 Python