nodejs简单抓包工具使用详解


Posted in NodeJs onAugust 23, 2019

前言

就是简简单单写程序的我为什么需要抓包?

其实在平时写demo的时候需要用到一些图片和文本的资源的,但是需求量比较大,这个时候就想去网站上面直接复制啊,然后图片另存为啊,什么的一系列繁琐的操作。

但是现在不需要了,你只要看到这篇文章,你就很轻松了。本项目Github地址:

https://github.com/xiaoqiuxiong/reptileDemo

1.在你的电脑桌面新建一个reptileDemo文件夹。

然后进入文件夹,然后在改文件夹目录下打开cmd。输入下图所示回车,连续按回车即可。

nodejs简单抓包工具使用详解

初始化完之后,你会在文件夹里面看下package.json文件,里面就是一些基本的包管理基本配置。

2.cmd输入下图所示,然后回车

nodejs简单抓包工具使用详解

这步是安装cheerio模块,主要是用来解释html和使用jqueryAPI来操作请求返回的html。

3.cmd输入下图所示,然后回车

nodejs简单抓包工具使用详解

这步是安装request模块,主要是用来发请求处理的。

4.文件夹内添加一个data文件夹,用来存放抓包的数据。

5.文件夹内新建app.js文件。添加内容如下:

let fs = require('fs');
let cheerio = require('cheerio');
let request = require('request');
let path = require('path');
let i = 0;
let j = 0;
//初始需要抓取的页面url 
let url = "http://www.silver.org.cn/cjyw/list_p_1.html";
let http = url.includes('https') ? require('https') : require('http');

function startRequest(x) {
  // 采用http模块向服务器发起一次get请求   
  http.get(x, function(res) {
    // 用来存储请求网页的整个html内容
    var html = '';
    var titles = [];
    // 防止中文乱码
    res.setEncoding('utf-8'); 
    // 监听data事件,每次取一块数据
    res.on('data', function(chunk) {
      html += chunk;
    });
    // 监听end事件,如果整个网页内容的html都获取完毕,就执行回调函数
    res.on('end', function() {
      // 采用cheerio模块解析html
      var $ = cheerio.load(html); 
      j = 0;
      savedContent($);
      i++;
      console.log('抓包页码:' + i);
      // 限制请求页数
      if (i <= 10) {
        fetchPage(`http://www.silver.org.cn/cjyw/list_p_${i}.html`);
      } else {
        console.log('抓包完成');
      };
    });
  }).on('error', function(err) {
    console.log(err);
  });
}
//保存内容
function savedContent($) {
  var item = $('.lt_col li')[j]
  // 标题
  var x = $(item).find('h2').text().trim();
  // 内容
  var y = $(item).find('p').text().trim();
  // 图片地址
  var z = $(item).find('img').attr('src');
  // 图片文件名
  var o = path.basename(z);
  // 创建文件夹
  fs.mkdir(`./data/${x}`, err => {
    if (!err) {
      // 保存文本
      fs.appendFile(`./data/${x}/index.txt`, `标题:${x}\n内容:${y}`, 'utf-8', err => {
        if (err) {
          console.log(`****创建txt失败****: ${x}`);
        }
      });
      // 保存图片
      request.head(z, (err, res, body) => {
        if (err) {
          console.log(`****请求图片失败****: ${x}`);
        }
      });
      // 写图片到本地
      request(z).pipe(fs.createWriteStream(`./data/${x}/${o}`));
      j++;
      if (j <= $('.lt_col li').length - 1) {
        savedContent($)
      }

    }
  })
}

startRequest(url); //主程序开始运行

本项目主要是抓取一个新闻网站的新闻列表数据,有标题,内容和图片。

6.package.json修改如下:

"scripts": {
  "test": "echo \"Error: no test specified\" && exit 1",
  "dev": "node app.js"
 },

nodejs简单抓包工具使用详解

完结。

做完上面操作之后你就可以使用cmd,然后输入

nodejs简单抓包工具使用详解

预览

nodejs简单抓包工具使用详解

nodejs简单抓包工具使用详解

这样就搞定了,是不是很爽啊。

疯狂的程序员决不是靠狂妄和拼命的程序员,而是能够脚踏实地,持续努力的程序员,一个程序员真正做到这两点,技术上去后,唯一能限制他的只有想象力,到那个时候才算“疯狂的程序员”,这种程序员,才能令对手无比恐惧。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

NodeJs 相关文章推荐
我的NodeJs学习小结(一)
Jul 06 NodeJs
14款NodeJS Web框架推荐
Jul 11 NodeJs
nodejs中操作mysql数据库示例
Dec 20 NodeJs
Nodejs爬虫进阶教程之异步并发控制
Feb 15 NodeJs
详解NodeJs支付宝移动支付签名及验签
Jan 06 NodeJs
详解nodejs微信公众号开发——6.自定义菜单
Apr 13 NodeJs
基于nodejs+express4.X实现文件下载的实例代码
Jul 13 NodeJs
nodejs创建简易web服务器与文件读写的实例
Sep 07 NodeJs
webpack打包nodejs项目的方法
Sep 26 NodeJs
nodejs分离html文件里面的js和css的方法
Apr 09 NodeJs
Sublime Text3 配置 NodeJs 环境的方法
May 20 NodeJs
浅谈使用nodejs搭建web服务器的过程
Jul 20 NodeJs
nodejs使用node-xlsx生成excel的方法示例
Aug 22 #NodeJs
Nodejs libuv运行原理详解
Aug 21 #NodeJs
nodejs和react实现即时通讯简易聊天室功能
Aug 21 #NodeJs
Nodejs 识别图片类型的方法
Aug 15 #NodeJs
NodeJs实现简易WEB上传下载服务器
Aug 10 #NodeJs
NodeJs 实现简单WebSocket即时通讯的示例代码
Aug 05 #NodeJs
Nodejs监听日志文件的变化的过程解析
Aug 04 #NodeJs
You might like
VML绘图板②脚本--VMLgraph.js、XMLtool.js
2006/10/09 PHP
一个用php3编写的简单计数器
2006/10/09 PHP
PHP 和 XML: 使用expat函数(二)
2006/10/09 PHP
PHP fopen()和 file_get_contents()应用与差异介绍
2014/03/19 PHP
在win7中搭建Linux+PHP 开发环境
2014/10/08 PHP
php画图实例
2014/11/05 PHP
PHP-FPM之Chroot执行环境详解
2015/08/03 PHP
windows下apache搭建php开发环境
2015/08/27 PHP
老生常谈PHP面向对象之标识映射
2017/06/21 PHP
javaScript checkbox 全选/反选及批量删除
2010/04/28 Javascript
没有document.getElementByName方法
2013/08/19 Javascript
jquery实现瀑布流效果分享
2014/03/26 Javascript
JS 获取鼠标左右键的键值方法
2014/10/11 Javascript
详解JavaScript的另类写法
2016/04/11 Javascript
JavaScript数据结构之二叉树的删除算法示例
2017/04/13 Javascript
实现图片首尾平滑轮播(JS原生方法—节流)
2017/10/17 Javascript
vue的全局提示框组件实例代码
2018/02/26 Javascript
对vue中v-if的常见使用方法详解
2018/09/28 Javascript
AngularJS $http post 传递参数数据的方法
2018/10/09 Javascript
js实现input密码框显示/隐藏功能
2020/09/10 Javascript
vue导航栏部分的动态渲染实例
2019/11/01 Javascript
Vue 实例中使用$refs的注意事项
2021/01/29 Vue.js
Python 一句话生成字母表的方法
2019/01/02 Python
Python学习笔记之函数的定义和作用域实例详解
2019/08/13 Python
python找出列表中大于某个阈值的数据段示例
2019/11/24 Python
基于python3实现倒叙字符串
2020/02/18 Python
Python爬虫小例子——爬取51job发布的工作职位
2020/07/10 Python
HTML5梦幻之旅——炫丽的流星雨效果实现过程
2013/08/06 HTML / CSS
小蚁科技官方商店:YI Technology
2019/08/23 全球购物
校庆筹备方案
2014/03/30 职场文书
企业诚信承诺书
2014/05/23 职场文书
采购部长岗位职责
2014/06/13 职场文书
无财产离婚协议书范本
2014/10/28 职场文书
2015年乡镇人大工作总结
2015/04/22 职场文书
日元符号 ¥
2022/02/17 杂记
解决redis批量删除key值的问题
2022/03/23 Redis