NodeJS url验证(url-valid)的使用方法


Posted in NodeJs onNovember 18, 2013

Javascript做url检验,通常是使用正则表达式来判定,其格式是否正确,例如:

/^https?:\/\//.test(url);

当然还有更好的检测方法比如基于RFC 3986, RFC 3966, RFC 4694, RFC 4759, RFC 4904等标准的进行验证的valid-url库。
不过个根据格式进行验证当然不能确定该url是否存在啦,所以就有了url-valid,我们基于HTTP请求进行验证。

接口设计
实际上我们只需要一个函数传入一个url地址,并回调返回该链接是否可用。
但请求容易产生未知错误,所以我们在回调函数传入一个error参数,如果不为空,则有错误产生。
我们可能还希望能够得到网页的相关数据,未来用在页面的信息提取上。
尽可能链式操作吧。
所以最后使用上大概是这样的:

valid(url)
  .on('check', function (err, status) {
    if (err) throw err;
    status ?
      console.log('url是可用的') :
      console.log('url是不可用的');
  })
  .on('data', function (err, data) {
    console.log(data);
  })
  .on('end', function (err, data) {
    console.log('请求结束');
  })

HTTP GET 还是 HTTP HEAD
本来我们想利用HTTP HEAD请求来实现的,因为HEAD请求只会返回头信息,这可以减少请求时间,但是HEAD请求,不一定所有链接都会支持。
所以最后我们使用HTTP GET方式,在得到正确的statusCode后立刻abort掉请求。

处理301-303
因为301到303都是重定向状态所以,我们需要继续检查对应Location是否依然存在。

利用process.nextTick异步执行
为了在注册监听后,再执行代码,我们使用process.nextTick来一步操作。

实现

/*!
 * valid
 * MIT Licensed
 */
module.exports = (function () {
  'use strict';
  var http = require('http')
    , https = require('https')
    , EventEmitter = require('events').EventEmitter
    , URL = require('url')
    , urlReg = /^(https?):\/\//;  /**
   * Valid
   * @class
   */
  function Valid(url, callback) {
    var that = this;
    this.url = url;
    this.emitter = new EventEmitter();
    process.nextTick(function () {
      that.get(url);
    });
    this.fetch = false;
    callback && this.emitter.on('check', callback);
  }
  Valid.prototype = {
    constructor: Valid,
    /**
     * get
     * @param {String} url
     */
    get: function (url) {
      var match = url.match(urlReg)
        , that = this;
      if (match) {
        var httpLib = (match[1].toLowerCase() === 'http') ? http : https
          , opts = URL.parse(url)
          , req;
        opts.agent = false;
        opts.method = 'GET';
        req = httpLib.request(opts, function (res) {
          var statusCode = res.statusCode;
          if (statusCode === 200) {
            that.emitter.emit('check', null, true);
            that.fetch ? 
              (res.on('data', function (data) {
                that.emitter.emit('data', null, data);
              }) && res.on('end', function () {
                that.emitter.emit('end');
              })) :
              (req.abort() || that.emitter.emit('end'));
          } else if (300 < statusCode && statusCode < 304) {
            req.abort();
            var emitter = that.emitter
              , valid = one(URL.resolve(url, res.headers.location), function (err, valid) {
                emitter.emit('check', err, valid);
              });
            that.fetch && valid.on('data', function (err, data) {
              emitter.emit('data', err, data);
            });
            valid.on('error', function (err) {
              that.emitter.emit('error', err);
            });
            valid.on('end', function () {
              that.emitter.emit('end');
            });
          } else {
            that.emitter.emit('check', null, false);
          }
          res.on('error', function (err) {
            req.abort();
            that.emitter.emit('data', err);
          });
        });
        req.on('error', function (err) {
          req.abort();
          return that.emitter.emit('check', null, false);
        });
        req.end();
      } else {
        return that.emitter.emit('check', null, false);
      }
    },
    /**
     * on
     * @param {Stirng} event
     * @param {Function} callback
     */
    on: function (event, callback) {
      (event === 'data') && (this.fetch = true); 
      this.emitter.on(event, callback);
      return this;
    },
    /**
     * destroy
     */
    destroy: function () {
      this.emitter.removeAllListeners();
      this.url = undefined;
      this.emitter = null;
      this.fetch = undefined;
    },
    /**
     * removeAllListeners
     * @param
     */
    removeAllListeners: function (event) {
      event ? 
        this.emitter.removeAllListeners(event) :
        this.emitter.removeAllListeners();
      return this;
    },
    /**
     * listeners
     * @param
     */
    listeners: function (event) {
      if (event) {
        return this.emitter.listeners(event);
      } else {
        var res = []
          , that = this
          , _push = Array.prototype.push;
        Object.keys(this.emitter._events).forEach(function (key) {
          _push.apply(res, that.emitter.listeners(key));
        });
        return res;
      }
    }
  }
  /**
   * one
   * @param {String} url
   * @param {Function} callback
   * @return {Valid}
   */
  function one(url, callback) {
    return (new Valid(url, callback)); 
  }
  one.one = one;
  return one;
})();
NodeJs 相关文章推荐
基于NodeJS的前后端分离的思考与实践(六)Nginx + Node.js + Java 的软件栈部署实践
Sep 26 NodeJs
nodejs教程之异步I/O
Nov 21 NodeJs
nodejs下打包模块archiver详解
Dec 03 NodeJs
nodejs中操作mysql数据库示例
Dec 20 NodeJs
详解nodejs 文本操作模块-fs模块(四)
Dec 22 NodeJs
Nodejs多站点切换Htpps协议详解及简单实例
Feb 23 NodeJs
详解nodejs express下使用redis管理session
Apr 24 NodeJs
NodeJs form-data格式传输文件的方法
Dec 13 NodeJs
nodejs之koa2请求示例(GET,POST)
Aug 07 NodeJs
NodeJs之word文件生成与解析的实现代码
Apr 01 NodeJs
nodejs提示:cross-device link not permitted, rename错误的解决方法
Jun 10 NodeJs
NodeJS与Mysql的交互示例代码
Aug 18 #NodeJs
利用NodeJS的子进程(child_process)调用系统命令的方法分享
Jun 05 #NodeJs
将nodejs打包工具整合到鼠标右键的方法
May 11 #NodeJs
用nodejs写的一个简单项目打包工具
May 11 #NodeJs
nodejs教程 安装express及配置app.js文件的详细步骤
May 11 #NodeJs
nodejs中exports与module.exports的区别详细介绍
Jan 14 #NodeJs
nodejs的require模块(文件模块/核心模块)及路径介绍
Jan 14 #NodeJs
You might like
PHP自动生成月历代码
2006/10/09 PHP
深入php中var_dump方法的使用详解
2013/06/24 PHP
php检测用户是否用手机(Mobile)访问网站的类
2014/01/09 PHP
MooTools 1.2中的Drag.Move来实现拖放
2009/09/15 Javascript
写出更好的JavaScript之undefined篇(上)
2009/11/22 Javascript
Jquery封装tab自动切换效果的具体实现
2013/07/13 Javascript
JavaScript中的函数嵌套使用
2015/06/04 Javascript
javascript与jquery中的this关键字用法实例分析
2015/12/24 Javascript
javascript实现input file上传图片预览效果
2015/12/31 Javascript
深入理解jQuery.data() 的实现方式
2016/11/30 Javascript
jQuery分页插件jquery.pagination.js使用方法解析
2017/02/09 Javascript
JS中自定义事件的使用与触发操作实例分析
2019/11/01 Javascript
vue 导航内容设置选中状态样式的例子
2019/11/01 Javascript
vue点击自增和求和的实例代码
2019/11/06 Javascript
一篇文章带你浅入webpack的DLL优化打包
2020/02/20 Javascript
Python验证码识别的方法
2015/07/10 Python
python实现汉诺塔递归算法经典案例
2021/03/01 Python
K-means聚类算法介绍与利用python实现的代码示例
2017/11/13 Python
Python自定义一个类实现字典dict功能的方法
2019/01/19 Python
python实现词法分析器
2019/01/31 Python
python使用 __init__初始化操作简单示例
2019/09/26 Python
爬虫代理池Python3WebSpider源代码测试过程解析
2019/12/20 Python
python获取网络图片方法及整理过程详解
2019/12/20 Python
python统计字符串中字母出现次数代码实例
2020/03/02 Python
用python实现名片管理系统
2020/06/18 Python
Python实现自动签到脚本功能
2020/08/20 Python
婚礼新郎父母答谢词
2014/01/16 职场文书
售后服务承诺书范文
2014/03/26 职场文书
物流专业自荐信
2014/05/23 职场文书
小学庆六一活动总结
2014/08/28 职场文书
2014年人大工作总结
2014/12/10 职场文书
小学推普周活动总结
2015/05/07 职场文书
导游词之云南丽江-泸沽湖
2019/09/26 职场文书
用golang如何替换某个文件中的字符串
2021/04/25 Golang
java设计模式--三种工厂模式详解
2021/07/21 Java/Android
JavaScript实现简单拖拽效果
2021/09/15 Javascript