Node在Controller层进行数据校验的过程详解


Posted in Javascript onAugust 28, 2020

前言

幽默风趣的后端程序员一般自嘲为 CURD Boy。CURD, 也就是对某一存储资源的增删改查,这完全是面向数据编程啊。

真好呀,面向数据编程,往往会对业务理解地更加透彻,从而写出更高质量的代码,造出更少的 BUG。既然是面向数据编程那更需要避免脏数据的出现,加强数据校验。否则,难道要相信前端的数据校验吗,毕竟前端数据校验直达用户,是为了 UI 层更友好的用户反馈。

数据校验层

后端由于重业务逻辑以及待处理各种数据,以致于分成各种各样的层级,以我经历过的后端项目就有分为 Controller、Service、Model、Helper、Entity 等各种命名的层,五花八门。但这里肯定有一个层称为 Controller,站在后端最上层直接接收客户端传输数据。

由于 Controller 层是服务器端中与客户端数据交互的最顶层,秉承着 Fail Fast 的原则,肩负着数据过滤器的功能,对于不合法数据直接打回去,如同秦琼与尉迟恭门神般威严。

数据校验同时衍生了一个半文档化的副产品,你只需要看一眼数据校验层,便知道要传哪些字段,都是些什么格式。

以下都是常见的数据校验,本文讲述如何对它们进行校验:

  1. required/optional
  2. 基本的数据校验,如 number、string、timestamp 及值需要满足的条件
  3. 复杂的数据校验,如 IP、手机号、邮箱与域名
const body = {
 id,
 name,
 mobilePhone,
 email
}

山月接触过一个没有数据校验层的后端项目,if/else 充斥在各种层级,万分痛苦,分分钟向重构。

JSON Schema

JSON Schema 基于 JSON 进行数据校验格式,并附有一份规范 json-schema.org,目前 (2020-08) 最新版本是 7.0。各种服务器编程语言都对规范进行了实现,如 go、java、php 等,当然伟大的 javascript 也有,如不温不火的ajv。

以下是校验用户信息的一个 Schema,可见语法复杂与繁琐:

{
 "$schema": "http://json-schema.org/draft-04/schema#",
 "title": "User",
 "description": "用户信息",
 "type": "object",
 "properties": {
 "id": {
 "description": "用户 ID",
 "type": "integer"
 },
 "name": {
 "description": "用户姓名",
 "type": "string"
 },
 "email": {
 "description": "用户邮箱",
 "type": "string",
 "format": "email",
 "maxLength": 20
 },
 "mobilePhone": {
 "description": "用户手机号",
 "type": "string",
 "pattern": "^(?:(?:\+|00)86)?1[3-9]\d{9}$",
 "maxLength": 15
 }
 },
 "required": ["id", "name"]
}

对于复杂的数据类型校验,JSON Schema 内置了以下 Format,方便快捷校验

  • Dates and times
  • Email addresses
  • Hostnames
  • IP Addresses
  • Resource identifiers
  • URI template
  • JSON Pointer
  • Regular Expressions

对于不在内置 Format 中的手机号,使用 ajv.addFormat 可手动添加 Format

ajv.addFormat('mobilePhone', (str) => /^(?:(?:\+|00)86)?1[3-9]\d{9}$/.test(str));

Joi

joi 自称最强大的 JS 校验库,在 github 也斩获了一万六颗星星。相比 JSON Schema 而言,它的语法更加简洁并且功能强大。

The most powerful data validation library for JS

完成相同的校验,仅需要更少的代码,并能够完成更加强大的校验。以下仅做示例,更多示例请前往文档。

const schema = Joi.object({
 id: Joi.number().required(),
 name: Joi.number().required(),
 email: Joi.string().email({ minDomainSegments: 2, tlds: { allow: ['com', 'net'] } }),
 mobilePhone: Joi.string().pattern(/^(?:(?:\+|00)86)?1[3-9]\d{9}$/),

 password: Joi.string().pattern(/^[a-zA-Z0-9]{3,30}$/),
 // 与 password 相同的校验
 repeatPassword: Joi.ref('password'),
})
 // 密码与重复密码需要同时发送
 .with('password', 'repeat_password');
 // 邮箱与手机号提供一个即可
 .xor('email', 'mobilePhone')

数据校验与路由层集成

由于数据直接从路由传递,因此 koajs 官方基于 joi 实现了一个joi-router,前置数据校验到路由层,对前端传递来的 query、body 与 params 进行校验。

joi-router 也同时基于 co-body 对前端传输的各种 content-type 进行解析及限制。如限制为 application/json,也可在一定程度上防止 CSRF 攻击。

const router = require('koa-joi-router');
const public = router();

public.route({
 method: 'post',
 path: '/signup',
 validate: {
 header: joiObject,
 query: joiObject,
 params: joiObject,
 body: joiObject,
 maxBody: '64kb',
 output: { '400-600': { body: joiObject } },
 type: 'json',
 failure: 400,
 continueOnError: false
 },
 pre: async (ctx, next) => {
 await checkAuth(ctx);
 return next();
 },
 handler: async (ctx) => {
 await createUser(ctx.request.body);
 ctx.status = 201;
 },
});

正则表达式与安全正则表达式

山月在一次排查性能问题时发现,一条 API 竟在数据校验层耗时过久,这是我未曾想到的。而问题根源在于不安全的正则表达式,那什么叫做不安全的正则表达式呢?

比如下边这个能把 CPU 跑挂的正则表达式就是一个定时炸弹,回溯次数进入了指数爆炸般的增长。

可以参考文章 浅析 ReDos 原理与实践

const safe = require('safe-regex')
const re = /(x+x+)+y/

// 能跑死 CPU 的一个正则
re.test('xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx')

// 使用 safe-regex 判断正则是否安全
safe(re) // false

数据校验,针对的大多是字符串校验,也会充斥着各种各样的正则表达式,保证正则表达式的安全相当紧要。safe-regex 能够发现哪些不安全的正则表达式。

总结

  1. Controller 层需要进行统一的数据校验,可以采用 JSON Schema (Node 实现 ajv) 与 Joi
  2. JSON Schema 有官方规范及各个语言的实现,但语法繁琐,可使用校验功能更为强大的 Joi
  3. 进行字符串校验时,注意不安全的正则引起的性能问题

到此这篇关于Node在Controller层进行数据校验的文章就介绍到这了,更多相关Node在Controller层数据校验内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Javascript 相关文章推荐
用javascript实现计算两个日期的间隔天数
Aug 14 Javascript
锋利的jQuery 要点归纳(三) jQuery中的事件和动画(下:动画篇)
Mar 24 Javascript
模拟jQuery ajax服务器端与客户端通信的代码
Mar 28 Javascript
JS实现图片翻书效果示例代码
Sep 09 Javascript
jQuery 获取浏览器所在的IP地址的小例子
Nov 08 Javascript
利用JavaScript检测CPU使用率自己写的
Mar 22 Javascript
jQuery标签编辑插件Tagit使用指南
Apr 21 Javascript
学习JavaScript设计模式之策略模式
Jan 12 Javascript
Bootstrap编写一个兼容主流浏览器的受众门户式风格页面
Jul 01 Javascript
js数组方法reduce经典用法代码分享
Jan 07 Javascript
详解wepy开发小程序踩过的坑(小结)
May 22 Javascript
ES6 Generator基本使用方法示例
Jun 06 Javascript
Postman无法正常返回结果问题解决
Aug 28 #Javascript
Vue+Element UI 树形控件整合下拉功能菜单(tree + dropdown +input)
Aug 28 #Javascript
vue自定义指令和动态路由实现权限控制
Aug 28 #Javascript
vue 动态给每个页面添加title、关键词和描述的方法
Aug 28 #Javascript
vue-cli+webpack项目打包到服务器后,ttf字体找不到的解决操作
Aug 28 #Javascript
vue select 获取value和lable操作
Aug 28 #Javascript
VSCode 添加自定义注释的方法(附带红色警戒经典注释风格)
Aug 27 #Javascript
You might like
PHP中常用的字符串格式化函数总结
2014/11/19 PHP
discuz目录文件资料汇总
2014/12/30 PHP
PHP实现多关键字加亮功能
2016/10/21 PHP
php常用字符串String函数实例总结【转换,替换,计算,截取,加密】
2016/12/07 PHP
屏蔽鼠标右键、Ctrl+n、shift+F10、F5刷新、退格键 的javascript代码
2007/04/01 Javascript
jquery插件tooltipv顶部淡入淡出效果使用示例
2013/12/05 Javascript
js读写json文件实例代码
2014/10/21 Javascript
ajax+jQuery实现级联显示地址的方法
2015/05/06 Javascript
javascript中eval和with用法实例总结
2015/11/30 Javascript
jQuery使用$.ajax进行即时验证的方法
2015/12/08 Javascript
利用Bootstrap实现表格复选框checkbox全选
2016/12/21 Javascript
Webpack如何引入bootstrap的方法
2017/06/17 Javascript
JS 验证密码 不能为空,必须含有数字、字母、特殊字符,长度在8-12位
2017/06/21 Javascript
详解在Angular项目中添加插件ng-bootstrap
2017/07/04 Javascript
Javascript(es2016) import和require用法和区别详解
2017/08/11 Javascript
Vue 兄弟组件通信的方法(不使用Vuex)
2017/10/26 Javascript
JS 使用 window对象的print方法实现分页打印功能
2018/05/16 Javascript
AngularJS上传文件的示例代码
2018/11/10 Javascript
js实现自定义右键菜单
2020/05/18 Javascript
javascript实现简单留言板案例
2021/02/09 Javascript
使用Python3 编写简单信用卡管理程序
2016/12/21 Python
Python中实现switch功能实例解析
2018/01/11 Python
对python中数组的del,remove,pop区别详解
2018/11/07 Python
一篇文章彻底搞懂Python中可迭代(Iterable)、迭代器(Iterator)与生成器(Generator)的概念
2019/05/13 Python
python数据类型之间怎么转换技巧分享
2019/08/20 Python
Python Pandas对缺失值的处理方法
2019/09/27 Python
tensorflow 报错unitialized value的解决方法
2020/02/06 Python
Solaris操作系统的线程机制
2015/07/28 面试题
司机的工作范围及职责
2013/11/13 职场文书
应届大学生自荐信
2013/12/05 职场文书
幼儿园消防安全制度
2014/01/26 职场文书
秋季运动会广播稿大全
2014/02/17 职场文书
项目经理任命书
2014/06/04 职场文书
低碳日宣传活动总结
2014/07/09 职场文书
民事二审代理词
2015/05/25 职场文书
Mysql 如何批量插入数据
2021/04/06 MySQL