Node在Controller层进行数据校验的过程详解


Posted in Javascript onAugust 28, 2020

前言

幽默风趣的后端程序员一般自嘲为 CURD Boy。CURD, 也就是对某一存储资源的增删改查,这完全是面向数据编程啊。

真好呀,面向数据编程,往往会对业务理解地更加透彻,从而写出更高质量的代码,造出更少的 BUG。既然是面向数据编程那更需要避免脏数据的出现,加强数据校验。否则,难道要相信前端的数据校验吗,毕竟前端数据校验直达用户,是为了 UI 层更友好的用户反馈。

数据校验层

后端由于重业务逻辑以及待处理各种数据,以致于分成各种各样的层级,以我经历过的后端项目就有分为 Controller、Service、Model、Helper、Entity 等各种命名的层,五花八门。但这里肯定有一个层称为 Controller,站在后端最上层直接接收客户端传输数据。

由于 Controller 层是服务器端中与客户端数据交互的最顶层,秉承着 Fail Fast 的原则,肩负着数据过滤器的功能,对于不合法数据直接打回去,如同秦琼与尉迟恭门神般威严。

数据校验同时衍生了一个半文档化的副产品,你只需要看一眼数据校验层,便知道要传哪些字段,都是些什么格式。

以下都是常见的数据校验,本文讲述如何对它们进行校验:

  1. required/optional
  2. 基本的数据校验,如 number、string、timestamp 及值需要满足的条件
  3. 复杂的数据校验,如 IP、手机号、邮箱与域名
const body = {
 id,
 name,
 mobilePhone,
 email
}

山月接触过一个没有数据校验层的后端项目,if/else 充斥在各种层级,万分痛苦,分分钟向重构。

JSON Schema

JSON Schema 基于 JSON 进行数据校验格式,并附有一份规范 json-schema.org,目前 (2020-08) 最新版本是 7.0。各种服务器编程语言都对规范进行了实现,如 go、java、php 等,当然伟大的 javascript 也有,如不温不火的ajv。

以下是校验用户信息的一个 Schema,可见语法复杂与繁琐:

{
 "$schema": "http://json-schema.org/draft-04/schema#",
 "title": "User",
 "description": "用户信息",
 "type": "object",
 "properties": {
 "id": {
 "description": "用户 ID",
 "type": "integer"
 },
 "name": {
 "description": "用户姓名",
 "type": "string"
 },
 "email": {
 "description": "用户邮箱",
 "type": "string",
 "format": "email",
 "maxLength": 20
 },
 "mobilePhone": {
 "description": "用户手机号",
 "type": "string",
 "pattern": "^(?:(?:\+|00)86)?1[3-9]\d{9}$",
 "maxLength": 15
 }
 },
 "required": ["id", "name"]
}

对于复杂的数据类型校验,JSON Schema 内置了以下 Format,方便快捷校验

  • Dates and times
  • Email addresses
  • Hostnames
  • IP Addresses
  • Resource identifiers
  • URI template
  • JSON Pointer
  • Regular Expressions

对于不在内置 Format 中的手机号,使用 ajv.addFormat 可手动添加 Format

ajv.addFormat('mobilePhone', (str) => /^(?:(?:\+|00)86)?1[3-9]\d{9}$/.test(str));

Joi

joi 自称最强大的 JS 校验库,在 github 也斩获了一万六颗星星。相比 JSON Schema 而言,它的语法更加简洁并且功能强大。

The most powerful data validation library for JS

完成相同的校验,仅需要更少的代码,并能够完成更加强大的校验。以下仅做示例,更多示例请前往文档。

const schema = Joi.object({
 id: Joi.number().required(),
 name: Joi.number().required(),
 email: Joi.string().email({ minDomainSegments: 2, tlds: { allow: ['com', 'net'] } }),
 mobilePhone: Joi.string().pattern(/^(?:(?:\+|00)86)?1[3-9]\d{9}$/),

 password: Joi.string().pattern(/^[a-zA-Z0-9]{3,30}$/),
 // 与 password 相同的校验
 repeatPassword: Joi.ref('password'),
})
 // 密码与重复密码需要同时发送
 .with('password', 'repeat_password');
 // 邮箱与手机号提供一个即可
 .xor('email', 'mobilePhone')

数据校验与路由层集成

由于数据直接从路由传递,因此 koajs 官方基于 joi 实现了一个joi-router,前置数据校验到路由层,对前端传递来的 query、body 与 params 进行校验。

joi-router 也同时基于 co-body 对前端传输的各种 content-type 进行解析及限制。如限制为 application/json,也可在一定程度上防止 CSRF 攻击。

const router = require('koa-joi-router');
const public = router();

public.route({
 method: 'post',
 path: '/signup',
 validate: {
 header: joiObject,
 query: joiObject,
 params: joiObject,
 body: joiObject,
 maxBody: '64kb',
 output: { '400-600': { body: joiObject } },
 type: 'json',
 failure: 400,
 continueOnError: false
 },
 pre: async (ctx, next) => {
 await checkAuth(ctx);
 return next();
 },
 handler: async (ctx) => {
 await createUser(ctx.request.body);
 ctx.status = 201;
 },
});

正则表达式与安全正则表达式

山月在一次排查性能问题时发现,一条 API 竟在数据校验层耗时过久,这是我未曾想到的。而问题根源在于不安全的正则表达式,那什么叫做不安全的正则表达式呢?

比如下边这个能把 CPU 跑挂的正则表达式就是一个定时炸弹,回溯次数进入了指数爆炸般的增长。

可以参考文章 浅析 ReDos 原理与实践

const safe = require('safe-regex')
const re = /(x+x+)+y/

// 能跑死 CPU 的一个正则
re.test('xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx')

// 使用 safe-regex 判断正则是否安全
safe(re) // false

数据校验,针对的大多是字符串校验,也会充斥着各种各样的正则表达式,保证正则表达式的安全相当紧要。safe-regex 能够发现哪些不安全的正则表达式。

总结

  1. Controller 层需要进行统一的数据校验,可以采用 JSON Schema (Node 实现 ajv) 与 Joi
  2. JSON Schema 有官方规范及各个语言的实现,但语法繁琐,可使用校验功能更为强大的 Joi
  3. 进行字符串校验时,注意不安全的正则引起的性能问题

到此这篇关于Node在Controller层进行数据校验的文章就介绍到这了,更多相关Node在Controller层数据校验内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Javascript 相关文章推荐
avalonjs制作响应式瀑布流特效
May 06 Javascript
JS Attribute属性操作详解
May 19 Javascript
利用Javascript仿Excel的数据透视分析功能
Sep 07 Javascript
通过BootStrap实现轮播图的实际应用
Sep 26 Javascript
jquery select2的使用心得(推荐)
Dec 04 Javascript
网站申请不到支付宝接口、微信接口,免接口收款实现方式几种解决办法
Dec 14 Javascript
js代码延迟一定时间后执行一个函数的实例
Feb 15 Javascript
JS实现运动缓冲效果的封装函数示例
Feb 18 Javascript
javaScript中"=="和"==="的区别详解
Mar 16 Javascript
Vue引入sass并配置全局变量的方法
Jun 27 Javascript
vue生命周期和react生命周期对比【推荐】
Sep 19 Javascript
EXTJS7实现点击拖拉选择文本
Dec 17 Javascript
Postman无法正常返回结果问题解决
Aug 28 #Javascript
Vue+Element UI 树形控件整合下拉功能菜单(tree + dropdown +input)
Aug 28 #Javascript
vue自定义指令和动态路由实现权限控制
Aug 28 #Javascript
vue 动态给每个页面添加title、关键词和描述的方法
Aug 28 #Javascript
vue-cli+webpack项目打包到服务器后,ttf字体找不到的解决操作
Aug 28 #Javascript
vue select 获取value和lable操作
Aug 28 #Javascript
VSCode 添加自定义注释的方法(附带红色警戒经典注释风格)
Aug 27 #Javascript
You might like
了解咖啡雨林联盟认证 什么是雨林认证 雨林认证是什么意思
2021/03/05 新手入门
PHP spl_autoload_register实现自动加载研究
2011/12/06 PHP
PHP把数字转成人民币大写的函数分享
2014/06/30 PHP
php中用memcached实现页面防刷新功能
2014/08/19 PHP
PHP代码优化技巧小结
2015/09/29 PHP
实例说明js脚本语言和php脚本语言的区别
2019/04/04 PHP
推荐一些非常不错的javascript学习资源站点
2007/08/29 Javascript
不用AJAX和IFRAME,说说真正意义上的ASP+JS无刷新技术
2008/09/25 Javascript
Function.prototype.call.apply结合用法分析示例
2013/07/03 Javascript
javascript中比较字符串是否相等的方法
2013/07/23 Javascript
Jquery插件easyUi表单验证提交(示例代码)
2013/12/30 Javascript
JavaScript中判断页面关闭、页面刷新的实现代码
2014/08/27 Javascript
JavaScript中eval()函数用法详解
2015/12/14 Javascript
全面解析JavaScript中“&&”和“||”操作符(总结篇)
2016/07/18 Javascript
vue.js学习之递归组件
2016/12/13 Javascript
node前端模板引擎Jade之标签的基本写法
2018/05/11 Javascript
教你如何用node连接redis的示例代码
2018/07/12 Javascript
基于js Canvas实现二次贝塞尔曲线
2018/12/25 Javascript
[01:29:42]Liquid vs VP Supermajor决赛 BO 第一场 6.10
2018/07/05 DOTA
Python实现字典依据value排序
2016/02/24 Python
手把手教你如何安装Pycharm(详细图文教程)
2018/11/28 Python
Python学习笔记之Break和Continue用法分析
2019/08/14 Python
python导入不同目录下的自定义模块过程解析
2019/11/18 Python
Sentry错误日志监控使用方法解析
2020/11/12 Python
HTML5 Canvas鼠标与键盘事件demo示例
2013/07/04 HTML / CSS
南非领先的在线旅行社:Travelstart南非
2016/09/04 全球购物
简历的自我评价范文
2014/02/04 职场文书
2014年房地产销售工作总结
2014/12/01 职场文书
2015年度团总支工作总结
2015/04/23 职场文书
物业管理交接协议书
2016/03/24 职场文书
护理自荐信
2019/05/14 职场文书
linux下导入、导出mysql数据库命令的实现方法
2021/05/26 MySQL
Redis集群的关闭与重启操作
2021/07/07 Redis
Vue的过滤器你真了解吗
2022/02/24 Vue.js
《游戏王:大师决斗》新活动上线 若无符合卡组可免费租用
2022/04/13 其他游戏
nginx代理实现静态资源访问的示例代码
2022/07/07 Servers