JS对大量数据进行多重过滤的方法


Posted in Javascript onNovember 04, 2016

前言

主要的需求是前端通过 Ajax 从后端取得了大量的数据,需要根据一些条件过滤,首先过滤的方法是这样的:

class Filter {
 filterA(s) {
 let data = this.filterData || this.data;
 this.filterData = data.filter(m => m.a === s);
 }
 
 filterB(s) {
 let data = this.filterData || this.data;
 this.filterData = data.filter(m => m.b === s);
 }
}

现在迷糊了,觉得这样处理数据不对,但是又不知道该怎么处理。

发现问题

问题就在过滤上,这样固然可以实现多重过滤(先调用 filterA() 再调用 filterB() 就可以实现),但是这个过滤是不可逆的。

假如过滤过程是这样:

f.filterA("a1");
f.filterB("b1");
f.filterA("a2");

本来是希望按 "a1" 和 "b1" 过滤了数据之后,再修改第一个条件为 "a2",但结果却成了空集。

解决问题

发现了问题,就针对性的解决。这个问题既然是因为过滤过程不可逆造成的,那每次都直接从 this.data 开始过滤,而不是从 this.filterData 开始过滤,就能解决问题。如果要这样做,就需要将选择的过滤条件先记录下来。

记录过滤条件

用一个列表记录过滤条件当然是可行的,但是注意对同一个条件的两次过滤是互斥的,只能保留最后一个,所以应该用 HashMap 更为合适。

class Filter {
 constructor() {
 this.filters = {};
 }

 set(key, filter) {
 this.filters[key] = filter;
 }

 getFilters() {
 return Object.keys(this.filters).map(key => this.filters[key]);
 }
}

这种情况下,像上面的过程表示为

f.set("A", m => m.a === "a1");
f.set("B", m => m.b === "b1");
f.set("A", m => m.a === "a1");

let filters = f.getFilters(); // length === 2;

上面第 3 句设置的 filter 覆盖了第 1 句设置的那个。现在再用最后取得的 filters 依次来过滤原数据 this.data,就能得到正确的结果。

有人会觉得 getFilters() 返回的列表不是按 set 的顺序的——的确,这是 HashMap 的特点,无序。不过对于简单条件的判断,不管谁先谁后,结果是一样的。但是对于一些复合条件判断,就可能会有影响。

确实需要的话,可以通过 array 代替 map 来解决一下顺序的问题,但这样查找效率会降低(线性查找)。如果还想解决查找效率的问题,可以用 array + map 来处理。这里就不多说了。

过滤

实际上在使用的时候,每次都 getFilter() 再用一个循环来处理确实比较慢。既然 data 都封装成 Filter 中,可以考虑直接给一个 filter() 方法来送货过滤接口。

class Filter {
 filter() {
 let data = this.data;
 for (let f of this.getFilters()) {
  data = data.filter(f);
 }
 return data;
 }
}

不过这样我觉得效率不太好,尤其是对大量数据的时候。不妨利用一下 lodash 的延迟处理过程。

利用 lodash 的延迟处理

filter() {
 let chain = _(this.data);
 for (let f of this.getFilters()) {
 chain = chain.filter(f);
 }
 return chain.value();
}

lodash 在数据大于 200 的时候会启用延迟处理过程,也就是说,它会处理成一个循环中依次调用每一个 filter,而不是对每一个 filter 进行一次循环。

延迟处理和非延迟处理通过下图可以看出来区别。非延迟处理总共会进行 n(这里 n = 3) 次大循环,产生 n - 1 个中间结果。而延迟处理只会进行一次大循环,没有中间结果产生。

JS对大量数据进行多重过滤的方法

不过说实在的,我不太喜欢为了一点小事多加载一个库,所以干脆自己做个简单的实现

自己实现延迟处理

filter() {
 const filters = this.getFilters();
 return data.filter(m => {
 for (let f of filters) {
  // 如果某个 filter 已经把它过滤掉了,也不用再用后面的 filter 来判断了
  if (!f(m)) {
  return false;
  }
 }
 return true;
 });
}

里面的 for 循环还可以用 Array.prototype.every 来简化:

filter() {
 const filters = this.getFilters();
 return data.filter(m => {
 return filters.every(f => f(m));
 });
}

数据过滤其实并不是多复杂的事情,只要把思路理清楚,搞明白什么数据是需要保留的,什么数据是临时(中间过程)的,什么数据是最终结果……利用 Array.prototype 中的相关方法,或者诸如 lodash 之类的工具,很容易就处理出来了。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作能有所帮助,如果有疑问大家可以留言交流。

Javascript 相关文章推荐
jQuery EasyUI 中文API Button使用实例
Apr 14 Javascript
javascript学习笔记(三)显示当时时间的代码
Apr 08 Javascript
鼠标滑在标题上显示图片的JS代码
Nov 19 Javascript
多选列表框动态添加,移动,删除,全选等操作的简单实例
Jan 13 Javascript
JS对象与json字符串格式转换实例
Oct 28 Javascript
使用jQuery获得内容以及内容的属性
Feb 26 Javascript
JSON格式的时间/Date(2367828670431)/格式转为正常的年-月-日 格式的代码
Jul 27 Javascript
微信小程序 loading(加载中提示框)实例
Oct 28 Javascript
详解vue.js组件化开发实践
Dec 14 Javascript
Node.js 使用AngularJS的方法示例
May 11 Javascript
Angular中的ng-template及angular 使用ngTemplateOutlet 指令的方法
Aug 08 Javascript
iview实现图片上传功能
Jun 29 Javascript
AngularJS模板加载用法详解
Nov 04 #Javascript
jQuery 遍历map()方法详解
Nov 04 #Javascript
Sortable.js拖拽排序使用方法解析
Nov 04 #Javascript
jQuery图片加载显示loading效果
Nov 04 #Javascript
JavaScript 深层克隆对象详解及实例
Nov 03 #Javascript
jQuery.ajax实现根据不同的Content-Type做出不同的响应
Nov 03 #Javascript
简单学习vue指令directive
Nov 03 #Javascript
You might like
解决文件名解压后乱码的问题 将文件名进行转码的代码
2012/01/10 PHP
异步加载技术实现当滚动条到最底部的瀑布流效果
2014/09/16 PHP
PHP简单选择排序算法实例
2015/01/26 PHP
PHP处理数组和XML之间的互相转换
2016/06/02 PHP
Laravel如何实现自动加载类
2019/10/14 PHP
WordPress 插件——CoolCode使用方法与下载
2007/07/02 Javascript
Node.js编码规范
2014/07/14 Javascript
js使用removeChild方法动态删除div元素
2014/08/01 Javascript
jQuery实现在textarea指定位置插入字符或表情的方法
2015/03/11 Javascript
leaflet的开发入门教程
2016/11/17 Javascript
jQuery中get方法用法分析
2016/12/07 Javascript
JavaScript设计模式之代理模式详解
2017/06/09 Javascript
基于vue2.0动态组件及render详解
2018/03/17 Javascript
React Form组件的实现封装杂谈
2018/05/07 Javascript
快速解决vue-cli在ie9+中无效的问题
2018/09/04 Javascript
小程序如何构建骨架屏
2019/05/29 Javascript
[01:07:02]DOTA2-DPC中国联赛 正赛 iG vs PSG.LGD BO3 第三场 2月26日
2021/03/11 DOTA
Python 开发Activex组件方法
2009/11/08 Python
python插入数据到列表的方法
2015/04/30 Python
python selenium 获取标签的属性值、内容、状态方法
2018/06/22 Python
python机器学习之KNN分类算法
2018/08/29 Python
对Python 3.5拼接列表的新语法详解
2018/11/08 Python
python 处理数字,把大于上限的数字置零实现方法
2019/01/28 Python
python算法与数据结构之冒泡排序实例详解
2019/06/22 Python
用python爬取历史天气数据的方法示例
2019/12/30 Python
python GUI库图形界面开发之PyQt5日期时间控件QDateTimeEdit详细使用方法与实例
2020/02/27 Python
python import 上级目录的导入
2020/11/03 Python
Qoo10台湾站:亚洲领先的在线市场
2018/05/15 全球购物
什么是GWT的Entry Point
2013/08/16 面试题
工地门卫岗位职责
2013/12/30 职场文书
公司年会晚宴演讲稿
2014/01/06 职场文书
电大本科自我鉴定
2014/02/05 职场文书
餐饮总经理岗位职责
2014/03/07 职场文书
中学生学雷锋活动心得体会
2014/03/10 职场文书
临床护理求职信
2014/04/26 职场文书
2019通用版新员工入职培训方案!
2019/07/11 职场文书