JS对大量数据进行多重过滤的方法


Posted in Javascript onNovember 04, 2016

前言

主要的需求是前端通过 Ajax 从后端取得了大量的数据,需要根据一些条件过滤,首先过滤的方法是这样的:

class Filter {
 filterA(s) {
 let data = this.filterData || this.data;
 this.filterData = data.filter(m => m.a === s);
 }
 
 filterB(s) {
 let data = this.filterData || this.data;
 this.filterData = data.filter(m => m.b === s);
 }
}

现在迷糊了,觉得这样处理数据不对,但是又不知道该怎么处理。

发现问题

问题就在过滤上,这样固然可以实现多重过滤(先调用 filterA() 再调用 filterB() 就可以实现),但是这个过滤是不可逆的。

假如过滤过程是这样:

f.filterA("a1");
f.filterB("b1");
f.filterA("a2");

本来是希望按 "a1" 和 "b1" 过滤了数据之后,再修改第一个条件为 "a2",但结果却成了空集。

解决问题

发现了问题,就针对性的解决。这个问题既然是因为过滤过程不可逆造成的,那每次都直接从 this.data 开始过滤,而不是从 this.filterData 开始过滤,就能解决问题。如果要这样做,就需要将选择的过滤条件先记录下来。

记录过滤条件

用一个列表记录过滤条件当然是可行的,但是注意对同一个条件的两次过滤是互斥的,只能保留最后一个,所以应该用 HashMap 更为合适。

class Filter {
 constructor() {
 this.filters = {};
 }

 set(key, filter) {
 this.filters[key] = filter;
 }

 getFilters() {
 return Object.keys(this.filters).map(key => this.filters[key]);
 }
}

这种情况下,像上面的过程表示为

f.set("A", m => m.a === "a1");
f.set("B", m => m.b === "b1");
f.set("A", m => m.a === "a1");

let filters = f.getFilters(); // length === 2;

上面第 3 句设置的 filter 覆盖了第 1 句设置的那个。现在再用最后取得的 filters 依次来过滤原数据 this.data,就能得到正确的结果。

有人会觉得 getFilters() 返回的列表不是按 set 的顺序的——的确,这是 HashMap 的特点,无序。不过对于简单条件的判断,不管谁先谁后,结果是一样的。但是对于一些复合条件判断,就可能会有影响。

确实需要的话,可以通过 array 代替 map 来解决一下顺序的问题,但这样查找效率会降低(线性查找)。如果还想解决查找效率的问题,可以用 array + map 来处理。这里就不多说了。

过滤

实际上在使用的时候,每次都 getFilter() 再用一个循环来处理确实比较慢。既然 data 都封装成 Filter 中,可以考虑直接给一个 filter() 方法来送货过滤接口。

class Filter {
 filter() {
 let data = this.data;
 for (let f of this.getFilters()) {
  data = data.filter(f);
 }
 return data;
 }
}

不过这样我觉得效率不太好,尤其是对大量数据的时候。不妨利用一下 lodash 的延迟处理过程。

利用 lodash 的延迟处理

filter() {
 let chain = _(this.data);
 for (let f of this.getFilters()) {
 chain = chain.filter(f);
 }
 return chain.value();
}

lodash 在数据大于 200 的时候会启用延迟处理过程,也就是说,它会处理成一个循环中依次调用每一个 filter,而不是对每一个 filter 进行一次循环。

延迟处理和非延迟处理通过下图可以看出来区别。非延迟处理总共会进行 n(这里 n = 3) 次大循环,产生 n - 1 个中间结果。而延迟处理只会进行一次大循环,没有中间结果产生。

JS对大量数据进行多重过滤的方法

不过说实在的,我不太喜欢为了一点小事多加载一个库,所以干脆自己做个简单的实现

自己实现延迟处理

filter() {
 const filters = this.getFilters();
 return data.filter(m => {
 for (let f of filters) {
  // 如果某个 filter 已经把它过滤掉了,也不用再用后面的 filter 来判断了
  if (!f(m)) {
  return false;
  }
 }
 return true;
 });
}

里面的 for 循环还可以用 Array.prototype.every 来简化:

filter() {
 const filters = this.getFilters();
 return data.filter(m => {
 return filters.every(f => f(m));
 });
}

数据过滤其实并不是多复杂的事情,只要把思路理清楚,搞明白什么数据是需要保留的,什么数据是临时(中间过程)的,什么数据是最终结果……利用 Array.prototype 中的相关方法,或者诸如 lodash 之类的工具,很容易就处理出来了。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作能有所帮助,如果有疑问大家可以留言交流。

Javascript 相关文章推荐
JScript内置对象Array中元素的删除方法
Mar 08 Javascript
Extjs gridpanel 出现横向滚动条问题的解决方法
Jul 04 Javascript
js在数组中删除重复的元素自保留一个(两种实现思路)
Aug 22 Javascript
简介JavaScript中search()方法的使用
Jun 06 Javascript
jquery实现可旋转可拖拽的文字效果代码
Jan 27 Javascript
基于JavaScript实现快速转换文本语言(繁体中文和简体中文)
Mar 07 Javascript
jquery根据td给相同tr下其他td赋值的实现方法
Oct 05 Javascript
javascript 内置对象及常见API详细介绍
Nov 01 Javascript
基于bootstrap的选择框插件icheck
Dec 23 Javascript
Bootstrap 过渡效果Transition 模态框(Modal)
Mar 17 Javascript
微信小程序实现选项卡效果
Nov 06 Javascript
使用compose函数优化代码提高可读性及扩展性
Jun 16 Javascript
AngularJS模板加载用法详解
Nov 04 #Javascript
jQuery 遍历map()方法详解
Nov 04 #Javascript
Sortable.js拖拽排序使用方法解析
Nov 04 #Javascript
jQuery图片加载显示loading效果
Nov 04 #Javascript
JavaScript 深层克隆对象详解及实例
Nov 03 #Javascript
jQuery.ajax实现根据不同的Content-Type做出不同的响应
Nov 03 #Javascript
简单学习vue指令directive
Nov 03 #Javascript
You might like
centos 7.2下搭建LNMP环境教程
2016/11/20 PHP
百度留言本js 大家可以参考下
2009/10/13 Javascript
JS删除数组元素的函数介绍
2013/03/27 Javascript
jquery中show()、hide()和toggle()用法实例
2015/01/15 Javascript
jQuery实现仿路边灯箱广告图片轮播效果
2015/04/15 Javascript
Bootstrap与KnockoutJs相结合实现分页效果实例详解
2016/05/03 Javascript
微信小程序 教程之注册页面
2016/10/17 Javascript
JS作用域深度解析
2016/12/29 Javascript
bootstrapValidator.min.js表单验证插件
2017/02/09 Javascript
canvas绘制爱心的几种方法总结(推荐)
2017/10/31 Javascript
javascript字体颜色控件的开发 JS实现字体控制
2017/11/27 Javascript
AngularJS基于MVC的复杂操作实例讲解
2017/12/31 Javascript
vue webpack开发访问后台接口全局配置的方法
2018/09/18 Javascript
javascript面向对象三大特征之继承实例详解
2019/07/24 Javascript
python虚拟环境 virtualenv的简单使用
2020/01/21 Javascript
element-ui树形控件后台返回的数据+生成组织树的工具类
2020/03/05 Javascript
[01:01:43]EG vs VP 2018国际邀请赛淘汰赛BO3 第二场 8.24
2018/08/25 DOTA
python实现的一个火车票转让信息采集器
2014/07/09 Python
Python实现快速排序算法及去重的快速排序的简单示例
2016/06/26 Python
Python多项式回归的实现方法
2019/03/11 Python
Python进阶之@property动态属性的实现
2019/04/01 Python
django settings.py 配置文件及介绍
2019/07/15 Python
python turtle 绘制太极图的实例
2019/12/18 Python
详解快速开发基于 HTML5 网络拓扑图应用
2018/01/08 HTML / CSS
杭州SQL浙江浙大网新恩普软件有限公司
2013/07/27 面试题
广州某公司软件工程师面试题
2014/12/22 面试题
Java如何支持I18N?
2016/10/31 面试题
材料物理专业个人求职信
2013/12/15 职场文书
公积金单位接收函
2014/01/11 职场文书
竞聘演讲稿范文
2014/01/12 职场文书
公务员年终个人总结
2015/02/12 职场文书
2015年公路养护工作总结
2015/05/13 职场文书
工作经历证明范本
2015/06/15 职场文书
2019年恭贺升学祝福语集锦
2019/08/15 职场文书
在 HTML 页面中使用 React的场景分析
2022/01/18 Javascript
将MySQL的表数据全量导入clichhouse库中
2022/03/21 MySQL