JS对大量数据进行多重过滤的方法


Posted in Javascript onNovember 04, 2016

前言

主要的需求是前端通过 Ajax 从后端取得了大量的数据,需要根据一些条件过滤,首先过滤的方法是这样的:

class Filter {
 filterA(s) {
 let data = this.filterData || this.data;
 this.filterData = data.filter(m => m.a === s);
 }
 
 filterB(s) {
 let data = this.filterData || this.data;
 this.filterData = data.filter(m => m.b === s);
 }
}

现在迷糊了,觉得这样处理数据不对,但是又不知道该怎么处理。

发现问题

问题就在过滤上,这样固然可以实现多重过滤(先调用 filterA() 再调用 filterB() 就可以实现),但是这个过滤是不可逆的。

假如过滤过程是这样:

f.filterA("a1");
f.filterB("b1");
f.filterA("a2");

本来是希望按 "a1" 和 "b1" 过滤了数据之后,再修改第一个条件为 "a2",但结果却成了空集。

解决问题

发现了问题,就针对性的解决。这个问题既然是因为过滤过程不可逆造成的,那每次都直接从 this.data 开始过滤,而不是从 this.filterData 开始过滤,就能解决问题。如果要这样做,就需要将选择的过滤条件先记录下来。

记录过滤条件

用一个列表记录过滤条件当然是可行的,但是注意对同一个条件的两次过滤是互斥的,只能保留最后一个,所以应该用 HashMap 更为合适。

class Filter {
 constructor() {
 this.filters = {};
 }

 set(key, filter) {
 this.filters[key] = filter;
 }

 getFilters() {
 return Object.keys(this.filters).map(key => this.filters[key]);
 }
}

这种情况下,像上面的过程表示为

f.set("A", m => m.a === "a1");
f.set("B", m => m.b === "b1");
f.set("A", m => m.a === "a1");

let filters = f.getFilters(); // length === 2;

上面第 3 句设置的 filter 覆盖了第 1 句设置的那个。现在再用最后取得的 filters 依次来过滤原数据 this.data,就能得到正确的结果。

有人会觉得 getFilters() 返回的列表不是按 set 的顺序的——的确,这是 HashMap 的特点,无序。不过对于简单条件的判断,不管谁先谁后,结果是一样的。但是对于一些复合条件判断,就可能会有影响。

确实需要的话,可以通过 array 代替 map 来解决一下顺序的问题,但这样查找效率会降低(线性查找)。如果还想解决查找效率的问题,可以用 array + map 来处理。这里就不多说了。

过滤

实际上在使用的时候,每次都 getFilter() 再用一个循环来处理确实比较慢。既然 data 都封装成 Filter 中,可以考虑直接给一个 filter() 方法来送货过滤接口。

class Filter {
 filter() {
 let data = this.data;
 for (let f of this.getFilters()) {
  data = data.filter(f);
 }
 return data;
 }
}

不过这样我觉得效率不太好,尤其是对大量数据的时候。不妨利用一下 lodash 的延迟处理过程。

利用 lodash 的延迟处理

filter() {
 let chain = _(this.data);
 for (let f of this.getFilters()) {
 chain = chain.filter(f);
 }
 return chain.value();
}

lodash 在数据大于 200 的时候会启用延迟处理过程,也就是说,它会处理成一个循环中依次调用每一个 filter,而不是对每一个 filter 进行一次循环。

延迟处理和非延迟处理通过下图可以看出来区别。非延迟处理总共会进行 n(这里 n = 3) 次大循环,产生 n - 1 个中间结果。而延迟处理只会进行一次大循环,没有中间结果产生。

JS对大量数据进行多重过滤的方法

不过说实在的,我不太喜欢为了一点小事多加载一个库,所以干脆自己做个简单的实现

自己实现延迟处理

filter() {
 const filters = this.getFilters();
 return data.filter(m => {
 for (let f of filters) {
  // 如果某个 filter 已经把它过滤掉了,也不用再用后面的 filter 来判断了
  if (!f(m)) {
  return false;
  }
 }
 return true;
 });
}

里面的 for 循环还可以用 Array.prototype.every 来简化:

filter() {
 const filters = this.getFilters();
 return data.filter(m => {
 return filters.every(f => f(m));
 });
}

数据过滤其实并不是多复杂的事情,只要把思路理清楚,搞明白什么数据是需要保留的,什么数据是临时(中间过程)的,什么数据是最终结果……利用 Array.prototype 中的相关方法,或者诸如 lodash 之类的工具,很容易就处理出来了。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作能有所帮助,如果有疑问大家可以留言交流。

Javascript 相关文章推荐
一个JS小玩意 几个属性相加不能超过一个特定值.
Sep 29 Javascript
php对mongodb的扩展(小试牛刀)
Nov 11 Javascript
html+javascript实现可拖动可提交的弹出层对话框效果
Aug 05 Javascript
jquery中 $.expr使用实例介绍
Jun 09 Javascript
JavaScript实现计算字符串中出现次数最多的字符和出现的次数
Mar 12 Javascript
Knockout结合Bootstrap创建动态UI实现产品列表管理
Sep 14 Javascript
微信小程序 Tab页切换更新数据
Jan 05 Javascript
微信小程序 共用变量值的实现
Jul 12 Javascript
javascript cookie的基本操作(添加和删除)
Jul 24 Javascript
JQuery判断正整数整理小结
Aug 21 jQuery
vue实现拖拽效果
Dec 23 Javascript
Ant Design的可编辑Tree的实现操作
Oct 31 Javascript
AngularJS模板加载用法详解
Nov 04 #Javascript
jQuery 遍历map()方法详解
Nov 04 #Javascript
Sortable.js拖拽排序使用方法解析
Nov 04 #Javascript
jQuery图片加载显示loading效果
Nov 04 #Javascript
JavaScript 深层克隆对象详解及实例
Nov 03 #Javascript
jQuery.ajax实现根据不同的Content-Type做出不同的响应
Nov 03 #Javascript
简单学习vue指令directive
Nov 03 #Javascript
You might like
PHP 递归效率分析
2009/11/24 PHP
php绘制一条弧线的方法
2015/01/24 PHP
PHP转换文本框内容为HTML格式的方法
2016/07/20 PHP
PHP实现的只保留字符串首尾字符功能示例【隐藏部分字符串】
2019/03/11 PHP
DOM精简教程
2006/10/03 Javascript
ajax 文件上传应用简单实现
2009/03/03 Javascript
js实现右下角可关闭最小化div(可用于展示推荐内容)
2013/06/24 Javascript
jQuery实现可收缩展开的级联菜单实例代码
2013/11/27 Javascript
代码获取历史上的今天发生的事
2014/04/11 Javascript
JavaScript的9种继承实现方式归纳
2015/05/18 Javascript
6种javascript显示当前系统时间代码
2015/12/01 Javascript
JS实现的简易拖放效果示例
2016/12/29 Javascript
jquery实现下拉菜单的手风琴效果
2017/07/23 jQuery
详解如何使用webpack+es6开发angular1.x
2017/08/16 Javascript
对angularjs框架下controller间的传值方法详解
2018/10/08 Javascript
详解puppeteer使用代理
2018/12/27 Javascript
深入学习JavaScript 高阶函数
2019/06/11 Javascript
JavaScript undefined及null区别实例解析
2020/07/21 Javascript
vue使用echarts实现水平柱形图实例
2020/09/09 Javascript
一则python3的简单爬虫代码
2014/05/26 Python
pandas进行数据的交集与并集方式的数据合并方法
2018/06/27 Python
使用python验证代理ip是否可用的实现方法
2018/07/25 Python
关于python多重赋值的小问题
2019/04/17 Python
django2.2安装错误最全的解决方案(小结)
2019/09/24 Python
python+selenium+chrome批量文件下载并自动创建文件夹实例
2020/04/27 Python
python gui开发——制作抖音无水印视频下载工具(附源码)
2021/02/07 Python
sklearn中的交叉验证的实现(Cross-Validation)
2021/02/22 Python
H5调用相机拍照并压缩图片的实例代码
2017/07/20 HTML / CSS
武汉世纪畅想数字传播有限公司 .NET笔试题
2015/06/13 面试题
Windows和Linux动态库应用异同
2016/07/28 面试题
cf收人广告词
2014/03/14 职场文书
《故乡》教学反思
2014/04/10 职场文书
表彰大会策划方案
2014/05/13 职场文书
加强作风建设演讲稿
2014/10/24 职场文书
2015年医生个人工作总结
2015/04/25 职场文书
使用pd.merge表连接出现多余行的问题解决
2022/06/16 Python