JavaScript mapreduce工作原理简析


Posted in Javascript onNovember 25, 2012

谷歌在2003到2006年间连续发表了三篇非常有影响力的文章,分别是2003年在SOSP上发布的GFS,2004年在OSDI上发布的MapReduce,以及2006年在OSDI上发布的BigTable。GFS是文件系统相关的,其对后来的分布式文件系统设计具有指导意义;MapReduce是一种并行计算的编程模型,用于作业调度;BigTable是一个用于管理结构化数据的分布式存储系统,构建在GFS、Chubby、SSTable等Google技术之上。相当多的Google应用使用了这三种技术,比如Google Search、Google Earth和Google Analytics等等。因此这三种技术并称为谷歌技术”三宝”。今天,D瓜哥班门弄斧,对MapReduce来个”庖丁解牛”!

MapReduce简介
MapReduce是一个编程模型,也是一个处理和生成超大数据集的算法模型的相关实现。用户首先创建一
个Map函数处理一个基于key/value pair的数据集合,输出中间的基于key/value pair的数据集合;然后
再创建一个Reduce函数用来合并所有的具有相同中间key值的中间value值。
一图胜千言,下面我们用一张图来说明一下MapReduce:

JavaScript mapreduce工作原理简析

 
编程实践
常言道:”实践出真知” 。是骡子是马,拉出来遛遛才知道。所以,如果真的想搞懂这个原理,还是亲自写代码实践一下才是硬道理。
最近和几个朋友一起学习JavaScript,所以就比较关注JavaScript。昨天上网瞎逛时,惊奇地发现,竟然有牛人使用JavaScript实现了MapReduce算法。然后转过来和大家分享,同时再加上我自己的一些狗尾续貂的介绍,希望有助于大家理解MapReduce。具体代码实现如下:

var Job = { 
//待处理的数据 
data : [ 
"We are glad to see you here. This site is dedicated to", 
"poetry and to the people who make poetry possible", 
"poets and their readers. FamousPoetsAndPoems.com is", 
"a free poetry site. On our site you can find a large", 
"collection of poems and quotes from over 631 poets", 
"Read and Enjoy Poetry", 
"I, too, sing America", 
"I am the darker brother", 
"They send me to eat in the kitchen", 
"When company comes", 
"But I laugh", 
"And eat well", 
"And grow strong", 
"Tomorrow", 
"Ill be at the table", 
"When company comes", 
"Nobodyll dare", 
"Say to me", 
"Eat in the kitchen", 
"Then", 
"Besides", 
"Theyll see how beautiful I am", 
"And be ashamed", 
"I, too, am America" 
], 
//将数据中的每行字符串用空格分隔开, 
//并"重组"成诸如{key: 单词, value: 1}格式的对象,返回对象数组 
map : function(line) { 
var splits = line.split(" "); 
var temp = []; 
for(var i=0; i<splits.length; i++) { 
temp.push({key : splits[i], value : 1}); 
} 
return temp; 
}, 
//计算每个单词在"数据"(data)中出现的次数 
reduce : function(allSteps) { 
var result = {}; 
for(var i=0; i<allSteps.length; i++) { 
var step = allSteps[i]; 
result[step.key] = result[step.key] ? (result[step.key] + 1) : 1; 
} 
return result; 
}, 
//初始化,同时是运行的入口。 
init : function() { 
var allSteps = []; 
for(var i=0; i<Job.data.length; i++) { 
//如果这里能多线程调用Job.map函数就更逼真了。?? 
allSteps = allSteps.concat(Job.map(Job.data[i])); 
} 
//美中不足,这里不能多线程调用Job.reduce函数?? 
var result = Job.reduce(allSteps) 
console.log(JSON.stringify(result)); 
} 
}; // Job 
//开始执行 
Job.init();

复制这些代码,直接粘贴到浏览器的控制台(Console)中,或者放到一个HTML文件中,用浏览器打开,就可以在控制台输出中,看到效果如下:

美中不足
这篇文章发布出来之后,就有网友“咆哮”:“一个连多线程都没有的js 搞什么MapReduce啊?”其实,这个问题,D瓜哥也发现了。在看到这个代码的解释后,D瓜哥就纳闷JavaScript不是单进程吗?怎么还能模拟MapReduce?在认真阅读代码,单步调试之后,更加印证了D瓜哥的看法。(关于D瓜哥的疑问已经在代码中注释出来。)
不过,再想一下,这些并不影响我们去理解MapReduce的原理。这只是个单进程,最基础的版本。先理解了这个,再去整个多线程的也许就更容易理解了。

未完待续
其实,D瓜哥现在考虑在这个例子的基础上,用Java实现一个多线程版本,那样模拟的MapReduce更逼真。等D瓜哥把一些问题思考清楚之后,就把代码发出来。敬请期待!

Javascript 相关文章推荐
博客侧边栏模块跟随滚动条滑动固定效果的实现方法(js+jquery等)
Mar 24 Javascript
JS实现点击链接取消跳转效果的方法
Jan 24 Javascript
基于jquery固定于顶部的导航响应浏览器滚动条事件
Nov 02 Javascript
jquery实现动态画圆
Dec 04 Javascript
Angular实现下载安装包的功能代码分享
Sep 05 Javascript
vue项目中使用axios上传图片等文件操作
Nov 02 Javascript
vue.js $refs和$emit 父子组件交互的方法
Dec 20 Javascript
解决Vue2.0 watch对象属性变化监听不到的问题
Sep 11 Javascript
JS/HTML5游戏常用算法之路径搜索算法 随机迷宫算法详解【普里姆算法】
Dec 13 Javascript
浅谈Angular7 项目开发总结
Dec 19 Javascript
如何使用CSS3+JQuery实现悬浮墙式菜单
Jun 18 jQuery
微信小程序官方动态自定义底部tabBar的例子
Sep 04 Javascript
jquery div 居中技巧应用介绍
Nov 24 #Javascript
js实现在文本框光标处添加字符的方法介绍
Nov 24 #Javascript
js获取TreeView控件选中节点的Text和Value值的方法
Nov 24 #Javascript
js 连接数据库如何操作数据库中的数据
Nov 23 #Javascript
js 如何实现对数据库的增删改查
Nov 23 #Javascript
Js如何判断客户端是PC还是手持设备简单分析
Nov 22 #Javascript
IE下使用cloneNode注意事项分享
Nov 22 #Javascript
You might like
ninety plus是什么?ninety plus咖啡好吗?
2021/03/04 新手入门
php完全过滤HTML,JS,CSS等标签
2009/01/16 PHP
PHP开启gzip页面压缩实例代码
2010/03/11 PHP
php cookie的操作实现代码(登录)
2010/12/29 PHP
精美漂亮的php分页类代码
2013/04/02 PHP
php使用cookie显示用户上次访问网站日期的方法
2015/01/26 PHP
微信公众平台DEMO(PHP)
2016/05/04 PHP
PHP实现绘制二叉树图形显示功能详解【包括二叉搜索树、平衡树及红黑树】
2017/11/16 PHP
php支付宝系列之电脑网站支付
2018/05/30 PHP
Laravel 默认邮箱登录改成用户名登录的实现方法
2019/08/12 PHP
Laravel 连接(Join)示例
2019/10/16 PHP
利用js 进行输入框自动匹配字符的小例子
2013/06/29 Javascript
使用js实现按钮控制文本框加1减1应用于小时+分钟
2013/12/09 Javascript
使用firebug进行调试javascript的示例
2013/12/16 Javascript
Jquery实现textarea根据文本内容自适应高度
2015/04/03 Javascript
浅谈Angular.js中使用$watch监听模型变化
2017/01/10 Javascript
基于AngularJS实现的工资计算器实例
2017/06/16 Javascript
详解Vue一个案例引发「内容分发slot」的最全总结
2018/12/02 Javascript
Cocos2d实现刮刮卡效果
2018/12/20 Javascript
vue-i18n结合Element-ui的配置方法
2019/05/20 Javascript
17道题让你彻底理解JS中的类型转换
2019/08/08 Javascript
vue-resource post数据时碰到Django csrf问题的解决
2020/03/13 Javascript
Node.js fs模块原理及常见用途
2020/10/22 Javascript
[01:10]DOTA2亚洲邀请赛 征战号角响彻全场
2015/01/06 DOTA
Python简单实现安全开关文件的两种方式
2016/09/19 Python
Python使用pickle模块存储数据报错解决示例代码
2018/01/26 Python
Python面向对象程序设计之类的定义与继承简单示例
2019/03/18 Python
教师自荐信
2013/12/10 职场文书
高一新生军训感言
2014/03/02 职场文书
经贸专业毕业生求职信
2014/03/23 职场文书
购房意向书
2014/04/01 职场文书
书法兴趣小组活动总结
2014/07/07 职场文书
公务员中国梦演讲稿
2014/08/19 职场文书
导游词格式
2015/02/13 职场文书
以下牛机,你有几个
2022/04/05 无线电
vue生命周期钩子函数以及触发时机
2022/04/26 Vue.js