用PHP和Shell写Hadoop的MapReduce程序


Posted in PHP onApril 15, 2014

使得任何支持标准IO (stdin, stdout)的可执行程序都能成为hadoop的mapper或者 reducer。例如:

hadoop jar hadoop-streaming.jar -input SOME_INPUT_DIR_OR_FILE -output SOME_OUTPUT_DIR -mapper /bin/cat -reducer /usr/bin/wc

在这个例子里,就使用了Unix/Linux自带的cat和wc工具来作为mapper / reducer,是不是很神奇?

如果你习惯了使用一些动态语言,用动态语言来写mapreduce吧,跟之前的编程没有任何不同,hadoop只是运行它的一个框架,下面我演示一下用PHP来实现Word Counter的mapreduce。

一、找到Streaming jar

Hadoop根目录下是没有hadoop-streaming.jar的,因为streaming是一个contrib,所以要去contrib下面找,以hadoop-0.20.2为例,它在这里:

$HADOOP_HOME/contrib/streaming/hadoop-0.20.2-streaming.jar

二、写Mapper

新建一个wc_mapper.php,写入如下代码:

#!/usr/bin/php
<?php
$in = fopen(“php://stdin”, “r”);
$results = array();
while ( $line = fgets($in, 4096) )
{
$words = preg_split(‘/\W/', $line, 0, PREG_SPLIT_NO_EMPTY);
foreach ($words as $word)
$results[] = $word;
}
fclose($in);
foreach ($results as $key => $value)
{
print “$value\t1\n”;
}

这段代码的大致意思是:把输入的每行文本中的单词找出来,并以”
hello 1
world 1″
这样的形式输出出来。

和之前写的PHP基本没有什么不同,对吧,可能稍微让你感到陌生有两个地方:

PHP作为可执行程序

第一行的“#!/usr/bin/php”告诉linux,要用/usr/bin/php这个程序作为以下代码的解释器。写过linux shell的人应该很熟悉这种写法了,每个shell脚本的第一行都是这样: #!/bin/bash, #!/usr/bin/python

有了这一行,保存好这个文件以后,就可以像这样直接把wc_mapper.php当作cat, grep一样的命令执行了:./wc_mapper.php

使用stdin接收输入

PHP支持多种参数传入的方法,大家最熟悉的应该是从$_GET, $_POST超全局变量里面取通过Web传递的参数,次之是从$_SERVER['argv']里取通过命令行传入的参数,这里,采用的是标准输入stdin

它的使用效果是:

在linux控制台输入 ./wc_mapper.php

wc_mapper.php运行,控制台进入等候用户键盘输入状态

用户通过键盘输入文本

用户按下Ctrl + D终止输入,wc_mapper.php开始执行真正的业务逻辑,并将执行结果输出

那么stdout在哪呢?print本身已经就是stdout啦,跟我们以前写web程序和CLI脚本没有任何不同。

三、写Reducer

新建一个wc_reducer.php,写入如下代码:

#!/usr/bin/php
<?php
$in = fopen(“php://stdin”, “r”);
$results = array();
while ( $line = fgets($in, 4096) )
{
list($key, $value) = preg_split(“/\t/”, trim($line), 2);
$results[$key] += $value;
}
fclose($in);
ksort($results);
foreach ($results as $key => $value)
{
print “$key\t$value\n”;
}

这段代码的大意是统计每个单词出现了多少次,并以”
hello 2
world 1″
这样的形式输出。

四、用Hadoop来运行

上传要统计的示例文本

hadoop fs -put *.TXT /tmp/input

以Streaming方式执行PHP mapreduce程序

hadoop jar hadoop-0.20.2-streaming.jar -input /tmp/input -output /tmp/output -mapper wc_mapper.php的绝对路径 -reducer wc_reducer.php的绝对路径

注意:

input和output目录是在hdfs上的路径

mapper和reducer是在本地机器的路径,一定要写绝对路径,不要写相对路径,以免到时候hadoop报错说找不到mapreduce程序。

查看结果

hadoop fs -cat /tmp/output/part-00000

五、shell版的Hadoop MapReduce程序

#!/bin/bash -
# 加载配置文件
source './config.sh'
# 处理命令行参数
while getopts "d:" arg
do
 case $arg in
  d)
   date=$OPTARG
  ?)
            echo "unkonw argument"
   exit 1
    esac
done
# 默认处理日期为昨天
default_date=`date -v-1d +%Y-%m-%d`
# 最终处理日期. 如果日期格式不对, 则退出执行
date=${date:-${default_date}}
if ! [[ "$date" =~ [12][0-9]{3}-(0[1-9]|1[12])-(0[1-9]|[12][0-9]|3[01]) ]]
then
 echo "invalid date(yyyy-mm-dd): $date"
 exit 1
fi
# 待处理文件
log_files=$(${hadoop_home}bin/hadoop fs -ls ${log_file_dir_in_hdfs} | awk '{print $8}' | grep $date)
# 如果待处理文件数目为零, 则退出执行
log_files_amount=$(($(echo $log_files | wc -l) + 0))
if [ $log_files_amount -lt 1 ]
then
 echo "no log files found"
 exit 0
fi
# 输入文件列表
for f in $log_files
do
 input_files_list="${input_files_list} $f"
done
function map_reduce () {
 if ${hadoop_home}bin/hadoop jar ${streaming_jar_path} -input${input_files_list} -output ${mapreduce_output_dir}${date}/${1}/ -mapper "${mapper} ${1}" -reducer "${reducer}" -file "${mapper}"
 then
  echo "streaming job done!"
 else
  exit 1
 fi
}
# 循环处理每一个bucket
for bucket in ${bucket_list[@]}
do
 map_reduce $bucket
done
PHP 相关文章推荐
用mysql触发器自动更新memcache的实现代码
Oct 11 PHP
JpGraph php柱状图使用介绍
Aug 23 PHP
360通用php防护代码(使用操作详解)
Jun 18 PHP
迅速确定php多维数组的深度的方法
Jan 07 PHP
PHP的switch判断语句的“高级”用法详解
Oct 01 PHP
PHP中4种常用的抓取网络数据方法
Jun 04 PHP
PHP+JS三级菜单联动菜单实现方法
Feb 24 PHP
Yii编程开发常见调用技巧集锦
Jul 15 PHP
Yii2验证器(Validator)用法分析
Jul 23 PHP
PHP7.1新功能之Nullable Type用法分析
Sep 26 PHP
老生常谈PHP面向对象之解释器模式
May 17 PHP
PHP实现单例模式建立数据库连接的方法分析
Feb 11 PHP
php获取mysql字段名称和其它信息的例子
Apr 14 #PHP
PHP检测移动设备类mobile detection使用实例
Apr 14 #PHP
PHP删除数组中空值的方法介绍
Apr 14 #PHP
PHP批量删除、清除UTF-8文件BOM头的代码实例
Apr 14 #PHP
thinkphp实现数组分页示例
Apr 13 #PHP
不使用php api函数实现数组的交换排序示例
Apr 13 #PHP
php读取大文件示例分享(文件操作类)
Apr 13 #PHP
You might like
php截取字符串并保留完整xml标签的函数代码
2013/02/06 PHP
PHP获取本周第一天和最后一天示例代码
2014/02/24 PHP
PHP实现断点续传乱序合并文件的方法
2018/09/06 PHP
php使用pecl方式安装扩展操作示例
2019/08/12 PHP
Javascript中Eval函数的使用
2010/03/23 Javascript
JavaScript学习笔记(一) js基本语法
2011/10/25 Javascript
Javascript 页面模板化很多人没有使用过的方法
2012/06/05 Javascript
文本框input聚焦失焦样式实现代码
2012/10/12 Javascript
JavaScript中的this关键字介绍与使用实例
2013/06/21 Javascript
JavaScript获取FCK编辑器信息的具体方法
2013/07/12 Javascript
Jquery validation remote 验证的缓存问题解决方法
2014/03/25 Javascript
js控制网页前进和后退的方法
2015/06/08 Javascript
js动态添加的DIV中的onclick事件简单实例
2016/07/25 Javascript
JS中的hasOwnProperty()、propertyIsEnumerable()和isPrototypeOf()
2016/08/11 Javascript
easyui 中的datagrid跨页勾选问题的实现方法
2017/01/18 Javascript
原生js实现类似fullpage的单页/全屏滚动
2017/01/22 Javascript
Three.js中网格对象MESH的属性与方法详解
2017/09/27 Javascript
JS简单获得节点元素的方法示例
2018/02/10 Javascript
快速解决vue-cli在ie9+中无效的问题
2018/09/04 Javascript
Vue项目实现换肤功能的一种方案分析
2019/08/28 Javascript
d3.js 地铁轨道交通项目实战
2019/11/27 Javascript
微信小程序跨页面传递data数据方法解析
2019/12/13 Javascript
python文件操作相关知识点总结整理
2016/02/22 Python
Pandas之MultiIndex对象的示例详解
2019/06/25 Python
Django时区详解
2019/07/24 Python
使用python将最新的测试报告以附件的形式发到指定邮箱
2019/09/20 Python
python 实现两个线程交替执行
2020/05/02 Python
基于OpenCV的网络实时视频流传输的实现
2020/11/15 Python
纽约复古灵感的现代珠宝品牌:Lulu Frost
2018/03/03 全球购物
会计专业应届生求职信
2013/11/24 职场文书
党员演讲稿
2014/09/04 职场文书
大学生毕业个人总结
2015/02/15 职场文书
2015安全保卫工作总结
2015/04/25 职场文书
工会经费申请报告
2015/05/15 职场文书
学习焦裕禄观后感
2015/06/09 职场文书
MySQL范围查询优化的场景实例详解
2022/06/10 MySQL