让python在hadoop上跑起来


Posted in Python onJanuary 27, 2016

本文实例讲解的是一般的hadoop入门程序“WordCount”,就是首先写一个map程序用来将输入的字符串分割成单个的单词,然后reduce这些单个的单词,相同的单词就对其进行计数,不同的单词分别输出,结果输出每一个单词出现的频数。

注意:关于数据的输入输出是通过sys.stdin(系统标准输入)和sys.stdout(系统标准输出)来控制数据的读入与输出。所有的脚本执行之前都需要修改权限,否则没有执行权限,例如下面的脚本创建之前使用“chmod +x mapper.py”

1.mapper.py

#!/usr/bin/env python
import sys

for line in sys.stdin: # 遍历读入数据的每一行
  
  line = line.strip() # 将行尾行首的空格去除
  words = line.split() #按空格将句子分割成单个单词
  for word in words:
    print '%s\t%s' %(word, 1)

2.reducer.py

#!/usr/bin/env python

from operator import itemgetter
import sys

current_word = None # 为当前单词
current_count = 0 # 当前单词频数
word = None

for line in sys.stdin:
  words = line.strip() # 去除字符串首尾的空白字符
  word, count = words.split('\t') # 按照制表符分隔单词和数量
  
  try:
    count = int(count) # 将字符串类型的‘1'转换为整型1
  except ValueError:
    continue

  if current_word == word: # 如果当前的单词等于读入的单词
    current_count += count # 单词频数加1
  else:
    if current_word: # 如果当前的单词不为空则打印其单词和频数
      print '%s\t%s' %(current_word, current_count) 
    current_count = count # 否则将读入的单词赋值给当前单词,且更新频数
    current_word = word

if current_word == word:
  print '%s\t%s' %(current_word, current_count)

在shell中运行以下脚本,查看输出结果:

echo "foo foo quux labs foo bar zoo zoo hying" | /home/wuying/mapper.py | sort -k 1,1 | /home/wuying/reducer.py

# echo是将后面“foo ****”字符串输出,并利用管道符“|”将输出数据作为mapper.py这个脚本的输入数据,并将mapper.py的数据输入到reducer.py中,其中参数sort -k 1,1是将reducer的输出内容按照第一列的第一个字母的ASCII码值进行升序排序

其实,我觉得后面这个reducer.py处理单词频数有点麻烦,将单词存储在字典里面,单词作为‘key',每一个单词出现的频数作为'value',进而进行频数统计感觉会更加高效一点。因此,改进脚本如下:

mapper_1.py

让python在hadoop上跑起来

但是,貌似写着写着用了两个循环,反而效率低了。关键是不太明白这里的current_word和current_count的作用,如果从字面上老看是当前存在的单词,那么怎么和遍历读取的word和count相区别?

下面看一些脚本的输出结果:

让python在hadoop上跑起来

我们可以看到,上面同样的输入数据,同样的shell换了不同的reducer,结果后者并没有对数据进行排序,实在是费解~

让Python代码在hadoop上跑起来!

一、准备输入数据

接下来,先下载三本书:

$ mkdir -p tmp/gutenberg
$ cd tmp/gutenberg
$ wget http://www.gutenberg.org/ebooks/20417.txt.utf-8
$ wget http://www.gutenberg.org/files/5000/5000-8.txt
$ wget http://www.gutenberg.org/ebooks/4300.txt.utf-8

 然后把这三本书上传到hdfs文件系统上:

$ hdfs dfs -mkdir /user/${whoami}/input # 在hdfs上的该用户目录下创建一个输入文件的文件夹
 $ hdfs dfs -put /home/wuying/tmp/gutenberg/*.txt /user/${whoami}/input # 上传文档到hdfs上的输入文件夹中

寻找你的streaming的jar文件存放地址,注意2.6的版本放到share目录下了,可以进入hadoop安装目录寻找该文件:

$ cd $HADOOP_HOME
$ find ./ -name "*streaming*"

然后就会找到我们的share文件夹中的hadoop-straming*.jar文件:

让python在hadoop上跑起来

寻找速度可能有点慢,因此你最好是根据自己的版本号到对应的目录下去寻找这个streaming文件,由于这个文件的路径比较长,因此我们可以将它写入到环境变量:

$ vi ~/.bashrc # 打开环境变量配置文件
# 在里面写入streaming路径
export STREAM=$HADOOP_HOME/share/hadoop/tools/lib/hadoop-streaming-*.jar

由于通过streaming接口运行的脚本太长了,因此直接建立一个shell名称为run.sh来运行:

hadoop jar $STREAM \
-files ./mapper.py,./reducer.py \
-mapper ./mapper.py \
-reducer ./reducer.py \
-input /user/$(whoami)/input/*.txt \
-output /user/$(whoami)/output

然后"source run.sh"来执行mapreduce。结果就响当当的出来啦。这里特别要提醒一下:

1、一定要把本地的输入文件转移到hdfs系统上面,否则无法识别你的input内容;

2、一定要有权限,一定要在你的hdfs系统下面建立你的个人文件夹否则就会被denied,是的,就是这两个错误搞得我在服务器上面痛不欲生,四处问人的感觉真心不如自己清醒对待来的好;

3、如果你是第一次在服务器上面玩hadoop,建议在这之前请在自己的虚拟机或者linux系统上面配置好伪分布式然后入门hadoop来的比较不那么头疼,之前我并不知道我在服务器上面运维没有给我运行的权限,后来在自己的虚拟机里面运行一下example实例以及wordcount才找到自己的错误。

好啦,然后不出意外,就会complete啦,你就可以通过如下方式查看计数结果:

让python在hadoop上跑起来

以上就是本文的全部内容,希望对大家学习python软件编程有所帮助。

Python 相关文章推荐
在Python中使用matplotlib模块绘制数据图的示例
May 04 Python
python提取字典key列表的方法
Jul 11 Python
Python的Django框架可适配的各种数据库介绍
Jul 15 Python
Python WEB应用部署的实现方法
Jan 02 Python
Python常见数据类型转换操作示例
May 08 Python
python Plotly绘图工具的简单使用
Mar 03 Python
C++和python实现阿姆斯特朗数字查找实例代码
Dec 07 Python
python excel多行合并的方法
Dec 09 Python
Python爬取梨视频的示例
Jan 29 Python
用python制作个音乐下载器
Jan 30 Python
No module named ‘win32gui‘ 的解决方法(踩坑之旅)
Feb 18 Python
python利用proxybroker构建爬虫免费IP代理池的实现
Feb 21 Python
CentOS安装pillow报错的解决方法
Jan 27 #Python
python实现文本去重且不打乱原本顺序
Jan 26 #Python
举例讲解Python设计模式编程中的访问者与观察者模式
Jan 26 #Python
Python函数中*args和**kwargs来传递变长参数的用法
Jan 26 #Python
python中的编码知识整理汇总
Jan 26 #Python
在MAC上搭建python数据分析开发环境
Jan 26 #Python
python黑魔法之编码转换
Jan 25 #Python
You might like
ThinkPHP 连接Oracle数据库的详细教程[全]
2012/07/16 PHP
CodeIgniter配置之database.php用法实例分析
2016/01/20 PHP
php无法连接mysql数据库的正确解决方法
2016/07/01 PHP
JavaScript面向对象之体会[总结]
2008/11/13 Javascript
模仿jQuery each函数的链式调用
2009/07/22 Javascript
jQuery.buildFragment使用方法及思路分析
2013/01/07 Javascript
Js中的onblur和onfocus事件应用介绍
2013/08/27 Javascript
获取鼠标在div中的相对位置的实现代码
2013/12/30 Javascript
让浏览器DOM元素最后加载的js方法
2014/07/29 Javascript
javascript中Object使用详解
2015/01/26 Javascript
Javascript中的getUTCDay()方法使用详解
2015/06/10 Javascript
深入分析Javascript事件代理
2016/01/30 Javascript
JS正则获取HTML元素的方法
2017/03/31 Javascript
Bootstrap实现各种进度条样式详解
2017/04/13 Javascript
深入理解react-router@4.0 使用和源码解析
2017/05/23 Javascript
js 只比较时间大小的实例
2017/10/26 Javascript
Angular中支持SCSS的方法
2017/11/18 Javascript
vue实现输入框的模糊查询的示例代码(节流函数的应用场景)
2019/09/01 Javascript
ES6的异步操作之promise用法和async函数的具体使用
2019/12/06 Javascript
[01:12:40]DOTA2-DPC中国联赛 正赛 DLG vs XG BO3 第三场 1月25日
2021/03/11 DOTA
Python实现统计给定列表中指定数字出现次数的方法
2018/04/11 Python
python多线程之事件Event的使用详解
2018/04/27 Python
Python实现基于KNN算法的笔迹识别功能详解
2018/07/09 Python
利用Pycharm断点调试Python程序的方法
2018/11/29 Python
python-opencv颜色提取分割方法
2018/12/08 Python
python使用pipeline批量读写redis的方法
2019/02/18 Python
Python面向对象程序设计之类的定义与继承简单示例
2019/03/18 Python
html5 datalist标签使用示例(自动完成组件)
2014/05/04 HTML / CSS
Html5 滚动穿透的方法
2019/05/13 HTML / CSS
数据库连接池的工作原理
2012/09/26 面试题
大学生军训自我评价分享
2013/11/09 职场文书
车间调度岗位职责
2013/11/30 职场文书
班级德育工作实施方案
2014/02/21 职场文书
2014年党建工作汇报材料
2014/11/02 职场文书
运动员加油词
2015/07/18 职场文书
小学班级管理心得体会
2016/01/07 职场文书