让python在hadoop上跑起来


Posted in Python onJanuary 27, 2016

本文实例讲解的是一般的hadoop入门程序“WordCount”,就是首先写一个map程序用来将输入的字符串分割成单个的单词,然后reduce这些单个的单词,相同的单词就对其进行计数,不同的单词分别输出,结果输出每一个单词出现的频数。

注意:关于数据的输入输出是通过sys.stdin(系统标准输入)和sys.stdout(系统标准输出)来控制数据的读入与输出。所有的脚本执行之前都需要修改权限,否则没有执行权限,例如下面的脚本创建之前使用“chmod +x mapper.py”

1.mapper.py

#!/usr/bin/env python
import sys

for line in sys.stdin: # 遍历读入数据的每一行
  
  line = line.strip() # 将行尾行首的空格去除
  words = line.split() #按空格将句子分割成单个单词
  for word in words:
    print '%s\t%s' %(word, 1)

2.reducer.py

#!/usr/bin/env python

from operator import itemgetter
import sys

current_word = None # 为当前单词
current_count = 0 # 当前单词频数
word = None

for line in sys.stdin:
  words = line.strip() # 去除字符串首尾的空白字符
  word, count = words.split('\t') # 按照制表符分隔单词和数量
  
  try:
    count = int(count) # 将字符串类型的‘1'转换为整型1
  except ValueError:
    continue

  if current_word == word: # 如果当前的单词等于读入的单词
    current_count += count # 单词频数加1
  else:
    if current_word: # 如果当前的单词不为空则打印其单词和频数
      print '%s\t%s' %(current_word, current_count) 
    current_count = count # 否则将读入的单词赋值给当前单词,且更新频数
    current_word = word

if current_word == word:
  print '%s\t%s' %(current_word, current_count)

在shell中运行以下脚本,查看输出结果:

echo "foo foo quux labs foo bar zoo zoo hying" | /home/wuying/mapper.py | sort -k 1,1 | /home/wuying/reducer.py

# echo是将后面“foo ****”字符串输出,并利用管道符“|”将输出数据作为mapper.py这个脚本的输入数据,并将mapper.py的数据输入到reducer.py中,其中参数sort -k 1,1是将reducer的输出内容按照第一列的第一个字母的ASCII码值进行升序排序

其实,我觉得后面这个reducer.py处理单词频数有点麻烦,将单词存储在字典里面,单词作为‘key',每一个单词出现的频数作为'value',进而进行频数统计感觉会更加高效一点。因此,改进脚本如下:

mapper_1.py

让python在hadoop上跑起来

但是,貌似写着写着用了两个循环,反而效率低了。关键是不太明白这里的current_word和current_count的作用,如果从字面上老看是当前存在的单词,那么怎么和遍历读取的word和count相区别?

下面看一些脚本的输出结果:

让python在hadoop上跑起来

我们可以看到,上面同样的输入数据,同样的shell换了不同的reducer,结果后者并没有对数据进行排序,实在是费解~

让Python代码在hadoop上跑起来!

一、准备输入数据

接下来,先下载三本书:

$ mkdir -p tmp/gutenberg
$ cd tmp/gutenberg
$ wget http://www.gutenberg.org/ebooks/20417.txt.utf-8
$ wget http://www.gutenberg.org/files/5000/5000-8.txt
$ wget http://www.gutenberg.org/ebooks/4300.txt.utf-8

 然后把这三本书上传到hdfs文件系统上:

$ hdfs dfs -mkdir /user/${whoami}/input # 在hdfs上的该用户目录下创建一个输入文件的文件夹
 $ hdfs dfs -put /home/wuying/tmp/gutenberg/*.txt /user/${whoami}/input # 上传文档到hdfs上的输入文件夹中

寻找你的streaming的jar文件存放地址,注意2.6的版本放到share目录下了,可以进入hadoop安装目录寻找该文件:

$ cd $HADOOP_HOME
$ find ./ -name "*streaming*"

然后就会找到我们的share文件夹中的hadoop-straming*.jar文件:

让python在hadoop上跑起来

寻找速度可能有点慢,因此你最好是根据自己的版本号到对应的目录下去寻找这个streaming文件,由于这个文件的路径比较长,因此我们可以将它写入到环境变量:

$ vi ~/.bashrc # 打开环境变量配置文件
# 在里面写入streaming路径
export STREAM=$HADOOP_HOME/share/hadoop/tools/lib/hadoop-streaming-*.jar

由于通过streaming接口运行的脚本太长了,因此直接建立一个shell名称为run.sh来运行:

hadoop jar $STREAM \
-files ./mapper.py,./reducer.py \
-mapper ./mapper.py \
-reducer ./reducer.py \
-input /user/$(whoami)/input/*.txt \
-output /user/$(whoami)/output

然后"source run.sh"来执行mapreduce。结果就响当当的出来啦。这里特别要提醒一下:

1、一定要把本地的输入文件转移到hdfs系统上面,否则无法识别你的input内容;

2、一定要有权限,一定要在你的hdfs系统下面建立你的个人文件夹否则就会被denied,是的,就是这两个错误搞得我在服务器上面痛不欲生,四处问人的感觉真心不如自己清醒对待来的好;

3、如果你是第一次在服务器上面玩hadoop,建议在这之前请在自己的虚拟机或者linux系统上面配置好伪分布式然后入门hadoop来的比较不那么头疼,之前我并不知道我在服务器上面运维没有给我运行的权限,后来在自己的虚拟机里面运行一下example实例以及wordcount才找到自己的错误。

好啦,然后不出意外,就会complete啦,你就可以通过如下方式查看计数结果:

让python在hadoop上跑起来

以上就是本文的全部内容,希望对大家学习python软件编程有所帮助。

Python 相关文章推荐
Python random模块常用方法
Nov 03 Python
详解python实现读取邮件数据并下载附件的实例
Aug 03 Python
Python处理文本换行符实例代码
Feb 03 Python
python3安装pip3(install pip3 for python 3.x)
Apr 03 Python
python tkinter界面居中显示的方法
Oct 11 Python
python生成以及打开json、csv和txt文件的实例
Nov 16 Python
python实现创建新列表和新字典,并使元素及键值对全部变成小写
Jan 15 Python
Python OS模块实例详解
Apr 15 Python
Python简易版图书管理系统
Aug 12 Python
Python实现从N个数中找到最大的K个数
Apr 02 Python
Python类成员继承重写的实现
Sep 16 Python
在vscode中启动conda虚拟环境的思路详解
Dec 25 Python
CentOS安装pillow报错的解决方法
Jan 27 #Python
python实现文本去重且不打乱原本顺序
Jan 26 #Python
举例讲解Python设计模式编程中的访问者与观察者模式
Jan 26 #Python
Python函数中*args和**kwargs来传递变长参数的用法
Jan 26 #Python
python中的编码知识整理汇总
Jan 26 #Python
在MAC上搭建python数据分析开发环境
Jan 26 #Python
python黑魔法之编码转换
Jan 25 #Python
You might like
phpmyadmin 常用选项设置详解版
2010/03/07 PHP
PHP入门教程之数学运算技巧总结
2016/09/11 PHP
YII2框架中日志的配置与使用方法实例分析
2020/03/18 PHP
JavaScript 组件之旅(一)分析和设计
2009/10/28 Javascript
jQuery.extend 函数详解
2012/02/03 Javascript
js数组方法扩展实现数组统计函数
2014/04/09 Javascript
JavaScript数组去重的3种方法和代码实例
2015/07/01 Javascript
使用jspdf生成pdf报表
2015/07/03 Javascript
表单验证插件Validation应用的实例讲解
2015/10/10 Javascript
jquery实现表格隔行换色效果
2015/11/19 Javascript
使用Function.apply()的参数数组化来提高 JavaScript程序性能的技巧
2015/12/23 Javascript
jQuery文字提示与图片提示效果实现方法
2016/07/04 Javascript
bootstrap基本配置_动力节点Java学院整理
2017/07/14 Javascript
通过V8源码看一个关于JS数组排序的诡异问题
2017/08/14 Javascript
Vue组件实例间的直接访问实现代码
2017/08/20 Javascript
Vue 进入/离开动画效果
2017/12/26 Javascript
vue.js,ajax渲染页面的实例
2018/02/11 Javascript
纯 JS 实现放大缩小拖拽功能(完整代码)
2019/11/25 Javascript
Element-UI+Vue模式使用总结
2020/01/02 Javascript
nuxt.js服务端渲染中axios和proxy代理的配置操作
2020/11/06 Javascript
Python遍历目录中的所有文件的方法
2016/07/08 Python
Python使用PIL模块生成随机验证码
2017/11/21 Python
在unittest中使用 logging 模块记录测试数据的方法
2018/11/30 Python
python 实现多线程下载m3u8格式视频并使用fmmpeg合并
2019/11/15 Python
Python中使用filter过滤列表的一个小技巧分享
2020/05/02 Python
基于python+selenium自动健康打卡的实现代码
2021/01/13 Python
IE8下CSS3选择器nth-child() 不兼容问题的解决方法
2016/11/16 HTML / CSS
size?爱尔兰官方网站:英国伦敦的球鞋精品店
2019/03/31 全球购物
巴西24小时在线药房:Droga Raia
2020/05/12 全球购物
C语言变量的命名规则都有哪些
2013/12/27 面试题
简历中个人自我评价范文
2013/12/26 职场文书
员工培训协议书
2014/09/15 职场文书
党员个人对照检查材料思想汇报
2014/09/16 职场文书
2015年办公室文员工作总结
2015/04/24 职场文书
追悼会家属答谢词
2015/09/29 职场文书
HTML5来实现本地文件读取和写入的实现方法
2021/05/25 HTML / CSS