Hadoop流媒体在映射/减少操作过程中崩溃

Question

我在单个节点上使用hadoop 1.0.1，并尝试使用python 2.7流式传输制表符分隔的文件。我可以让Michael Noll的字数计数脚本使用hadoop/python运行，但无法让这个极其简单的映射器和减速器工作，只是复制文件。这是映射器：

import sys

for line in sys.stdin:
    line = line.strip()
    print '%s' % line

这是减速器：

import sys

for line in sys.stdin:
    line = line.strip()
    print line

以下是输入文件的一部分：

1   857774.000000
2   859164.000000
3   859350.000000
...

mapper和reducer在linux中运行良好：

cat input.txt | python mapper.py | sort | python reducer.py > a.out

但在我修改映射器和reducer之后，将输入文件移动到hdfs，并检查它是否在那里并运行：

bin/hadoop jar contrib/streaming/hadoop-*streaming*.jar -file mapperSimple.py -mapper mapperSimple.py -file reducerSimple.py -reducer reducerSimple.py -input inputDir/* -output outputDir

我得到以下错误：

12/06/03 10:19:11 INFO streaming.StreamJob:  map 0%  reduce 0%
12/06/03 10:20:15 ERROR streaming.StreamJob: Job not successful. Error: # of failed Map Tasks exceeded allowed limit. FailedCount: 1. LastFailedTask: task_201206030550_0003_m_000001
12/06/03 10:20:15 INFO streaming.StreamJob: killJob...
Streaming Job Failed!

有什么想法吗？谢谢

Answer 1

除了Chris White的回答，shebang头球应该是：

#!/usr/bin/env python

它将使用python2。默认情况下为7。如果您想使用python3，可以使用：

#!/usr/bin/env python3

不要使用：

#!/usr/bin/python

因为它会在大多数电脑上失败...包括我的****叹气****

查看此答案以了解更多信息

Answer 2

你的python文件有shebang/hashbang头文件吗？我想你的问题是，当Java来执行mapper python文件时，它要求操作系统执行该文件，而没有shebang/hashbang符号，它不知道如何执行该文件。我还将确保您的文件带有可执行权限（chmod a x mapperpsimple.py）：

#!/usr/bin/python
import sys

for line in sys.stdin:
    line = line.strip()
    print '%s' % line

从命令行尝试一下，以确保shell知道使用python解释器执行文件：

cat input.txt | ./mapper.py | sort | ./reducer.py > a.out