使用python模块的hadoop流

Question

我在stackoverflow上看到过一种使用zip文件存储引用的python模块来执行hadoop流作业的技术。

在执行作业的映射阶段，我遇到了一些错误。我相当确定它与zip'd模块加载有关。

为了调试脚本，我使用命令行管道通过sys.stdin/sys.stdout运行我的数据集，进入我的映射器和缩减器，如下所示：

输入数据文件的头。txt|./映射器。py |排序-k1,1|./reducer.py

结果看起来很棒。

但是，当我通过hadoop运行它时，我开始遇到一些问题。即：映射器和减速器失败，整个hadoop作业完全失败。

我的 zip'd 模块文件包含 *.pyc 文件 - 这会影响这件事吗？

另外，我在哪里可以找到使用hadoop流在映射/还原过程中生成的错误？

我使用了-file命令行参数来告诉hadoop zip'd模块的位置以及我的映射器和减速器脚本的位置。

我没有做任何疯狂的配置选项来增加工作中使用的映射器和减速器的数量。

任何帮助将不胜感激！谢谢！

Answer 1

在查看sent_tokenize的源代码后，看起来nltk.sent_tokenize，nltk.tokenize.sent_tokenize方法/函数依赖于泡菜文件（用于进行pickt标记化的文件）来操作。

由于这是Hadoop流式传输，因此您必须弄清楚将泡菜文件放入添加到hadoop作业的jar中的zip'd代码模块的位置/方式。

底线？我建议使用RegexpTokenizer类来进行句子和单词级别的标记化。