Hadoop流媒体有中文乱码与-files python

Question

我不确定“乱码”是我的问题的正确词。我的问题是这样的。我使用哈道普流-0.20.2-cdh3u6.jar和蟒蛇来编写映射还原。该命令如下所示：

hadoop jarhadoop-streaming-0.20.2-cdh3u6.jar \
 -D mapred.reduce.tasks=0 \
 -D mapred.job.priority=VERY_HIGH \
 -files probability,rule_dict,dict \
 -file "naive_bayes.py" \
 -mapper "python naive_bayes.py" \
 -input xxx \
 -output xxx

概率，rule_dict，判决是我本地存储中的目录，其中的文件包含中文单词。当我使用python读取这些文件时，我会出现错误的“乱码”。文件的一小部分：

 石块 0.000025
 最后 0.000321
 老面孔 0.000012
 GP17 0.000012
 圈 0.000136
 看个够 0.000062
 布兰 0.000062

从这些文件中读取的内容是

PB�;��W�mVKZm����e�2��U�؎��"/�1_�u�8)i~�J�N86�l}[��y8�;%(K��/P��<��F/+����=��X�n�

有办法解决我的问题吗？

我已经将相同的python脚本和相同的目录上传到映射器机器，从命令行运行它，它运行良好，没有这个问题。

文件中的单词是utf-8。

Answer 1

我已经找到了问题的根源。当上传带有-files的目录时，hadoop将创建.file_name。crc文件位于同一目录中，因此当我的代码迭代文件时，也将处理.file_name。crc，所以当编码这些文件中的字时，将崩溃。