是否在Beam中将SortValues转换Java SDK扩展仅在hadoop环境中运行？

Question

我已经尝试在本地计算机（Windows）上使用SortValues转换的示例代码DirectRunner

PCollection<KV<String, KV<String, Integer>>> input = ...

PCollection<KV<String, Iterable<KV<String, Integer>>>> grouped =
input.apply(GroupByKey.<String, KV<String, Integer>>create());

PCollection<KV<String, Iterable<KV<String, Integer>>>> groupedAndSorted =
grouped.apply(SortValues.<String, String, Integer>create(BufferedExternalSorter.options()));

但是我得到了错误PipelineExecutionException: java.lang.NoClassDefFoundError: org/apache/hadoop/io/Writable。这是否意味着此转换功能仅在Hadoop环境中有效？

Answer 1

从今天开始，如果您使用Beam的版本低于2.0.0，则必须在maven pom文件中添加两个hadoop依赖项，此SortValues模块才能正常工作。

1. 添加hadoop-common2.7.3或更高版本
2. 添加hadoop-mapreduce-client-core2.7.3或更高版本。

否则，您只需要使用发行版本> = 2.0.0的Beam。