如何使aws弹性mapreduce配置单元命令并行运行

Question

我在这里复习，

cat hive_script.hql | parallel --gnu hive -e '{}' 

Answer 1

我的问题是如何在启动时在Amazon EMR集群中设置这个“hive.exec.parallel.thread.number”选项？

将配置添加到hive-site.xml（在本例中，文件路径为./.versions/hive-0.11.0/conf/hive-site.xml)

<property>
  <name>hive.exec.parallel</name>
  <value>true</value>
  <description>Whether to execute jobs in parallel</description>
</property>

如果它们在我的例子中不相等，这些策略中的一个会产生更好的性能吗？

那是不同的.此属性控制一个配置单元作业中的不同阶段视差，因此性能取决于特定的配置单元查询。