Hadoop中的流或自定义Jar

钮承恩

2023-03-14

问题内容：

我正在使用以Python编写的mapper和reducer在Hadoop中（在Amazon
EMR上）运行流作业。我想知道如果我在Java中实现相同的mapper和reducer（或使用Pig），将会获得的速度提升。

特别是，我正在寻找人们从流媒体迁移到自定义jar部署和/或Pig的经验，以及包含这些选项的基准比较的文档。我找到了这个问题，但是答案对我来说不够具体。我不是要在Java和Python之间进行比较，而是要在Hadoop中的自定义jar部署与基于Python的流之间进行比较。

我的工作是从Google图书NGgram数据集中读取NGram计数并计算汇总度量。看来计算节点上的CPU利用率接近100％。（我也想听听您对同时进行CPU约束或IO约束作业的不同意见）。

谢谢！

问题答案：

为什么考虑部署自定义jar？

能够使用更强大的自定义输入格式。对于流作业，即使您使用此处提到的可插拔输入/输出，也将映射器/缩减器的键和值限制为文本/字符串。您将需要花费一些CPU周期才能转换为所需的类型。
Ive还听说过Hadoop在跨多个Jobs重用JVM方面很聪明，这在流式传输时是不可能的（无法确认）

什么时候使用猪？

什么时候不使用猪？

尽管Pig非常擅长于自己弄清楚有多少地图/缩小以及何时生成或缩小地图以及无数这样的事情，但是如果您不确定要多少张地图/缩小，则可以进行一些非常具体的计算您需要在Map / reduce函数中进行操作，并且对性能非常特定，那么您应该考虑部署自己的jar。此链接表明，猪的性能可能落后于原生的hadoop M / R。您也可以看一下编写自己的Pig UDF，它隔离了一些计算密集型功能（甚至可能使用JNI在UDF中调用某些本机C / C ++代码）

关于IO和CPU绑定作业的说明：

从技术上讲，hadoop和map reduce的重点是并行化计算密集型功能，因此我假设您的map和reduce作业是计算密集型的。当数据通过网络发送时，Hadoop子系统唯一的忙于IO的时间是在映射和缩减阶段之间。另外，如果您有大量数据，并且手动配置的映射太少，并减少了溢出到磁盘的数量（尽管太多的任务将导致花费太多时间启动/停止JVM和太多的小文件）。流作业会带来启动Python / Perl VM的额外开销，并使数据在JVM和脚本VM之间来回复制。