在Java中运行Pig而不嵌入Pig脚本

Question

我是猪脚本，Hadoop，Hbase的新手。这是我需要知道的。我想运行一个Pig脚本，我不想在我的Java程序中嵌入该Pig脚本，并希望通过传递必要的Pig脚本和参数（可能是参数文件）的任何Pig
Execution方法来运行它。核心Pig库或任何其他库是否提供了执行Pig脚本的方式。我已经尝试过使用Java运行时exec方法，我用空格分隔的字符串传递了一些参数，所以我放弃了通过运行时exec方法调用pig
grunt命令，因为这不是执行Pig命令的正确方法。

Answer 1

您可以使用org.apache.pig.PigServer从Javahtml" target="_blank">程序运行Pig脚本。

PigServer pigServer = new PigServer(ExecType.MAPREDUCE);
pigServer.registerScript("scripts/test.pig");

在类路径上需要“ pig.properties”。

fs.default.name=hdfs://<namenode-hostname>:<port>
mapred.job.tracker=<jobtracker-hostname>:<port>

或将java.util.Properties的实例传递给PigServer构造函数。

Properties props = new Properties();
props.setProperty("fs.default.name", "hdfs://<namenode-hostname>:<port>");
props.setProperty("mapred.job.tracker", "<jobtracker-hostname>:<port>");
PigServer pigServer = new PigServer(ExecType.MAPREDUCE, props);