pig hbase hadoop2集成

Question

是否有人在hadoop-2.2.0的hbase-0.98.0猪-0.12.0组合的环境中成功地将数据从hadoop-2.2.0上的猪-0.12.0加载到hbase-0.98.0而没有遇到此错误：

ERROR 2998: Unhandled internal error.
org/apache/hadoop/hbase/filter/WritableByteArrayComparable

带有一行日志跟踪：

java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/filter/WritableByteArra

我在网上搜索了一下，发现了一些问题和解决方案，但它们都是指hadoop2之前的版本和base-0.94-x，它们不适用于我的情况。我有一个5节点的hadoop-2.2.0集群和一个3节点的hbase-0.98.0集群，还有一台安装了hadoop-2.2.0、base-0.98.0、pig-0.12.0的客户机。它们各自的功能都很好，我得到的hdfs、map reduce、region Server、pig都工作得很好。为了完成“从pig将数据加载到数据库”的示例，我有以下导出：

export PIG_CLASSPATH=$HADOOP_INSTALL/etc/hadoop:$HBASE_PREFIX/lib/*.jar
:$HBASE_PREFIX/lib/protobuf-java-2.5.0.jar:$HBASE_PREFIX/lib/zookeeper-3.4.5.jar

当我试图运行：猪-x本地-floaddata.pig和繁荣，以下错误：错误2998：未处理的内部错误。org/apache/hadoop/hbase/filter/WritableByteArrayCompable（这应该是我让它死亡的100次无数次尝试找出一个工作设置）。跟踪日志显示：lava.lang.NoClassDefFoundError：org/apache/hadoop/hbase/filter/WritableByteArrayCompable以下是我的猪脚本：

REGISTER /usr/local/hbase/lib/hbase-*.jar;
REGISTER /usr/local/hbase/lib/hadoop-*.jar;
REGISTER /usr/local/hbase/lib/protobuf-java-2.5.0.jar;
REGISTER /usr/local/hbase/lib/zookeeper-3.4.5.jar;
raw_data = LOAD '/home/hdadmin/200408hourly.txt' USING PigStorage(',');
weather_data = FOREACH raw_data GENERATE $1, $10;
ranked_data = RANK weather_data;
final_data = FILTER ranked_data BY $0 IS NOT NULL;
STORE final_data INTO 'hbase://weather' USING
org.apache.pig.backend.hadoop.hbase.HBaseStorage('info:date info:temp');

我已经成功创建了一个底座表'天气'。有人有成功的经验并慷慨地与我们分享吗？

Answer 1

如果您知道哪个jar文件包含缺少的类，例如org/apache/hadoop/hbase/filter/WritableByteArray，那么您可以在运行猪命令时使用pig.additional.jars属性来确保jar文件可用于所有映射器任务。

pig.additional.jarsile.jarbulkload.pig

例子：

清管器-D清管器。附加的jars=/usr/lib/hbase/lib/hbase协议。罐散装货物。猪

Answer 2

ant clean jar-withouthadoop -Dhadoopversion=23 -Dhbaseversion=95

默认情况下，它针对hbase 0.94构建。94和95是唯一的选项。