当前位置: 首页 > 知识库问答 >
问题:

猪HBASE失败;存储CSV

汤弘文
2023-03-14

我从环境Hadoop、HBase、Pig开始;我会在Hbase表上存储一个数据库;以下是我的请求:

hbase->create创建我的数据库。

我在HDFS文件hadoop dfs-copyFromLocal~/data.csv/user/hduser/location.csv上重新启动了我的CVS文件

我处决了我的请求猪

raw_data=使用PigStorage(“;”)加载'/user/hduser/data.csv‘AS(气象组织:int,成熟度:charArray,温度:int,temps_present:int,direction_du_vent:int,force_du_vent:int,pressure:int);

使用org.apache.pig.backend.hadoop.hbase.hbaseStorage存储到raw_data'hbase://trafficflowgrenoble'中(WMO:int maturity:charArray t温:int temps_present:direction_du_vent int int force_du_vent int pressent:int');

以下是我的错误:2013-07-22 22:30:31,870[main]错误org.apache.pig.tools.pigstats.pigstatsUtil-1映射还原作业失败!2013-07-22 22:30:31,872[主]信息org.apache.pig.tools.pigstats.SimplePigstats-脚本统计信息:

HadoopVersion PigVersion UserId StartedAt FinishedAt Features 1.1.2 0.11.1 hduser 2013-07-22 22:28:45 2013-07-22 22:30:31未知

失败了!

失败的作业:作业ID别名特性消息输出job_201307222219_0001 raw_data MAP_ONLY消息:作业失败!错误-失败JobCleanup任务,任务:task_201307222219_0001_m_000001 hbase://TrafficFlowGrenoble,

输入:无法从“/user/hduser/data.csv”读取数据

输出:未能在“hbase://TrafficFlowGrenOble”中生成结果

计数器:写入的记录总数:0写入的字节总数:0溢出内存管理器溢出计数:0主动溢出的包总数:0主动溢出的记录总数:0

版本:Hadoop-1.1.2pig-0.11.1

#export pig_classpath=“${HBASE_HOME}/bin/hbase classpath:$pig_classpath=”${HBASE_HOME}/bin/hbase classpath:$hadoop_classpath=“$pig_classpath=”$pig_classpath=“/usr/local/hbase/hbase-0.94.8.jar”export pig_classpath=“/usr/local/hbase/hbase-0.94.8.jar keeper-3.4.5.jar://usr/local/hbase/lib/$#export pig_classpath=/home/nadir/documents/pig-0.11.1.jar

共有1个答案

东方琪
2023-03-14

如果上面的代码正是您所做的,那么您的输入文件是“/user/hduser/location.csv”,而不是data.csv,所以Pig找不到它

 类似资料:
  • HBase和Hadoop在Docker中是CDH独立模式。ZK、HBASE、Phoenix使用shell都可以操作。java操作zk也可以,但是java不能操作Hbase和phoenix,代码可以。有人能帮我吗,谢谢!

  • 我正在使用8.5.0运行时服务器运行我的项目,在部署期间,我发现以下错误 这里是配置。引用密钥存储的xml文件。资源目录中的jks文件

  • 对于我的一个项目,当我尝试使用以下步骤创建git存储库时:我会得到以下错误: 检查Eclipse错误日志视图会显示以下异常: 我可以为其他项目设置git回购,没有问题,我如何“重置”这个项目的状态,这样我就可以成功设置git回购?多谢了。

  • 错误java.lang.noClassDefFounderror:org/apache/hadoop/hbase/cellscannable at java_lang_runnable$run.call(来源未知)导入org.apache.hadoop.hbase.util.bytes无效导入定义:'org.apache.hadoop.hbase.util.bytes';原因:启动失败:scrip

  • 我在3个节点上以完全分布式模式配置HBase 1.0.1.1。Node-1应该运行主服务器zookeeper和RegionServer;Node-2应该运行zookeeper&regionserver;Node-3应该运行Backup Master、zookeeper和RegionServer。我在安装过程中遇到了两个问题,需要您的帮助-1)当我运行start-hbase.sh时,我看到“hmas

  • 一些基本信息如下: Hadoop2.7.1和NameNode HA enable hbase0.98.12 phoenix-4.6.0-hbase-0.98 执行sqlline.py localhost is error 执行sqlline.py localhost:nameservices/hbase is error