VM cloudera-用户cloudera和权限？

Question

我下载并安装了VM Cloudera4.4来使用Hadoop。我已经在一个平台上为我的工作建立了一个集群，所以我对Hadoop的工作原理略有了解。所以我认为我的问题来自于我对linux和他的用户和群体的误解。

使用配置单元:

我尝试用shell创建一个配置单元表，它起作用了。我在/user/hive/warehouse/test中有一个表，它属于cloudera组的用户cloudera。

我在hdfs：/user/cloudera（user：cloudera和group：hive）中有一些数据文件（.txt）,我用以下方法加载到配置单元表中：

LOAD DATA INPATH '/user/cloudera/*.txt' INTO TABLE test;

这是我得到的：

hive> LOAD DATA INPATH '/user/cloudera/jeuDeTest/*.txt' INTO TABLE test;
Loading data to table default.test
chgrp: changing ownership of '/user/hive/warehouse/test/_log24310.txt': User does not belong to hive
chgrp: changing ownership of '/user/hive/warehouse/test/_log24311.txt': User does not belong to hive
Table default.test stats: [num_partitions: 0, num_files: 2, num_rows: 0, total_size: 10161843, raw_data_size: 0]
OK
Time taken: 2.472 seconds

我从来没有这种错误消息，但文件被移动。如果我尝试选择*,则没有结果。

使用HBase:

hbase org.apache.hadoop.hbase.mapreduce.ImportTsv 
-Dimporttsv.columns=HBASE_ROW_KEY,cf:nl,ch:nt,cf:ti,cf:ip,cf:cr,cf:am,cf:op,cf:mr,cf:ct 
'-Dimporttsv.separator=|' testhbase -Dimporttsv.skip.bad.lines=false  
/user/cloudera/jeuDeTest/*.txt

ERROR security.UserGroupInformation: PriviledgedActionException as:hdfs (auth:SIMPLE) 
cause:org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: 
hdfs://localhost.localdomain:8020/user/cloudera/jeuDeTest/_logGeneral_C_24310_SO.txt
Exception in thread "main" org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist:     
hdfs://localhost.localdomain:8020/user/cloudera/jeuDeTest/_logGeneral_C_24310_SO.txt

我尝试将我的cloudera用户添加到组配置单元。我在加载过程中没有错误，但我在选择时总是没有结果。

hive> LOAD DATA INPATH '/user/cloudera/jeuDeTest/*.txt' INTO TABLE test;                     
Loading data to table default.test
Table default.test stats: [num_partitions: 0, num_files: 10, num_rows: 0, total_size: 10161843,   raw_data_size: 0]
OK
Time taken: 0.486 seconds
hive> select * from test limit 20;
OK
Time taken: 0.303 seconds

Answer 1

我在权限->chgrp:更改'/User/hive/warehouse/test/_log24310.txt'的所有权时遇到了相同的问题：用户不属于配置单元。

1. 将名为cloudera的现有用户添加到名为hive的现有组，使用命令:usermod-a-g hive cloudera
2. 重新启动系统
3. 使用Load命令，然后执行select*from table_name->未显示任何数据。
4. 执行了table_name中的select count(*)并启动了MapReduce作业。
5. 执行了select*from表，现在正确返回了结果。
6. 使用impala-shell命令打开impala shell。
7. 执行了select*from table_name，但未返回任何结果。
8. 执行的命令使Impala-Shell中的元数据无效
9. 已执行命令刷新table_name
10. 已执行命令show tables
11. 执行命令select*from table_name，现在结果同时显示在impala-shell和hive shell中。