运行sqoop导出时需要hdfs中的其他块

Question

正在运行：[cloudera@quickstart~]$sqoop export--连接“jdbc：mysql：//quickstart.cloudera:3306/retail_db”--用户名retail_dba--密码cloudera--表department_export--export-dir/home/cloudera/sqoop_import/departments-m 12

错误：

16/12/24 22:29:48 INFO Client.RMProxy：连接到/0.0.0.0:8032 16/12/24 22:29:49 INFO MapReduce.JobSubmitter：正在清理临时区域/tmp/hadoop-yarn/staging/cloudera.staging/job_1482646432089_0001 16/12/24 22:29:49警告安全.UserGroupInformation：PriviledgedActionException as：cloudera（auth：simple）原因：org.apache.hadoop.ipc.remoteException（名称节点处于安全模式。所报告的块1268需要额外的39个块以达到总块1308的阈值0.9990。活动数据阳极%1的数量已达到最小数量%0。一旦达到阈值，安全模式将自动关闭。在org.apache.hadoop.hdfs.server.namenode.fsnamesystem.checknamenodesafemode（fsnamesystem.java:1446)在org.apache.hadoop.hdfs.server.namenode.fsnamesystem.deleteinternal（fsnamesystem.java:4072)在org.apache.hadoop.hdfs.server.namenode.fsnamesystem.deleteint（fsnamesystem.java:4030)

尝试使用“hdfs dfsadmin-safemode leave”,再次出现错误,

16/12/24 10:37:59 INFO Client.RMProxy：连接到ResourceManager/0.0.0.0:8032 16/12/24 10:38:00 INFO MapReduce.JobSubmitter：正在清理临时区域/tmp/hadoop-yarn/staging/cloudera.staging/job_1482602419946_0007 16/12/24 10:38:00警告安全.UserGroupInformation：PriviledgedActionException as：cloudera（auth：simple）原因：org.apache.hadoop.ipc.remoteException（名称节点处于安全模式。它是手动打开的。使用“hdfs dfsadmin-safemode leave”关闭安全模式。在org.apache.hadoop.hdfs.server.nameNode.fsNameSystem.checkNameNodeSafeMode（fsNameSystem.

Answer 1

确保为Sqoop运行时正确设置了HCAT_HOME环境变量。您得到的错误是因为sqoop无法找到所需的依赖项“org.apache.hive.hcatalog*”，该依赖项在Hive的hcatalog中可用。