导入时的sqoop错误
sqoop import --connect jdbc:mysql://127.0.0.1/hadoopguide --table widgets -m 1
我不知道它为什么要在HDFS中寻找avro jar文件。
sqoop_hadoop_home和sqoop_mapred_home设置为Hadoop目录。我使用的是Hadoop 2.6.0和sqoop 1.4.5版本
15/11/12 14:56:49 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId=
15/11/12 14:56:49 INFO mapreduce.JobSubmitter: Cleaning up the staging area file:/tmp/hadoop-pranay/mapred/staging/pranay1505087555/.staging/job_local1505087555_0001
15/11/12 14:56:49 ERROR tool.ImportTool: Encountered IOException running import job: java.io.FileNotFoundException: File does not exist: hdfs://127.0.0.1:54310/home/<some id>/sqoop-1.4.5.bin__hadoop-2.0.4-alpha/lib/avro-1.7.5.jar
at org.apache.hadoop.hdfs.DistributedFileSystem$18.doCall(DistributedFileSystem.java:1122)
at org.apache.hadoop.hdfs.DistributedFileSystem$18.doCall(DistributedFileSystem.java:1114)
at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)
共有1个答案
>
在HDFS中创建相同的$SQOOP_HOME/lib目录。
hdfs dfs-Mkdir-p$sqoop_home/lib
如果不起作用，请使用完整路径而不是$SQOOP_HOME
-
Im试图使用SQOOP将一个小表从mysql导出到HDFS，该表有两列id（主键）和名称。我可以通过SQOOP列出数据库和表。但在将表导入到HDFS时出现异常。好心的帮助。下面是错误日志。
-
主要内容：1.Mysql到HDFS,2.Mysql到Hbase,3.Mysql到HiveSqoop是Hadoop生态圈里很重要的一员。很重要的工具 工具就是为了解决某些问题的。 主要解决的场景问题是数据从关系型数据库到Hadoop生态系统的过程。 因为要推广Hadoop所以要有数据,Sqoop就是数据的来源。 1.Mysql到HDFS sqoop import 导入 -connect 连接mysql -username mysql的username -password mysql的密
-
我是AVRO的新手，我正在尝试将AVRO格式的数据从SQL Server导入到HDFS。
-
HDP-2.4.2.0-258安装使用Ambari2.2.2.0 我必须导入几个SQL Server模式，这些模式应该可以通过Hive、Pig、MR和任何第三方（将来）访问。我决定在HCatalog中导入。 Sqoop提供了导入到Hive或HCatalog的方法，我想如果我导入到HCatalog，同一个表将可以从Hive CLI、MR和Pig访问（请评估我的假设）。 问题： 如果直接进口到蜂巢，猪
-
我已经下载了连接器，并将jar文件保存在文件夹下，即使这样我也面临着这个问题。
-
在空闲的Python 3.7.2中运行import pygame后，现在在Anaconda spyder中尝试，得到完全相同的错误 在终端中，当我运行pip3安装py游戏： 在空闲的Python 3.7.2中运行sys.path之后 所以我猜系统上安装了几个版本的python，pygame在3.7/site-packages中。 如何让 pygame 在 Idle python 3.7.2 中工作