在将数据从oracle DB SQOOP到HDFS时,我遇到了一个奇怪的错误。Sqoop无法将clob数据导入Hadoop上的avro文件中。
这是sqoop导入错误:
ERROR tool.ImportTool: Imported Failed: Cannot convert SQL type 2005
为了将clob数据正确地导入到avro文件中,我们是否需要向sqoop import语句添加任何额外的参数?
更新:找到了解决方案,我们需要为CLOB
列添加--map-column-java
。
例如:如果列名是clob
,那么我们就为sqoop
传递--map-column-java clob=string
,以导入clob
列。
我是AVRO的新手,我正在尝试将AVRO格式的数据从SQL Server导入到HDFS。
-bash-4.1$ 任何帮助都将不胜感激。
我试图使用Sqoop import-free-form查询将Oracle DB数据导入HDFS,方法是使用Oozie调度器使用“-as avrodatafile”连接两个表。以下是我的工作流程的内容。xml: Oozie作业成功运行,并在HDFS上的目录 /apps/hive/warehouse/loc_avro_import下创建Avro文件以及_SUCCESS标志。然后我使用以下Hive脚本在
在我的工作中,我通过将AVRO文件复制到HDFS中,然后在impala中执行“refresh”,将这些文件导入impala表。 但是当我想用压缩文件做的时候,它没有起作用。 hive>设置avro.output.codec=bzip2; 创建表: 创建表(bigint COMMENT“from deserializer”、string COMMENT“from deserializer”、stri
{“type”:“record”、“name”:“twitter_schema”、“namespace”:“com.miguno.avro”、“fields”:[{“name”:“username”、“type”:“string”、“doc”:“Twitter.com上的用户帐户名称”}、{“name”:“tweet”、“type”:“string”、“doc”:“用户的Twitter消息内容”}
Im试图使用SQOOP将一个小表从mysql导出到HDFS,该表有两列id(主键)和名称。我可以通过SQOOP列出数据库和表。但在将表导入到HDFS时出现异常。好心的帮助。下面是错误日志。