当前位置: 首页 > 知识库问答 >
问题:

如何sqoop将oracle clob数据导入hdfs上的avro文件

黄君博
2023-03-14

在将数据从oracle DB SQOOP到HDFS时,我遇到了一个奇怪的错误。Sqoop无法将clob数据导入Hadoop上的avro文件中。

这是sqoop导入错误:

ERROR tool.ImportTool: Imported Failed: Cannot convert SQL type 2005

为了将clob数据正确地导入到avro文件中,我们是否需要向sqoop import语句添加任何额外的参数?

共有1个答案

伯博
2023-03-14

更新:找到了解决方案,我们需要为CLOB列添加--map-column-java

例如:如果列名是clob,那么我们就为sqoop传递--map-column-java clob=string,以导入clob列。

 类似资料:
  • 我是AVRO的新手,我正在尝试将AVRO格式的数据从SQL Server导入到HDFS。

  • -bash-4.1$ 任何帮助都将不胜感激。

  • 我试图使用Sqoop import-free-form查询将Oracle DB数据导入HDFS,方法是使用Oozie调度器使用“-as avrodatafile”连接两个表。以下是我的工作流程的内容。xml: Oozie作业成功运行,并在HDFS上的目录 /apps/hive/warehouse/loc_avro_import下创建Avro文件以及_SUCCESS标志。然后我使用以下Hive脚本在

  • 在我的工作中,我通过将AVRO文件复制到HDFS中,然后在impala中执行“refresh”,将这些文件导入impala表。 但是当我想用压缩文件做的时候,它没有起作用。 hive>设置avro.output.codec=bzip2; 创建表: 创建表(bigint COMMENT“from deserializer”、string COMMENT“from deserializer”、stri

  • {“type”:“record”、“name”:“twitter_schema”、“namespace”:“com.miguno.avro”、“fields”:[{“name”:“username”、“type”:“string”、“doc”:“Twitter.com上的用户帐户名称”}、{“name”:“tweet”、“type”:“string”、“doc”:“用户的Twitter消息内容”}

  • Im试图使用SQOOP将一个小表从mysql导出到HDFS,该表有两列id(主键)和名称。我可以通过SQOOP列出数据库和表。但在将表导入到HDFS时出现异常。好心的帮助。下面是错误日志。