登录
当前位置： 首页 > 知识库问答 >
问题：

Talend上的SqoopImport组件错误

宇文育
2023-03-14

我试图在Talend（v.6.0.1）中运行一个非常简单的作业，它基本上由一个Sqoop导入组成，用于将数据从MySql迁移到运行在Cloudera发行版（CDH5.4模式）上的Hive数据库。我在本地运行Talend，数据库在单独的机器上运行。我已经创建了Cloudera连接作为Talend元数据，它似乎工作正常。我已经按照这里介绍的步骤创建了作业。Cloudera集群（也在运行Sqoop）和MySQL数据库之间有一个ssh隧道连接，因此在MySQL的连接路径中，我使用的是localhost。

当我尝试运行作业时，会产生以下错误stacktrace：

    Exception in component tSqoopImport_1
java.lang.Exception: The Sqoop import job has failed. Please check the logs.
    at dw_migration.recent_orders_migration_0_1.recent_orders_migration.tSqoopImport_1Process(recent_orders_migration.java:512)
    at dw_migration.recent_orders_migration_0_1.recent_orders_migration.tLibraryLoad_1Process(recent_orders_migration.java:365)
    at dw_migration.recent_orders_migration_0_1.recent_orders_migration.runJobInTOS(recent_orders_migration.java:786)
    at dw_migration.recent_orders_migration_0_1.recent_orders_migration.main(recent_orders_migration.java:643)
[ERROR]: org.apache.sqoop.manager.SqlManager - Error executing statement: com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure

The last packet sent successfully to the server was 0 milliseconds ago. The driver has not received any packets from the server.
com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure

The last packet sent successfully to the server was 0 milliseconds ago. The driver has not received any packets from the server.
    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
    at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
    at java.lang.reflect.Constructor.newInstance(Constructor.java:422)
    at com.mysql.jdbc.Util.handleNewInstance(Util.java:409)
    at com.mysql.jdbc.SQLError.createCommunicationsException(SQLError.java:1118)
    at com.mysql.jdbc.MysqlIO.<init>(MysqlIO.java:343)
    at com.mysql.jdbc.ConnectionImpl.connectOneTryOnly(ConnectionImpl.java:2308)
    at com.mysql.jdbc.ConnectionImpl.createNewIO(ConnectionImpl.java:2122)
    at com.mysql.jdbc.ConnectionImpl.<init>(ConnectionImpl.java:774)
    at com.mysql.jdbc.JDBC4Connection.<init>(JDBC4Connection.java:49)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
    at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
    at java.lang.reflect.Constructor.newInstance(Constructor.java:422)
    at com.mysql.jdbc.Util.handleNewInstance(Util.java:409)
    at com.mysql.jdbc.ConnectionImpl.getInstance(ConnectionImpl.java:375)
    at com.mysql.jdbc.NonRegisteringDriver.connect(NonRegisteringDriver.java:289)
    at java.sql.DriverManager.getConnection(DriverManager.java:664)
    at java.sql.DriverManager.getConnection(DriverManager.java:247)
    at org.apache.sqoop.manager.SqlManager.makeConnection(SqlManager.java:880)
    at org.apache.sqoop.manager.GenericJdbcManager.getConnection(GenericJdbcManager.java:52)
    at org.apache.sqoop.manager.SqlManager.execute(SqlManager.java:739)
    at org.apache.sqoop.manager.SqlManager.execute(SqlManager.java:762)
    at org.apache.sqoop.manager.SqlManager.getColumnInfoForRawQuery(SqlManager.java:270)
    at org.apache.sqoop.manager.SqlManager.getColumnTypesForRawQuery(SqlManager.java:241)
    at org.apache.sqoop.manager.SqlManager.getColumnTypes(SqlManager.java:227)
    at org.apache.sqoop.manager.ConnManager.getColumnTypes(ConnManager.java:295)
    at org.apache.sqoop.orm.ClassWriter.getColumnTypes(ClassWriter.java:1833)
    at org.apache.sqoop.orm.ClassWriter.generate(ClassWriter.java:1645)
    at org.apache.sqoop.tool.CodeGenTool.generateORM(CodeGenTool.java:96)
    at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:478)
    at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:605)
    at org.apache.sqoop.Sqoop.run(Sqoop.java:143)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
    at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:179)
    at dw_migration.recent_orders_migration_0_1.recent_orders_migration.tSqoopImport_1Process(recent_orders_migration.java:508)
    at dw_migration.recent_orders_migration_0_1.recent_orders_migration.tLibraryLoad_1Process(recent_orders_migration.java:365)
    at dw_migration.recent_orders_migration_0_1.recent_orders_migration.runJobInTOS(recent_orders_migration.java:786)
    at dw_migration.recent_orders_migration_0_1.recent_orders_migration.main(recent_orders_migration.java:643)
Caused by: java.net.ConnectException: Connection refused
    at java.net.PlainSocketImpl.socketConnect(Native Method)
    at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:350)
    at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:206)
    at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:188)
    at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)
    at java.net.Socket.connect(Socket.java:589)
    at java.net.Socket.connect(Socket.java:538)
    at java.net.Socket.<init>(Socket.java:434)
    at java.net.Socket.<init>(Socket.java:244)
    at com.mysql.jdbc.StandardSocketFactory.connect(StandardSocketFactory.java:256)
    at com.mysql.jdbc.MysqlIO.<init>(MysqlIO.java:292)
    ... 33 more
[ERROR]: org.apache.sqoop.tool.ImportTool - Encountered IOException running import job: java.io.IOException: No columns to generate for ClassWriter
    at org.apache.sqoop.orm.ClassWriter.generate(ClassWriter.java:1651)
    at org.apache.sqoop.tool.CodeGenTool.generateORM(CodeGenTool.java:96)
    at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:478)
    at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:605)
    at org.apache.sqoop.Sqoop.run(Sqoop.java:143)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
    at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:179)
    at dw_migration.recent_orders_migration_0_1.recent_orders_migration.tSqoopImport_1Process(recent_orders_migration.java:508)
    at dw_migration.recent_orders_migration_0_1.recent_orders_migration.tLibraryLoad_1Process(recent_orders_migration.java:365)
    at dw_migration.recent_orders_migration_0_1.recent_orders_migration.runJobInTOS(recent_orders_migration.java:786)
    at dw_migration.recent_orders_migration_0_1.recent_orders_migration.main(recent_orders_migration.java:643)

对什么可能导致这个问题有什么想法吗？

谢谢，塔玛拉。

共有1个答案

璩浩广
2023-03-14

尝试使用最新的mysql jar文件。也许它会起作用。

我尝试了不同的方法，我在元数据连接中创建了mysql连接。检查以下图像以了解配置

然后使用JDBC属性，如下图所示

如果你需要更多信息就告诉我

 类似资料：
  • Talend-MySQL破损的管道错误

    上周六，我们开始遇到管道破裂的问题，每天清晨都有一个通过石英调度器运行的作业。下面是一些细节。 该作业由一个本地java类组成，该类调用基于Talend的作业。每个基于Talend的作业都会出现断管错误。奇怪的是，当我运行通过调度程序提交的同一个java类时，不会抛出错误，作业也会成功运行。此外，该作业流在Tomcat中运行。 我应该在Talend jobs中做些什么，看看是否可以先建立连接？正如

  • Talend中使用雪花组件的几个问题

    为了将数据从Ms sql Server2008传输到Snowflake，我使用了talend，但每次我都错误为 如果我在没有双引号的情况下手动执行相同的查询，它的工作很好，你能让我们知道这个问题的解决方案吗 talend在snowflake中执行的查询供参考

  • Talend Open Studio for BigData(5.6.2)的tSqoopImport组件在连接到MapR集群上的MySQL数据库时引发错误

    > 用例：需要将Talend的bigdata组件即tSqoopImport连接到MapR集群上的MySQL DB。 Talend Open studio for Big-Data(5.6.2)位于我的工作站上。MySQL(5.5)数据库安装在5节点MapR(M3-edition)集群上。集群是物理设置的，可以通过像putty和MobaX这样的远程客户端访问 -->已经附加了代表我的用例的talen

  • Talend

    Talend (踏蓝) 是第一家针对的数据集成工具市场的ETL(数据的提取Extract、传输Transform、载入Load)开源软件供应商。 Talend以它的技术和商业双重模式为ETL服务提供了一个全新的远景。它打破了传统的独有封闭服务，提供了一个针对所有规模的公司的公开的，创新的，强大的灵活的软件解决方案。最终，由于Talend的出现，数据整合方案不再是被大公司所独享。

  • talend etl oracle错误0行插入

    我是Talendel的新手，正在使用Talend Open Studio for Big Data V6.2。 我开发了一个简单的Talend ETL作业，它从tFileInputExcel和tOracleInput（维度日期）中获取数据并将数据插入我的本地Oracle数据库。 以下是我的包裹外观： 此作业运行，但我得到0行插入到我的本地Oracle数据库

  • WSDL文件上的JAX-WS错误：“错误解析组件's：schema'”

    问题内容： 错误 我在Java项目中使用wsimport来生成三个SOAP Web服务的源。前两个可以正常工作：我使用JAX-WS Maven插件来获取WSDL文件并生成相应的Java源文件。 对于一个Web服务，此操作失败。我收到以下错误： 罪犯 此WSDL文件与有效文件之间的区别在于错误消息中指出的行（第80、127和142行）： 注意：wsdl文件的根元素定义“ s”名称空间，因此： 我尝试

  • Talend+FreeMarker

  • Talend ESB

    我目前正在尝试用Talend open studio for ESB为RabbitMQ队列构建一个消费者。在阅读了我能找到的关于这个话题的每一个帖子后，我有两个不同的版本，但没有一个真正有效。 版本 1： 我的路线: cMessagingEndpoint Route cMessagingEndpoint1 URI： “rabbitmq：//host：port/exchange？username=x

相关问答

Talend ESB更新Swing组件Java上的渲染错误Talend MapR的tHBASEConnection和tHBaseInput无法在ubuntu上打开Talend open Studiotalend，mongoDB连接

相关文章

React-未安装组件上的setState（）Java Swing组件上的Z顺序Windows上的utf8编码文件的node.js读取文件错误在组件上反应onClick事件使用ReactJS上传文件组件

相关阅读

Spark组件文件上的操作C#交错数组具有漏洞的组件Web Service组件

相关工具

TalendTalend Open StudioTalend Open Profilertapestry组件库eZ 组件库

相关文档

elasticsearch-rest-plus 组件Unity 组件参考手册Windows 组件服务管理Element Plus 组件帮助文档Element UI 组件中文文档
快捷导航： 新手教程 算法原理 架构设计 Java进阶 数据库进阶 大厂专栏 面试经验 编程笔记 编程问答 所有专题 文档资料 工具软件 电子书籍 小牛导航
在线工具： 房贷计算器 个税计算器 Linux命令查询 Json格式化 正则表达式 颜色转换 AES加解密 SHA1加密 MD5加密 毒鸡汤 字数统计 随机密码生成 进制转换 Base64编解码 励志句子
Copyright © 2019-2024 小牛知识库@xnip.cn. All Rights Reserved.