当前位置: 首页 > 知识库问答 >
问题:

Sqoop:从SQL服务器导入,在映射任务期间抛出“到主机x. x. x. x的TCP/IP连接,端口1433已失败”

段干高歌
2023-03-14

在带有Sqoop 1.4.6的HDP 2.3.2上,我试图从SQL Server 2008导入表。

我能够成功地连接到SQL服务器,因为我可以列出数据库和表等。

然而,每次导入期间,我都会遇到以下错误:

错误:java。lang.RuntimeExcepthtml" target="_blank">ion:java。lang.RuntimeException:com。微软sqlserver。jdbc。SQLServerException:与主机x.x.x.x端口1433的TCP/IP连接失败。错误:“连接超时。请验证连接属性。确保SQL Server实例正在主机上运行,并在端口接受TCP/IP连接。确保到端口的TCP连接未被防火墙阻止。”。

同样,我实际上能够成功地从SQL服务器导入,但只有在几次重试之后。然而,无论导入成功还是失败,我总是得到上面提到的错误,我想知道是什么导致了这个问题?每当导入失败时,必须不断重复导入,这是相当麻烦的。

我已经关闭了SQL Server上的连接超时,虽然来自Hadoop集群和SQL Server的连接通过了我们的公司防火墙,但我们的管理员告诉我,防火墙上的超时是3600秒。在接近这一点之前,进口就失败了。

只是我使用的sqoop命令之一的示例:

sqoop import \
--connect "jdbc:sqlserver://x.x.x.:1433;database=CEMHistorical" \
--table StreamSummary --username hadoop \
--password-file hdfs:///user/sqoop/.adg.password --hive-import \
--hive-overwrite --create-hive-table --split-by OfferedTime \
--hive-table develop.streamsummary --map-column-hive Call_ID=STRING,Stream_ID=STRING,OriginalCall_ID=STRING,TransactionID=TIMESTAMP

更新:

在与我们的网络团队取得联系后,这似乎绝对是一个网络问题。要添加上下文,Hadoop集群与SQL服务器位于不同的VLAN上,并且它会通过许多防火墙。为了测试,我尝试从与Hadoop集群位于同一VLAN内的不同SQL服务器导入,但我根本没有遇到此异常

共有1个答案

白博易
2023-03-14

在此发布此作为参考:

我从未收到我们网络团队关于防火墙日志的回复,但我们NameNode的操作系统已损坏,必须重新格式化并重新安装HDP。出于某种原因,我们不再遇到此错误。

原始集群和新安装之间的一个区别是我们有4个节点(1个名称节点和3个数据节点)在单个服务器中进行了虚拟化。现在,我们正在运行一个服务器上没有虚拟化的单节点集群(HDP 2.3.4)。

 类似资料:
  • 当我试图通过jdbc将eclipse与sql server连接时,我反复遇到这两个错误。有人能帮我吗?或者解释一下为什么我会得到这个? 非常感谢。

  • SQLServerException:与主机本地主机端口1433的TCP/IP连接失败。错误:“连接被拒绝:连接。请验证连接属性。确保主机上运行SQL Server实例,并在端口接受TCP/IP连接。确保到端口的TCP连接没有被防火墙阻止。 请帮我解决这个问题。

  • 这是我第一次运行库伯内特斯教程。我在无头Ubuntu服务器(18.04)上安装了Docker,库贝特和迷你库贝。我这样跑了小库贝—— 我有一个本地docker映像,它在端口9110上运行restful服务。我创建一个部署,并像这样公开它- 我的服务状态 - 如您所见,该服务在内部IP 172.17.0.5上可用。 有没有办法让我把这个服务映射到/暴露在父主机的IP上,这是192.168.1.216

  • PostgreSQL出现错误: 和文件是正常的(参见下面)。 服务器正在运行 我的文件:

  • 在此之前,请注意,我在Stack Overflow和网络上的文章中发现了几个类似的问题,但这些都没有帮助我解决问题: PG 错误无法连接到服务器:连接被拒绝 服务器是否在端口 5432 上运行? PG::连接错误 - 无法连接到服务器:连接被拒绝 psql:无法连接到服务器:连接被拒绝 现在,问题是: < li >我有一个非常好用的Rails应用程序。 < li >与我的合作者一起,我们使用Git

  • 我想连接Java类文件与SQL server 2012。我已通过SQL server身份验证登录。但我接收到连接错误。 错误:到主机127.0.0.1端口1433的TCP/IP连接失败。错误:“连接拒绝:连接。验证连接属性。确保主机上正在运行SQL Server实例并接受端口上的TCP/IP连接。确保到端口的TCP连接没有被防火墙阻止。” 我的代码---