在AzureSQL数据仓库中使用Polybase访问Hadoop（Azure IaaS）HDFS文件

Question

我正在尝试使用Azure SQLDW中的Polybase访问Cloudera集群中HDFS中的分隔文件（在Azure中配置为IaaS），但遇到以下错误：

Msg 105019，Level 16，State 1，Line 40 EXTERNAL TABLE access因内部错误而失败：“调用HdfsBridge\u IsDirExist时引发Java异常。Java异常消息：从DB55/10.0.0.59调用到10…：8020在套接字超时异常时失败：org。阿帕奇。hadoop。网ConnectTimeoutException：等待通道准备好连接时超时20000毫秒。ch：java。nio。频道。SocketChannel[连接挂起远程=10.56.140.31/10.56.140.31:8020]；有关更多详细信息，请参阅：http://wiki.apache.org/hadoop/SocketTimeout:错误[从DB55/10.0.0.59到10.56.140.31:8020的调用失败，套接字超时异常：org.apache.hadoop.net.ConnectTimeoutException：等待通道准备好连接时超时20000毫秒。ch:java.nio.channels.SocketChannel[连接挂起远程=10…/10…*：8020]；有关更多详细信息，请参阅：http://wiki.apache.org/hadoop/SocketTimeout]访问外部文件时发生。'

我使用了以下Polybase T-SQL脚本：

创建主密钥；

创建数据库范围的凭据HadoopUser1，标识为“user\u name”，密码为“password”；

使用（
TYPE=HADOOP，
LOCATION=）创建外部数据源MyHadoopClusterhdfs://10...:8020“，
资源管理器位置=”10…：8032’，
凭证=HadoopUser1）；

使用（FORMAT\u TYPE=DelimitedText，FORMAT\u OPTIONS（FIELD\u TERMINATOR='，'）创建外部文件格式TextFile；

创建外部表dbo。PolyCloudera（Id INT NOT NULL，Number INT NOT NULL，ZIPCODE INT NOT NULL），带（LOCATION='/用户/配置单元/仓库/示例\u poly'，DATA\u SOURCE=MyHadoopCluster，FILE\u FORMAT=文本文件）；

Cloudera集群和Azure SQLDW之间没有连接问题（因为我能够使用BCP、JDBC将数据从Cloudera集群摄取到SQLDW实例），Cloudera集群尚未kerberized。在数据库作用域凭据中指定的用户名和密码存在于Cloudera集群的底层Linuxhtml" target="_blank">文件系统中。如能在这件事上提供任何帮助，我们将不胜感激。

Answer 1

AzureSQLDW中的PolyBase目前仅支持Blob存储和Azure Data Lake存储。它目前不支持连接到HDFS。

注意：此处的任何hdfs示例中，文档均未提及Azure SQL DW：

--仅限PolyBase：Hadoop集群作为数据源
--（在SQLServer 2016上）使用（
TYPE=HADOOP， LOCATION='hdfs://NameNode_URI[： port]'
[，RESOURCE_MANAGER_LOCATION='ResourceManager_URI[： port]']
[， CREDENTIAL=credential_name ] ) [;]