如何在Intel hadoop中使用spark shell读取HDF？

Question

我无法从spark shell（spark版本为1.2.1）读取HDFS（英特尔发行版hadoop，hadoop版本为1.0.3）。我使用mvn-Dhadoop命令构建了spark。version=1.0.3 clean package，启动spark shell并使用sc.textFile（）读取HDFS文件，异常为：

警告hdfs。DFSClient：无法连接到/10.xx.xx.xx:50010，添加到死亡节点和continuejava.net.SocketTimeoutException：120000毫秒超时，同时等待通道准备好读取。ch：java.nio.channels.SocketChannel[连接的本地=/10.xx.xx.xx:44264远程=/10.xx.xx.xx:50010]...错误执行器。执行器：0.0阶段任务1.0中的异常（TID 1）java.io.IOException：无法获取块：blk_8724894648624652503_7309文件=/研究/文件/README. md

这里也有同样的问题：http://mail-archives.us.apache.org/mod_mbox/spark-user/201309.mbox/

这是建议的解决方案：

"除了在./project/SparkBuild.scala文件中指定HADOOP_VERSION=1.0.3之外，您还需要指定库依赖项并命名为"spack-core"解析器。否则，sbt将从apache而不是Intel获取1.0.3版的hadoop-core。您可以设置自己指定的本地或远程存储库"

谁能详细说明一下如何指定SBT从Intel获取hadoop core（可在我们的内部存储库中找到）？

Answer 1

试着看一下文档的这一页

Spark正在使用一些我不太了解的SBT/maven集成，但看起来存储库是在根中的pom.xml中指定的

如果这不起作用，您可以探索sbt文件指定解析器的位置。

为了记录在案，这是链接文档的摘录

除了根据正确的版本编译Spark本身之外，您还需要将该版本的hadoop客户端上的Maven依赖项添加到您运行的任何Spark应用程序中，以便它们也可以与集群上的HDFS版本进行通信。如果您使用的是CDH，还需要添加Cloudera Maven存储库。在SBT中如下所示：

libraryDependencies += "org.apache.hadoop" % "hadoop-client" % "<version>"

// If using CDH, also add Cloudera repo
resolvers += "Cloudera Repository" at "https://repository.cloudera.com/artifactory/cloudera-repos/"

或在Maven：

<project>
  <dependencies>
    ...
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-client</artifactId>
      <version>[version]</version>
    </dependency>
  </dependencies>

  <!-- If using CDH, also add Cloudera repo -->
  <repositories>
    ...
    <repository>
      <id>Cloudera repository</id>
      <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
    </repository>
  </repositories>
</project>