从另一个运行Spark的Docker容器写入Docker中运行的HDFS

Question

我有一个Docker的图像火花Jupyter（https://github.com/zipfian/spark-install）

我为hadoop准备了另一个docker图片。（https://github.com/kiwenlau/hadoop-cluster-docker）

我在Ubuntu中运行上述两张图片中的两个容器。对于第一个容器：我能够成功地启动jupyter并运行python代码：

   import pyspark
   sc = pyspark.sparkcontext('local[*]')
   rdd = sc.parallelize(range(1000))
   rdd.takeSample(False,5)

对于第二个容器：

在主机Ubuntu操作系统中，我能够成功地进入

• web浏览器localhost:8088:和浏览Hadoop所有应用程序
• localhost:50070:并浏览HDFS文件系统

现在我想从jupyter（在第一个容器中运行）写入HDFS文件系统（在第二个容器中运行）。

所以我加了一行

rdd.saveAsTextFile("hdfs:///user/root/input/test")

我得到的错误：

HDFS URI，无主机：hdfs:///user/root/input/test

我是否错误地给出了hdfs路径？

我的理解是，我应该能够从另一个容器运行火花与运行hdfs的docker容器交谈。我错过什么了吗？

谢谢你抽出时间。

我还没试过docker compose。

Answer 1

URIhdfs:///user/root/input/test缺少授权（主机名）部分和端口。要在另一个容器中写入hdfs，您需要完全指定URI，并确保这两个容器位于同一网络上，并且hdfs容器公开了namenode和data node的端口。

例如，您可能已经将HDFS容器的主机名设置为hdfs.container。然后，您可以使用URIhdfs://hdfs.container:8020/user/root/input/test（假设Namenode运行在8020上）写入HDFS实例。当然，您还需要确保您要编写的路径也具有正确的权限。

所以做你想做的：

• 确保HDFS容器已公开namenode和datanode端口。可以使用dockerfile中的EXPOSE指令（链接的容器中没有这些指令）或调用docker run时使用--EXPOSE参数来html" target="_blank">执行此操作。默认端口为8020和50010（分别用于NN和DN）
• 在同一网络上启动容器。如果您只运行docker，而不使用--network，它们将在默认网络上启动，您会没事的。使用--name参数以特定名称启动HDFS容器
• 现在修改您的URI以包括适当的权限（这将是您传递的docker--name参数的值）和端口，如上所述，它应该可以工作