如何在Spark Worker上启用IP访问过滤器？

Question

我有一个启动火花工人的java应用程序：

工人。startRpcEnvAndEndpoint（args.host（），args。端口（），args。webUiPort（），args。cores（），args。内存（），args。masters（），args。workDir（），scala。选项empty（），conf）

（见https://books.japila.pl/spark-standalone-internals/Worker/#externalshuffleservice）

我现在想设置一个IP访问过滤器，这样我就有了一个可以访问该服务的IP地址的硬编码列表。

有没有办法配置上面的Java程序来提供这样的IP访问过滤器？




Answer 1

我不知道Spark内部网络，但是从服务器绑定地址的角度来看，你能做的最好的事情就是在特定的接口/子网上隔离绑定地址——这将从你的args.host（）开始

如果您想限制在该子网中的特定IP，您需要使用操作系统防火墙，也可以通过代码管理防火墙，但不需要使用Spark库。

然后更进一步——限制到某些客户端，而不是机器，您可以向某些机器或用户提供证书，或者将IP地址编码到某些身份验证协议中，然后为Spark强制执行ACL策略。也许您也可以使用Kerberos