火花驱动器监视器工作不可靠
| Action/Behaviour | Executor | Driver |
|---------------------|------------------------------|------------------------------|
| Worker Machine Stop | Relaunches on other machines | NO Relaunch |
| kill -9 to process | Relaunches on other machines | Relaunches on other machines |
| kill to process | Relaunches on other machines | Relaunches on other machines |
-
null
共有1个答案
-
我还是想不通。几天前我的硒工作得很好；现在它给我带来了一些错误。我首先使用Nuget，然后我尝试手动安装它。 如何重现问题： 错误： OpenQA. Selenium.WebDriverExcture：抛出一个带有空响应的异常，向远程WebDriver服务器发送HTTP请求以获取URLhttp://localhost:60695/session.异常的状态为ReceiveFailure，消息为：基
-
目前，我正在群集模式（独立群集）下使用Spark 2.0.0，群集配置如下： 工作线程：使用了4个内核：总共32个，使用了32个内存：总共54.7 GB，使用了42.0 GB 我有4个奴隶（工人）和1台主机。火花盘有三个主要部件-主部件、驱动部件、工作部件（参考） 现在我的问题是，驱动程序正在其中一个工作节点中启动，这阻碍了我在其全部容量（RAM方面）中使用工作节点。例如，如果我在运行spark作
-
在EMR集群或任何集群中，YARN有可能在同一个EC2实例中分配驱动程序和执行器吗？我想知道驱动程序是否可以利用1个EC2实例的存储和处理能力，或者该实例的某个部分将用于服务集群中运行的其他spark作业。这可能会导致我的驱动程序内存不足。 我认为资源管理器是根据集群资源的可用性来决定的？
-
对于使用kafka的Spark流，我们使用Directstream，这是一种无接收器的方法，并将kafka分区映射到Spark RDD分区。目前，我们有一个应用程序，其中我们使用Kafka直接方法并在RDBMS中维护我们的on偏移， 我们有类似的Kinesis吗？当我阅读火花-Kinesis集成的留档时，感觉检查点有所不同。以下是我遇到的一些问题 使用kinesis流是否将kinesis碎片映射到
-
我使用spark-core 2.0.1版和Scala2.11。我有一个简单的代码来读取一个包含\escapes的csv文件。 null 有人面临同样的问题吗？我是不是漏掉了什么？ 谢谢
-
我有一个Spark集群运行在hdfs之上的纱线模式。我启动了一个带有2个内核和2G内存的worker。然后我提交了一个具有3个核心的1个执行器动态配置的作业。不过，我的工作还能运转。有人能解释启动worker的内核数量和为执行者请求的内核数量之间的差异吗。我的理解是，由于执行者在工人内部运行，他们无法获得比工人可用的资源更多的资源。