Spark streaming使用更少的执行器
我正在使用火花流处理一些事件。它是以独立模式部署的，有1个主和3个工作人员。我已将每个执行人的核心数设为4个，执行人的总数设为24个。这意味着总共有6个执行者将被产生。我已经把摊开成真了。所以每个工人机器得到2个执行者。我的批处理间隔为1秒。另外，我已经将批处理重新分区为21。其余3个是给接收器的。在运行时，我从事件时间线观察到，只有3个执行器被使用。其他3个没有使用。据我所知，在spark独立模式中没有参数来指定执行器的数量。我如何使spark使用所有可用的执行器？
共有1个答案
可能您的流没有那么多的分区来填充每1秒的minibatch中的所有执行器。尝试repartition(24)作为第一个流转换，以使用全部spark集群功能。
-
我必须编写spark streaming（createDirectStream API）代码。我将接收大约90K消息每秒，所以虽然使用100个分区为Kafka主题，以提高性能。 能不能请你告诉我，我该用多少个遗嘱执行人？我可以使用50个执行器和每个执行器2个核心吗？ 另外，考虑如果批处理间隔为10秒，并且kafka主题的分区数为100，我会从每个kafka分区接收100个RDD，即1个RDD吗？在
-
问题内容： 使用in 时可以执行更新吗？例如： 问题答案： 有一个非常强大的功能，称为： [15.4。DML风格的操作](http://docs.jboss.org/hibernate/orm/4.3/manual/en- US/html/ch15.html#batch-direct) 来自doc的小引用： …但是，Hibernate提供了通过Hibernate查询语言执行批量SQL样式DML语句
-
我找不到解决方法，所以我在这里发帖寻求帮助。我在并行运行测试时遇到问题（使用POM和page factory）。 *\Testbase类*/ *POM类* *测试用例* *XML文件* 我收到java nullpointerexception错误 **更新我碰到的错误，/*POM类*\createnewpage方法驱动程序返回一个空参数。 无论如何，我在这里尝试的是运行两个chrome浏览器进行并
-
我刚开始使用Spark streaming并尝试运行本教程中的一个示例，我正在跟踪制作并运行我们自己的NetworkWordCount。我已经完成了第8步，并从SBT制作了一个罐子。 现在我正在尝试使用第9步中的命令运行deploy my jar,如下所示： 我创建的jar包含“NetworkWordCount”类，该类具有来自spark示例的以下代码 我无法确定我做错了什么。
-
对于一个小的新项目，我决定尝试一下JDBI(通常我使用hibernate/jpa)。 我喜欢使用@SqlUpdate/@Sql Query创建轻量级、基于注释的dao。 但是：在某些情况下，我无法确定是要创建实体还是更新现有实体。我会放置一个“选择”语句，并根据其返回值使用插入或更新语句。 问题：jdbi中的“仅接口”道是否以某种方式支持这一点？还是我必须自己编写一个“createOrUpdate
-
问题内容： 我查看了Javadoc，但找不到与此相关的信息。 如果该方法中的代码告诉我这样做，我希望应用程序停止执行该方法。 如果那句话令人困惑，这就是我想在代码中执行的操作： 因此，如果布尔值为true，则该方法必须停止执行其他代码。 这只是一个例子。我还有其他方法可以完成我在应用程序中要完成的工作，但是如果可能的话，肯定会有所帮助。 问题答案： 做就是了： 只写是多余的（例如，这样就不会误写）