获取更多rdd.TreeAggregate中的Reduce任务
又一个火花问题给你！
因此，我使用mllibs原生SVMWithSGD训练一个SVM模型。训练rdd被划分为114个分区，每个分区大约有2700个实例。
每个迭代工作分为两个阶段。第一阶段，与我的节点线性扩展。然而，第二阶段只分为10个左右的任务，比可用的V核少得多，所以这个阶段不是线性扩展的。
我想把这个阶段分成更多的任务，让更多的执行者可以并行地在上面工作。有办法着手做那件事吗？
此外，还有一个巨大的调度程序延迟，我已经理解了执行器和调度程序之间通信所需的时间。
共有1个答案
你的特征向量的维度是多少？2700个训练实例的114个分区仅为300k个训练实例。根据维度的不同，您应该考虑将RDD重新划分为更少数量的分区（比如5-10个）。
-
问题内容： 如何从任务中获取任务的task_id值？这是我的代码： 这个想法是，当我创建任务的新实例时，我从任务对象中检索。然后，我使用任务ID来确定任务是否已完成。我 不想 按值跟踪任务，因为在任务完成后文件将被“清理”，并且可能存在也可能不存在。 在上面的示例中，我将如何获取值？ 问题答案： 如果任务接受，Celery会设置一些默认关键字参数。（您可以使用** kwargs接受它们，也可以专门
-
我正在使用以下命令查找我拥有的软件包的版本。
-
我希望我的第一个reduce任务生成类似smth的（当然， 请注意，我无法循环访问
-
问题内容： 您如何从字母char获得VK代码？看来您应该能够执行类似的操作，但这不起作用（结果为零）。如果您已经拥有一个KeyEvent，那么每个人都知道如何获取键码，但是如果您只是想将chars转换为VK int，该怎么办？我对获取奇怪字符的FK代码不感兴趣，只有[AZ]，[az]，[0-9]。 这个问题的背景--------我见过的所有机器人教程都假定程序员喜欢通过发送带有VK代码的按键来拼写
-
我使用了Web API控制器中的IActionResult和邮递员的加热方法，我的功能正在工作，但没有得到成功响应。我的代码是： Postman中的响应是：无法获得任何响应连接到https://localhost:44303/api/pousada/markasinactive时出错。可能发生这种情况的原因：服务器无法发送响应：确保后端正常工作自签名SSL证书被阻止：通过关闭设置>常规代理配置错误