Kafka流-在1台C4.xLarge计算机上运行的“流线程”与“任务”之间的关系
我有一个Kafka Streams拓扑，它有5个处理器和1个源。此拓扑的源主题有200个分区。我的理解是创建200个任务来匹配输入主题的#个分区。
我知道Kafka流的并行性/可伸缩性是由流线程的数量控制的。我可以将num.stream.threads增加到10，但是如果它们都运行在单个EC2实例上，它将如何提高性能呢？。它与在单个EC2实例上的单个流线程上运行所有任务有何不同？。
共有1个答案
如果您有一台8核心的计算机，您可能希望运行8streamsthreads。
这个Kafka Streams应用程序运行在C4.xLarge上&这200个任务运行在单个Streams线程上，这意味着这个Streams线程应该会用完所有的CPU内核（8）和内存。
这听起来不对。一个线程不能利用多个内核。虽然配置一个StreamThread意味着会启动更多的其他后台线程（使用者心跳线程；生产者发送者线程），但它会假定您无法通过此设置充分利用所有8个核心。
如果8streamsthreads没有充分利用您的8个核心，您可以考虑配置16个线程。但是请注意，所有线程将共享同一个网络，因此，如果网络是实际的限制因素，运行更多的线程不会给您带来更高的吞吐量（或更高的CPU利用率）。对于这种情况，您需要使用多个EC2实例进行扩展。
如果您有200个任务，那么在概念上最多可以运行200个streamthreads，但您可能不需要200个线程。
-
我有一个压缩图像的任务，它在图像中使用了许多循环： 我在普通线程中运行此方法，如下所示： 或者在后台工作线程中运行 问题是：这种方法有时会出错，在接收无效输入时会导致无限循环。在这种情况下，它将永远运行，并损害CPU，即使当设备的屏幕关闭时，这会增加设备的温度（如果我使用工作线程，它还会阻止等待队列中的其他任务）。 我想我需要设置一个超时来终止长时间运行的任务。在正常Java线程中实现这一点的最佳
-
null 映射器读取每一行（作为键）后，必须复制从hdfs输入名称的视频并存储在从机上，然后程序在视频上运行opencv和ffmpeg然后切换到视频2做同样的事情 hadoop jar/usr/local/lib/hadoop-2.7.3/share/hadoop/tools/lib/hadoop-streaming-2.7.3.jar-input/user/root/input-output/u
-
问题： 在运行时，引擎会为每个数据流创建一个线程吗？还是每个操作员一个线程？ 是否可以在作业启动时在运行时动态创建数据流？（即，如果作业启动时从文件中读取N，并且需要创建相应的N个流） 当创建大量流(N~10000个）时，与在单个流中创建N个分区相比，是否有任何特定的性能影响？
-
在Java中模拟网络的最佳方法是什么？ 理想情况下，我希望创建一个套接字的“模拟”版本，具有它们自己的输入和输出流。最后，我将使用这些流进行数据传输，而不是仅仅在java对象之间移动数据，所以我要模拟的是在实际网络中可能出现的延迟、数据丢失和其他错误。 理想情况下，这些模拟方法将非常接近的实际流标准，因此我不需要进行太多的重写来从模拟转移到实际的客户端。 谁能给我指明正确的方向吗？
-
我有一个Kafka Streams应用程序，它从很少的主题中获取数据，并将数据连接到另一个主题中。 Kafka配置： 注意：我在运行Kafka代理的同一台机器上运行Kafka Streams应用程序。 每小时消耗/产生数百万条记录。每当我让任何Kafka经纪人下岗时，都会进入重新平衡阶段，重新平衡大约需要30分钟，有时甚至更长时间，很多时候，这会扼杀许多Kafka流程。
-
我创建了一个应用程序，在我的计算机中，这个jar运行没有任何问题。我试着在另一台电脑上运行它，它什么都做不到。然后，我在另一台pc上尝试了同样的jar（如果你想这样看的话，是第三台），在那里，jar运行没有问题。所以我回到第二个，试着从命令行运行它，它给了我这个错误： “main”java.lang.UnsatisfiedLinkError头出现异常：无法加载库:C:\users\hectlr\l