《stream》专题

我正在做一件我认为非常简单的事情来检查alpakka是否在工作：

我已经设置了Spark Structured Streaming(Spark2.3.2)来阅读Kafka(2.0.0)。如果消息在Spark streaming作业启动之前就进入了主题，我无法从主题的开始消费。这是Spark streaming的预期行为吗？它忽略了Spark streaming作业初始运行之前产生的Kafka消息（即使带有.选项（“StratingOffSets”,“Earlis

但我在Kstreams那边。现在我糊涂了！！！ 问题: 1。Spark流媒体和Kafka流媒体有什么区别？ 2。我怎样才能把KStreams+Spark Streaming+机器学习结合起来？ 3。我的想法是连续训练测试数据，而不是批量训练。

迭代是什么意思？ 我首先使用时间戳对dstream进行排序，假设数据是以单调递增的时间戳到达的（没有乱序）。 我需要一个全局HashMap X，我希望使用时间戳为“T1”的值更新它，然后使用“T1+1”的值更新它。由于X本身的状态会影响计算，所以它需要是一个线性运算。因此，在“t1+1”处的操作取决于HashMap X，而HashMap X取决于在“t1”处和之前的数据。 当一个人试图更新一个模型

这是最好的方法吗？你们会推荐哪种方法？为什么？在这个用例的范围内有几个最好的实践示例将是很棒的！ 提前致谢：）

当涉及到在akka HTTP上使用60+API创建REST web服务时。我如何选择我应该和akka溪流还是akka演员一起去？在他的文章中，Jos展示了在akka http上创建API的两种方法，但他没有展示我应该在什么时候选择一种而不是另一种。

我使用https://doc.akka.io/docs/alpakka-kafka/current/consumer.html从kafka使用数据，如下所示： 接下来，我将通过akka http websocket客户端将收到的结果转发到webserver 以下是如何构建websocket客户端： 我有两个问题： > 如何将消费者和websocket客户端组合成一个流，并让它将消息发送到Web服务

这可能是一个非常基本的问题，但我很难理解Spring Boot 2 Mx、Spring Cloud Finchley.x和Spring Cloud Stream Elmhurst.x之间的关系。是否有任何文档/自述文件来解释所有这些版本是如何链接在一起的？ 我有一个项目需要以下DependencyManagement： 总而言之，如果我想：1）依赖于最新的快照2）依赖于最新的里程碑，我应该为这些“

我有一个项目数组，我想从属于它们的实例变量创建一个列表（或任何iterable）。 如何使用单行流执行此操作？

我有列表： 如何转换列表 需要更换： 对象具有构造函数： 我试过这个： 但这对我不起作用。我得到错误： 我认为lambda参数是数组的点[]，但不是。

OS：Red Hat Enterprise Linux Server 6.5版JRE:Oracle 1.8.0.144-b01 spark-streaming2.11:2.1.0 spark-streaming-kafka-0-102.11:2.1.0 Spark stream Kafka jar由Spark提交-提交到独立的Spark集群，并运行良好几天。但是最近，我们发现没有为流生成新的作业，

我们有一个运行在Spark2.3.3上的Spark流应用程序 基本上，它开启了一条Kafka流： 我们尝试： > spark.streaming.backpressure.enabled=true以及spark.streaming.backpressure.initialrate=2000和spark.streaming.kafka.maxratePerpartition=1000和spark.s

我对year执行了一个简单的group by操作，并做了一些聚合，如下所示。我尝试将结果附加到hdfs路径，如下所示。我说错了， 我真的不知道我的方法有什么问题。请帮忙

在https://spark.apache.org/docs/latest/structured-streaming-programming-guide.html#handing-lat-data-and-watermarking的文档中，显示了一个使用10分钟窗口、10分钟水印和5分钟触发器的示例。 在使用追加模式时的关系图中，12:00:00->12:10:00窗口的第一个结果仅显示在12:2

是否可以限制Kafka消费者返回Spark Streaming的批的大小？ 我这么问是因为我得到的第一批记录有上亿条记录，处理和检查它们需要很长时间。