数据丢失Spark 2.1-kafka broker 0.8.2.1流媒体
1流媒体和Kafka broker版本0.8.2.1，我在AWS上为spark和Kafka提供了单独的服务器。
使用val directKafkaStream=KafkaUtils。createDirectStream直接进近StreamingContext（conf，Seconds（300）），我希望从流媒体中获得30个字符串，但实际接收范围只有15-25个。交叉检查Kafka消费者在300秒内显示30个字符串。还有小溪。foreachRDD{rdd=
获取最终数据背后有什么问题。我正在使用火花会话创建sc和ssc。
谢谢你。
共有1个答案
将auto.offset.reset添加到kafka参数中的最小值
val kafkaParams = Map[String, String](
"auto.offset.reset" -> "smallest", ......)
-
我对使用PrimeFaces 3.4.1和JSF 2.1.6的dataTable有以下问题。第一次加载页面时，数据表中充满了数据库中的数据，但每当在页面上执行操作（编辑链接、数据表排序或过滤）时，数据表就会丢失其数据。DataTable包含来自此类的元素： 在dataTable上执行操作后进行调试时，我们只在envioDatasujeto字段上保留数据，元素上的其他所有数据都会丢失。 这是xhtm
-
我正在使用DSS签署Pdf文档。我需要这些文档有时间戳并启用LTV（启用PAdES LTV）。 我遇到了一些关于撤销数据的问题。 我对这个领域有点陌生，所以请容忍我。 我按照DSS本身提供的说明和演示进行操作，但没有效果。 我已经成功地使用PAdES B和PAdES T签署了Pdf，所以我的TSA服务设置正确。 我遇到的问题是，每次我尝试使用LTV签署Pdf时，都会出现以下错误：“eu.europ
-
我正在使用java，从服务器收到了一些json字符串。我收到了带有readUTF的json字符串，但是有一些数据丢失了。我没有收到每个json包的前两个字符。另一个问题是收到json字符串有延迟。例如，服务器发送了一个json字符串，客户端无法收到它，直到服务器和客户端发送的大约50个json字符串突然显示所有的json字符串。主要问题是什么？ 因为服务器用UTF格式发送数据，所以我不能用Buff
-
本文向大家介绍R检查丢失的数据，包括了R检查丢失的数据的使用技巧和注意事项，需要的朋友参考一下 示例 anyNA报告是否存在任何缺失值；而按is.na元素报告缺失值： ìs.na返回在算术运算（FALSE = 0，TRUE = 1）下被强制为整数值的逻辑向量。我们可以使用它来找出有多少个缺失值： 扩展这种方法，我们可以在数据帧上使用colSums和is.na来计算每列的NA： naniar软件包（
-
我在Spring Boot应用程序中从聚合根发布事件时遇到了困难。我基本上想要的是在每次关于一个人的一些信息被更改时发布一个“更新”事件。这方面的代码非常简单： 我正在通过管理器管理实例： 然而，当我调用manager(时，事件似乎“丢失”了：在调用方法时，所有事件仍然存在，但是当Spring调用时，集合是空的。 那么我怎么才能回到正轨呢？
-
我正在用c写一个抖动缓冲程序来处理rtp包。这里rtp使用UDP传输，所以连接不可靠，包会不整齐，也会有一些包丢失。如果包的顺序发生变化，我会通过序号（在rtp报头信息中）来排列，但是我怎么处理或者补偿包丢失呢？（因为包丢失不在我手上） 注意：我正在处理h264作为有效负载，他们要求我只使用RTP报头