《stream》专题
-
当没有kafka broker运行时，如何禁用spring cloud stream以进行开发？
我有多个spring启动应用程序实现与Kafka经纪人的spring cloud stream。我想知道我是否可以停止或禁用spring cloud stream或kafka broker连接来启动应用程序。
-
使用spark streaming从kafka读取数据时出现lz4异常
我试图使用spark streaming api从kafka读取json数据，当我这样做时，它会抛出java.lang.nosuchmethoderror：net.jpountz.lz4.lz4BlockinPutStream.init异常。堆栈跟踪是-
-
使用Akka/Akka Streams/Akka HTTP时的Akka版本冲突
关于如何解决此错误的建议，以便我可以使用最新版本的akka、akka streams和akka HTTP？谢了！
-
AWS Lambda目标不使用DynamoDB Streams触发
我正在使用AWS Dynamo Streams触发AWS Lambda函数。如果lambda函数成功调用，我希望通过Lambda提供的异步调用目标功能调用子lambda函数。 尽管我已使用目标子Lambda函数配置了异步调用，但当父Lambda函数成功时，不会触发子函数，子Lambda函数的关联CloudWatch日志组为空。 我的父lambda有这样的策略：（提供对DynamoDB Stream
-
java stream分组并在一次迭代中找到前10名
它推迟了这个如何在使用Java流分组后应用排序和限制，因为我想在一次迭代中解决这个问题 假设我有以下实体： 现在，我列出了一个医院列表，我想找到患者最多的地区，以下是我迄今为止所做的工作： 显然，我已经迭代了两次，以找到其中包含大多数患者的前十个区域（一次用于按区域对医院进行分组并计算该组的总和，一次用于查找前十个区域）。 现在我想知道的是： 1） 有没有更好的方法可以在一个流和一次迭代中解决这个
-
如何在Spark Streaming中映射paralell中的键/值分区
我有一个以本地模式运行的Spark流程序，在该程序中，我从TCP套接字连接接收JSON消息，每个批处理间隔几条。 这些消息中的每一条都有一个ID，我用它来创建一个键/值JavaPairDStream，这样在我的JavaDStream中的RDD的每个分区中，都有一个键/值对，每个分区只有一条消息。 我现在的目标是将具有相同ID的消息分组在同一个分区中，以便我可以并行映射它们，每个分区由不同的核心处理
-
Spark Streaming中处理的批处理与RDD
我在中看到了几个答案（例如这里），因此建议批次中的记录将成为单个RDD。我对此表示怀疑，因为假设batchInterval为1分钟，那么单个RDD将包含最后一分钟的所有数据？ 注意：我不是直接将批次与RDD进行比较，而是将Spark内部处理的批次进行比较。
-
DynamoDB Streams Lambda NodeJS
非常基本的问题。我有两张DynamoDB桌子。表1包含一系列值，表2将包含一系列值（平均值等）。 我使用DynamoDB流触发lambda函数，从表1中的数据计算聚合值，然后用这些值更新表2。我的问题是，DynamoDB流是包含整个table1还是只包含新记录？ 我只是调整lambda函数来计算平均值，并将其存储到表2中，我只是试图规划实现这一点的最佳方法。一切似乎都在运转。只是在从表1中获取数据
-
AWS DynamoDB：如何订购使用DynamoDB Stream触发的Lambda？
我已经启用了我的表的DynamoDB Streaming，并且有两个lambda与之关联。每当DynamoDB表中发生变化时，这两个触发器都通过Dynamo触发器。 问题：两个Lambda相应地将数据插入到两个RDS表中。就像λ1插入表1和λ2插入表2一样。表1主键是表2中的外键。 因此，每当两个lambda都触发lambda two首先完成执行时，它会显示外键约束错误，因为lambda two试
-
试图使用子类型为Listenable/Stream的提供程序
我想做多供应商。我不知道错误在哪里。我是个新手。试着自己去修，但修不好。当我运行项目时，它卡在错误屏幕上。我把问题附在照片上。 此图显示模拟器上的错误显示 这是我的主要代码。飞镖锉 这是我的图像选择器。飞镖锉 在Android上启动lib\main.dartSDK在调试模式下为x86构建...运行Gradle任务'assembleDebug'...参数格式不正确-√构建\app\输出\flutte
-
如何在启用kinesis绑定器和kcl的情况下向spring stream cloud创建的aws资源添加标记
谢谢
-
使用Stream[duplicate]将字符串中的字母映射到出现次数
我有一个字符串，我正在尝试使用流API将中的每个字母映射到它在中出现的次数。 例如，。 我尝试使用的代码是： 但是我得到了
-
Spring Cloud Stream嵌入头格式（Kafka）
我正在使用Edgware版本中的Spring Cloud Stream binder发送Kafka消息。我也在使用Spring Sleuth和Zipkin。 Spring使用自定义类将标头嵌入到Kafka消息中。这会给一些必须处理此自定义解码的消息的非Spring消费者带来问题。 我的问题是：有没有办法为Spring配置消息头的自定义编码器/解码器（例如普通JSON）？或者可能使用Kafka标题？
-
如何迭代Kafka Streams表的键值
我不熟悉Kafka streams，我尝试通过keyValueStore迭代Kafka streams表中的项： 这个想法是使用KeyValueStore创建一个Ktable（我也尝试过globalKTable）。然后一个分离的线程负责读取KeyValueStore的内容，以便遍历每个键的最后一个值。 在线程中，即使我在主题“test”上生成项目，keyValueStore也会保持为空。 有什么我
-
在收到DynamoDB streams事件后立即查询GSI——可靠吗？
从下面的引文中，我很难理解事务到全局二级索引（GSI）、流和备份的传播是并行的，还是顺序的。 事务完成后，在该事务中所做的更改将传播到全局辅助索引（GSI）、流和备份。 https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/transaction-apis.html 因此我的问题是：只有在重建（复制）所有GSI之后才会引发