Apache Apex

Apache Apex 项目简介 Apache Hadoop自诞生起已有14年了。它已成为了能让企业通过用大数据创收来转变其业务运营大数据标准平台。 Hadoop承诺能让企业无需支付高昂费用就能使用其强大的处理系统来实现大数据处理，继而实现持续的快速增长。 雅虎Hadoop工程师刚开始要解决的问题是：我们该如何建立一个高效的搜索索引功能？MapReduce编程模型正是建立在该问题和一些另外的灵感之

http://apex.apache.org/docs.html https://apex.apache.org/docs/apex/application_development/  

apache flink 在过去的十年中，分布式计算世界发生了巨大的变化。 Apache Hadoop出现在现场，并带来了大规模处理分布式计算的新方法。 它不是最容易使用的，并且API远非完美，但它们确实有效。 人们尝试使用该平台作为众所周知的锤子，以合理的成本构建覆盖业务各个方面的解决方案，这些解决方案都存在问题。 人们很快就意识到，他们应该停止尝试使用Hadoop MapReduce解决每个问

Spark Streaming和Flink都能提供恰好一次的保证，即每条记录都仅处理一次。与其他处理系统（比如Storm）相比，它们都能提供一个非常高的吞吐量。它们的容错开销也都非常低。之前，Spark提供了可配置的内存管理，而Flink提供了自动内存管理，但从1.6版本开始，Spark也提供了自动内存管理。这两个流处理引擎确实有许多相似之处，但它们也有着巨大的差异。近日，MapR Technol

apache kafka 如今，可扩展的发布/订阅消息传递实际上是Apache Kafka的同义词。 无论您要添加Apache Storm或Apache Spark之类的东西进行处理还是使用Apache Kafka本身提供的处理工具，Apache Kafka始终是分布式流应用程序的坚如磐石，开源，首选。 但是，卡夫卡并不是镇上唯一的游戏。 由Yahoo开发，现在是Apache Software F

如今，可扩展的发布/订阅消息传递实际上是Apache Kafka的同义词。 无论您要添加Apache Storm或Apache Spark之类的东西进行处理还是使用Apache Kafka本身提供的处理工具，Apache Kafka仍然是分布式流应用程序的坚如磐石的，开源的首选。 但是，卡夫卡并不是镇上唯一的游戏。 由雅虎开发，现在是Apache软件基金会项目， Apache Pulsar成为Ap

我有一个批处理步骤 读取器和处理器流程如何工作？读取器是读取块并等待处理器处理它，还是一次读取所有块。

我在spark streaming应用程序中看到一些失败的批处理，原因是与内存相关的问题，如 无法计算拆分，找不到块输入-0-1464774108087

我有一个Spring批处理作业，它通过SFTP从远程Linux服务器检索文件。远程服务器上的目录是一个包含七天文件（约400个文件）的存档。文件的大小相对较小。 Spring批处理知道哪些文件已经被处理。 当我启动应用程序时。第一次,Spring Batch tasklet检索文件时,Spring Batch会为它已经处理的每个文件生成一个异常： > 在Transformer类中，是否应该检查文件

我有一个包含项目列表的大文件。 我想创建一批项目，用这个批次做一个HTTP请求（所有的项目都需要作为HTTP请求中的参数）。我可以用循环很容易地做到这一点，但是作为Java8爱好者，我想尝试用Java8的Stream框架来编写这个（并获得延迟处理的好处）。 例子： 我想做一些事情沿着< code>lazyFileStream.group(500)线。映射(processBatch)。collect

在我开始使用Spring Cloud Stream之前，我使用的是Spring-Kafka及其对批量消费和自定义错误处理的支持。请注意这段代码的最后两行: 然而，对于Spring Cloud Stream，我找不到如何配置它。我只能找到这些配置属性: Spring、响铃、水流、kafka.bindings.inputconsumer。autoCommitOffset，启用Dlq 因此，在Sprin

批处理 本书展示的几个例子中，ElasticSearch提供了高效的批量索引数据的功能，用户只需按批量索引的格式组织数据即可。同时，ElasticSearch也为获取数据和搜索数据提供了批处理功能。值得一提的是，该功能使用方式与批量索引类似，只需把多个请求组合到一起，每个请求可以独立指定索引及索引类型。接下来了解这些功能。 MultiGetMultiGet操作允许用户通过_mget端点在单个请求命

我想分散加工大批量。这个想法是使用Spring Batch在云中激发一堆AMQP消费者，然后加载廉价的任务（如项目ID）并将它们提交给AMQP交换。结果的书写将由消费者自己完成。 null

我有以下工作要处理在一定的时间间隔或特别的基础上。 作业中的步骤如下： 我也想要用户界面，在那里我可以触发一个特别的基础上的工作，而且我应该能够提供参数从用户界面。 我想用Spring batch来完成这个任务，但它更多的是用于读->处理->写之类的工作。这里，在第一步中，我正在生成由第二步读取的数据。我不确定我是否还可以使用Spring batch来实现这个，或者有更好的方法来实现这个。