DataTorrent是一个实时的流式处理和分析平台，它每秒可以处理超过10亿个实时事件。
与Twitter平均每秒大约6000条微博相比，最近发布的DataTorrent 1.0似乎已经超出了需求，它每秒可以处理超过10亿个实时事件。他们在一个包含37个节点的集群上进行了测试，每个节点256GB内存、12核超线程CPU。在CPU达到饱和之前，DataTorrent声称已经实现了线性扩展，而CPU达到饱和时处理速度为每秒16亿个事件。Phu Hoang是DataTorrent的联合创始人和CEO，他告诉InfoQ，在同样的硬件上，他们的解决方案在性能上比Apache Spark要高“好几个数量级”。
DataTorrent基于Hadoop 2.x构建，是一个实时的、有容错能力的数据流式处理和分析平台，它使用本地Hadoop应用程序，而这些应用程序可以与执行其它任务，如批处理，的应用程序共存。该平台的架构如下图所示：
StrAM（Streaming Application Master）是一个本地的YARN Application Master，负责管理将要在Hadoop集群上执行的逻辑DAG（Directed Acyclic Graph），包括资源分配、分区、扩展、调度、Web服务、运行时更改、统计、SLA执行、安全等等。
在架构示意图的上层，用户应用程序作为已连接的算子和/或应用程序模板存在。算子的示例有InputReceiver（模拟接收输入数据）、Average（针对指定维度的键计算数据平均值）、RedisAverageOutput（将计算好的平均值写入Redis数据存储）、SmtpAvgOperator（发送电子邮件警报）。这些算子是Malhar库的一部分，该库包含了超过400个这样的算子，并在GitHub上开源。用户可以根据需要编写其它算子。
-
作为用于对Apache Hadoop应用程序加以标准规范的行业倡议，目前已经有一大批重量级企业供应商承诺加入其互操作性体系当中。 开放数据平台倡议(简称ODPi)日前宣布，DataTorrent、IBM、Pivotal、SAS、Syncsort、WanDisco以及Xavient已经正式承诺只提供能够实现彼此互操作性的应用与平台。 ODPi吸引到一大批重量级厂商加盟 ODPi于今年5月公布了其第一
-
前言 在 gRPC 的新版本(1.0.0-pre2)中，为了方便传递 debug 信息，在 StatusException 和 StatusRuntimeException 中增加了名为 Trailer 的 Metadata。 注： 在此之前，Status(和Status映射的StatusException)只有两个字段可以传递信息：1. status code 2. status decript
-
本文向大家介绍分析Python的Django框架的运行方式及处理流程，包括了分析Python的Django框架的运行方式及处理流程的使用技巧和注意事项，需要的朋友参考一下 之前在网上看过一些介绍Django处理请求的流程和Django源码结构的文章，觉得了解一下这些内容对开发Django项目还是很有帮助的。所以，我按照自己的逻辑总结了一下Django项目的运行方式和对Request的基本处理流程。
-
众所周知，Flink有两个核心API（数据流/数据集），但当我使用Flink Sql客户端提交作业时，我不需要选择流或批处理模式。所以，Flink SQL客户机是如何决定使用批处理模式和流模式的。我在官方文件中没有找到答案。所以，我想知道Flink SQL客户端如何区分批处理模式和流模式？
-
我在spark streaming应用程序中看到一些失败的批处理，原因是与内存相关的问题，如 无法计算拆分，找不到块输入-0-1464774108087
-
本文向大家介绍Apache Kafka是分布式流处理平台吗？如果是，你能用它做什么？相关面试题，主要包含被问及Apache Kafka是分布式流处理平台吗？如果是，你能用它做什么？时的应答技巧和注意事项，需要的朋友参考一下 答：毫无疑问，Kafka是一个流处理平台。它可以帮助： 1.轻松推送记录 2.可以存储大量记录，而不会出现任何存储问题 3.它还可以在记录进入时对其进行处理。 Apache K
-
我想分散加工大批量。这个想法是使用Spring Batch在云中激发一堆AMQP消费者，然后加载廉价的任务（如项目ID）并将它们提交给AMQP交换。结果的书写将由消费者自己完成。 null