我们看到的是Apache Nifi和Gobblin,它们似乎在意图上有重叠。什么样的用例最适合哪个平台?它们将如何符合上面的用例?
谢了!
我的经验是使用NiFi,我刚刚看了一下Gobblin,但主要是,NiFi本身是一个应用程序,而Gobblin是一个框架。
在NiFi中,您将有一个GUI,具有非常细粒度的授权,允许几个用户干预流的不同部分,监视它,等等...另一件事是,NiFi是“总是打开”和“总是在生产中”,您可能能够直接对目标进行修改,因此,有一些保护措施来避免丢失数据(我的意思是错误的)。
因此,我认为这两种解决方案或多或少可以做相同的事情,如果您有一个工作流,您想要不时地部署一次,Gobblin可能更适合,但如果您想要一些允许某些用户直接在生产中干预部分流的东西,NiFi将是最好的。
最后,为了使问题面向编程:
我正在做一个学术项目,涉及传感器的流数据。我已经包围了苍鹭(Storm的接班人)和尼菲。两者都支持内置背压,这对我的项目至关重要。Apache Nifi和Heron之间的主要区别是什么? 哪款更适合物联网应用?
我们需要的是直接的API来设置和使用集群消息队列。我们最初的计划是使用Camel在集群JMS或ActiveMQ队列上进行消费/生产。Kafka如何使这项任务变得更容易?在任何一种情况下,应用程序本身都将在WebLogic服务器上运行。 消息传递将是点对点类型,其中有多个相同服务的实例在运行,但根据负载平衡策略,只有一个实例应该处理消息并发出结果。消息队列也是群集的,因此服务实例或队列实例的失败都不
目前我正在研究Apache spark和Apache ignite框架。 这篇文章介绍了它们之间的一些原则差异,但我意识到我仍然不理解它们的目的。 我的意思是,哪一个问题更容易产生火花而不是点燃,反之亦然?
Apache Kafka:分布式消息传递系统 Apache Storm:实时消息处理 我们如何在实时数据管道中使用这两种技术来处理事件数据? 在实时数据管道方面,我觉得两者做的工作是一样的。如何在数据管道上同时使用这两种技术?
我当前的应用程序使用Logback进行日志记录。我使用ApacheFelix部署了一个OSGi框架,允许在运行时动态注册捆绑包。Felix设置如下: 唯一的问题是Felix似乎没有日志记录。当一个包由于某种原因无法加载时,我不知道为什么!我知道我可以使用捆绑包中的以下内容来获取父记录器: 然而,我不明白首先如何让felix使用logback作为日志记录器。
我做了一个poc,其中我使用spark流从Kafka读取数据。但我们的组织要么使用ApacheFlink,要么使用Kafka消费者从ApacheKafka读取数据,作为标准流程。所以我需要用Kafka消费者或ApacheFlink替换Kafka流媒体。在我的应用程序用例中,我需要从kafka读取数据,过滤json数据并将字段放入cassandra中,因此建议使用kafka consumer而不是f