当前位置: 首页 > 知识库问答 >
问题:

如何使用Apache Flume过滤多个源数据?

双恩
2023-03-14

我正在使用 flume 来处理多个源数据并存储在 HDFS 中,但我无法理解如何在存储在 HDFS 中之前过滤数据。

共有1个答案

漆雕皓轩
2023-03-14

您有两个选择:

    < li >使用水槽拦截器,在此检查答案。 < li >使用基于流的解决方案(Apache spark、Apache Heron/Storm)过滤记录,然后将其存储在HDFS,

第二个选项让您可以更灵活地编写不同类型的流模式。如果您有更多疑问,请添加评论。

 类似资料:
  • 我试图子集一个熊猫DataFrame在python基于两个逻辑语句 即。 但是第3行的语法无效。 有没有一种方法可以在一行中完成?

  • 问题内容: 我正在尝试使用作为df一部分的几个布尔变量来过滤df,但一直未能做到。 样本数据: C和D列的dtype是布尔值。我想仅使用C或D为True的行创建一个新的df(df1)。它看起来应该像这样: 我已经尝试过类似的事情,因为它无法处理布尔类型,因此会遇到问题: 有任何想法吗? 问题答案: In [82]: d Out[82]: A B C D 0 John Doe 45 True Fal

  • 本文向大家介绍如何过滤具有多个对象的JSON数据?,包括了如何过滤具有多个对象的JSON数据?的使用技巧和注意事项,需要的朋友参考一下 要使用多个对象过滤JSON数据,可以将filter和==一起使用。 示例 要运行上述程序,您需要使用以下命令- 输出结果 在这里,我的文件名为demo194.js。这将产生以下输出-

  • 我有一个使用Spring3.1的web应用程序。1.我们有一个使用JdbcTemplate的genericDao。数据源在GenericDaoImpl中是这样注入的。 这是一把简单的刀。 目前,凭借独特的数据源,它工作得非常完美。applicationContext配置了注释。 现在我必须集成一个新的DAO,仍然使用通用道,但在另一个数据库上工作(所以是另一个数据源)。 我在服务中使用@Trans

  • 问题内容: 我有如下定义的用户对象。 然后我有以下代码: 现在,当我在文本框中键入文本:“ searchText”时,我希望过滤器显示用户名和朋友的姓名/年龄。谁能帮助我做到这一点? 如果我是正确的话,那么我认为我需要为此创建一个自定义过滤器,或者还有其他方法可以完成此操作吗? 问题答案: 因为您想一次过滤两件事-朋友数组和用户的某些属性- 您需要创建自己的接受两个附加参数的自定义过滤器: 然后像

  • 当我试图在spring-boot上使用多个数据源时,我面临着一个巨大的问题。我的问题是因为我正在使用spring batch,而我没有足够的权限在我的生产数据库上从spring-batch创建元数据表,所以我需要使用例如H2来创建这些表,但是当我试图在我的模型中加载一个在我的作业处理器中具有关系为@OneToMany的字段时,我收到了LazyInitializationException Spri