当前位置: 首页 > 知识库问答 >
问题:

Apache Flume HDFS接收文件写有什么保证?

谭景明
2023-03-14

如果Flume代理在HDFS文件写入过程中被杀死(比如使用Avro格式),有人能解释一下会发生什么吗?文件会被破坏,所有事件都会丢失吗?

我了解Flume数据链的不同元素之间存在交易(来源-

共有1个答案

汤飞羽
2023-03-14

如果Flume代理在HDFS文件写入过程中被杀死,则文件不会损坏,也不会丢失数据。

如果 FLUME 正在写入一个文件,例如 FlumeData123456789.tmp当 Flume 代理被杀死时,则在此之前写入该文件的所有记录将保持不变,并且该文件将另存为 FlumeData123456789。

 类似资料:
  • 问题内容: 我正在关注Go教程,由于无法理解特定的方法签名而陷入困境: 该文档解释如下: 该方法的签名如下:“这是一个名为save的方法,它的接收方p是指向Page的指针。它不带参数,并且返回错误类型的值。” 我不明白接收器是什么。我将其作为参数读取,但随后我期望参数位于中。 问题答案: 接收者是声明方法的对象。 要向对象添加方法时,请使用此语法。 例如:http://play.golang.or

  • 我想使用Flink读取输入文件,进行聚合,然后将结果写入输出文件。作业处于批处理模式。请参见字数。py如下: 在运行python wordcount之前。py,我运行echo-e“flink\npyflink\nflink” 虽然我希望有一个包含内容的单个文件/tmp/输出: 实际上,我通过调整下面生成单个文件/tmp/输出的参数,得到了上面的python程序。 运行此版本将生成一个 /tmp/o

  • 问题内容: 这是代码片段。 编辑:我正在从目录中读取文件。因此,我需要在每个循环中打开阅读器。我进行了一些修改,但同时也没有写入该文件。这是代码: 编辑:我修改了代码,但没有成功, 而且我收到此错误: 编辑:谢谢..我想通了。实际上,我在eclipse中创建了一个目录,但没有刷新它来查看内容。真是太傻了…还是非常感谢 问题答案: 您正在循环内创建FileWritter,因此您将始终在每个循环中截断

  • 我正在寻找Kafka连接连接器,将写从Kafka到本地文件系统的拼花文件格式。我不想使用hdfs或s3接收器连接器进行同样的操作。

  • 我正要尝试从GitHub下载的Python包,意识到它没有,所以我不能用 相反,这个包有一个< code>pyproject.toml文件,它似乎与< code>setup.py通常具有的条目非常相似。 Google引导我进入PEP-518,它在Rationale部分对进行了一些批评。然而,它没有明确说明应该避免使用,或者将因此完全取代。 是用来替换的东西吗?或者一个包应该同时带有和? 如何安装处

  • 我正在使用SimpleHTTPServer的do_POST方法接收文件。如果我使用curl上传png文件,脚本工作正常,但每当我使用python请求库上传文件时,文件上传会损坏。这是SimpleHTTPServer代码 上传文件的客户端代码在这里 文件已成功上载,但已损坏。 python请求头 SimpleHTTPServer响应 使用curl[curl-F'file=@test.png'192.