有哪些开源解决方案可以使用Kafka Connect将数据从Kafka移动到HDFS3？
除了Confluent HDFS库（非开源），是否有任何完全开源的库可以将消息从Kafka（使用Kafka Connect）移动到HDFS 3？
- Kafka Connect HDFS 2 Sink-汇流社区许可证
- Kafka Connect HDFS 3 Sink-融合企业许可证
相关：需要使用Kakfa Connect将小型JSON消息从Kafka移动到HDFS，但如果不完全免费使用Confluent库，则不使用
共有2个答案
解决方案是使用Python或您想要使用的任何语言创建一个Kafka消费者，然后这个消费者将Kafka主题中的数据作为消息读取，然后使用Linux Hadoop命令为每个消息创建一个文件（可以使用Python Hadoop包完成），然后将数据写入HDFS文件。
HDFS2连接器是开源的，如果您不将其作为托管服务提供，则可以与社区许可证一起免费使用，或者正如我之前所说，ApacheNifi是一种更丰富的工作流产品，与Kafka一起在Hadoop生态系统中运行良好。Spark或Flink也常用于此
-
本文向大家介绍移动端滚动穿透是什么原因？有哪些解决方案？相关面试题，主要包含被问及移动端滚动穿透是什么原因？有哪些解决方案？时的应答技巧和注意事项，需要的朋友参考一下 https://segmentfault.com/a/1190000020321154
-
本文向大家介绍移动端点击事件为什么会有延迟？有哪些方法可以解决？相关面试题，主要包含被问及移动端点击事件为什么会有延迟？有哪些方法可以解决？时的应答技巧和注意事项，需要的朋友参考一下 视口延迟判断，300ms之内会不会有下一次点击操作，如果有就是放大缩小，没有就是点击事件 fastclick主要的原理就是，创建了一个div，并且执行了这个div的点击事件并且取消默认事件，再隐藏这个div
-
问题内容： 我测试了一些解析，并得到了字符串。现在，我想将其写入本地数据库，以查看以后是否可以在更大范围内进行操作。我选择哪种数据库容易处理？第一步是什么？ /编辑。我用日食工作。而且我对编程还很陌生。安装了MS SQL Express，但是我不知怎么处理。不知道从哪里开始… 非常感谢。 问题答案： 您可以使用MySQL数据库。 1）下载mysql连接器，然后将jar添加到您的项目中。 2）在db
-
本文向大家介绍使用Python可以打开文件的方式有哪些？，包括了使用Python可以打开文件的方式有哪些？的使用技巧和注意事项，需要的朋友参考一下 python中的文件可以通过以下方式打开。 模式 描述 'r' 读取模式。（默认） 'w' 写模式。如果不存在则创建一个新文件，或者如果存在则将其截断。 'X' 打开文件以进行独占创建。如果文件已经存在，则操作失败。 '一种' 附加在文件末尾而不会
-
本文向大家介绍移动端微信页面有哪些兼容性问题及解决方案是什么？相关面试题，主要包含被问及移动端微信页面有哪些兼容性问题及解决方案是什么？时的应答技巧和注意事项，需要的朋友参考一下 1.rem方案通过reset js进行适配 2.vw 方案 搭配px to viewport进行适配
-
我看到一个解决方案，我不能理解是什么立场背后的解决方案，我想理解为什么解决方案是正确的（什么立场背后的想法），问题是“最小移动到相等的数组元素”。我看到的解决方案是： 我不明白为什么元素之和减去最小元素乘以数组长度就能得到问题的解？ 编辑：这是对问题的解释：给定一个大小为n的非空整数数组，求出使所有数组元素相等所需的最小移动次数，其中一个移动是将n-1个元素递增1。示例： 输入:[1,2,3]