是否可以将WebHDFS与Flume一起使用？
我想让flume代理位于hadoop集群之外，并想知道是否有可能使用flume通过WebHDFS向hadoop集群发送消息。
如果没有，是否有使用WebHDFS的替代方案？使用多层水槽层仍然需要我在hadoop集群中运行水槽代理。
共有1个答案
Flume 代理可以在自己的机器上运行，而无需在 Hadoop 集群内运行，只要指定“HDFS”作为其类型即可。
我有一个水槽代理将avro事件写入hdfs接收器，而不在hadoop集群上或使用WebHDFS。
以下是它的设置：
agent.sinks.sink1.channel = channel1
agent.sinks.sink1.type = hdfs
agent.sinks.sink1.hdfs.path = hdfs://hadoopd1.x.y.z/day/id/
agent.sinks.sink1.hdfs.rollInterval = 300
agent.sinks.sink1.hdfs.fileType = DataStream
agent.sinks.sink1.hdfs.writeFormat=Text
agent.sinks.sink1.hdfs.fileSuffix=.avro
agent.sinks.sink1.serializer=avro_event
agent.sinks.sink1.serializer = org.apache.flume.sink.hdfs.AvroEventSerializer$Builder
-
是否可以在AWS Lambda中构建一个函数来创建websocket并将数据发送到订阅的应用程序？ 类似这样： John在他的手机中打开了应用程序SuperPhotoApp，但决定使用桌面浏览器将照片上传到SuperPhotoApp服务（S3 Bucket），此事件执行创建套接字的Lambda函数。io服务器并将更新推送到所有订户，他的手机打开了应用程序，因此应用程序会自动更新新照片。 这可以通过
-
我一直使用ElasticsearchIntegrationTest在没有elasticsearch服务器的情况下测试我的代码。我的类中的私有成员很少，所以考虑使用Powermock访问私有成员。在运行测试时，我得到异常。 Powermock是否可以与ElasticSearchintegrationTest一起使用？？ 代码： 例外情况： 原因：javassist.CanNotCompileExce
-
问题内容： 我对正则表达式很糟糕，但是我想知道是否可以将ng-pattern与变量一起使用 例如， 其中validationCode是控制器中附加到$ scope的变量 如果 则ng-pattern将是 但这不起作用，似乎我需要创建一个我真的不想要的自定义指令 问题答案： 需要一个正则表达式。 从Angular的文档中有关： 如果该值与模式表达式不匹配，则设置模式验证错误键。期望值用于内联模式或定
-
我对Spring webflux和protobuf都是新手。我一直在读一些东西，我发现它们之间有一些相似之处。喜欢 Spring webflow可以部署在netty上，gRPC也是如此。 两者都适用于流数据。 这两个框架都在某种程度上基于观察者设计模式，支持基于均匀的数据处理方法。 然而，我仍然找不到任何结合webflux（反应式编程）、gRPC（更快的数据编码和解码）和Spring（依赖注入）功
-
问题内容： Facelets依赖XML名称空间来与XHTML一起使用。HTML 4怎么样，据我所知，HTML 5不支持名称空间。HTML 5还具有XHTML中不可用的一些新元素。甚至HTML 4和XHTML在它们支持的元素和属性上也有一些差异。 问题是：是否可以使用Facelets呈现HTML 4/5文档？如果是这样，怎么办？ 问题答案： 由于Facelets是一种基于XML的视图技术，本质上可以
-
同时尝试将Vavr的不可变映射（接口时，我没有设法获得要编译的代码-至少没有使用。of（）io中的静态方法。vavr。收集HashMap。 本质上，这就是我使用的Maven依赖关系： 使用Java 1.8 代码如下： 这是我得到的错误： 不兼容的类型。必需的映射，但已将“of”推断为HashMap：不存在类型变量K，V的实例，因此HashMap符合映射 知道如何将的实例分配给吗？这可能吗？ 根据留