当前位置: 首页 > 知识库问答 >
问题:

如何用无源码的Kafka频道配置Flume?

闻人浩波
2023-03-14

如果在配置中没有指定源,它会报错。根据文件:

Kafka 通道可用于多种场景:

>

  • 使用Flume源和汇-它为事件提供了可靠且高度可用的通道

    使用Flume源和拦截器,但没有接收器-它允许将Flume事件写入Kafka主题,供其他应用程序使用

    使用Flume接收器,但没有源-这是一种低延迟、容错的方式,可以将事件从Kafka发送到Flume接收器,例如HDFS、HBase或Solr

    https://flume.apache.org/FlumeUserGuide.html

    我对场景3很感兴趣,但是在官方水槽文档中没有这样的例子。

    问候

  • 共有2个答案

    蒋联
    2023-03-14

    您可以为源提供一些伪名称,如:

    agent.sources = dummySource
    agent.sinks = hdfsSink
    agent.channels = kafkaChnl
    

    并提供hdfsSink和kafkaChnl的配置

    澹台展鹏
    2023-03-14

    在较新版本的 CDH(在我的情况下为 5.14)上的水槽配置中可以省略水槽代理源。仅发出警告。

     类似资料:
    • 我试图在我的spring boot项目中使用spring kafka来阅读来自我的kafka的消息。我正在使用@KafkaListener,但问题是我的消费者总是在运行。只要我从控制台生成一条消息,它就会在我的应用程序中弹出。我想定期投票。我怎样才能做到这一点? } 这是我的消费者配置:

    • 基本上,我需要配置CI/CD与比特桶源代码到ECS容器。我想使用CodePipline部署新的ECR映像到ECS。 目前,AWS CodePipline中没有将bitbucket指定为源的选项。然而,我已经设法用webhooks配置了CodeBuild,这样它就可以构建docker文件,并在每次推送发布分支时将其推送到ECR。 我想将ECR配置为CodePipline中的“源”阶段,并将其部署到现

    • 我正在尝试将我的 kafka 集群设置为接受SASL_SSL/SCRAM 身份验证。首先,一切都在实际工作,客户端使用SASL_SSL/ GSSAPI进行连接。我的 Zk 服务器也针对 SASL 身份验证和 TLS 进行了配置。 我为Kafka和Zk使用了融合的docker图像: confluent inc/cp-kafka: 6.0.1 confluent inc/cp-zookeeper: 5

    • 我尝试通过以下设置将音频编码为AAC,配置文件。 如何选择以获得输出?

    • 我正在使用Kafka(与雅虎Kafka经理) 我想为重置消息设置一个规则,或者他们如何称呼它:“分区偏移量的总和” 在server.properties上是否有滚动kafka偏移量的参数? (即:我想重置或删除所有影响邮件保留的参数) 谢谢。

    • 请求header Domain liveapi.mudu.tv POST /v2/oldopenapi/micro-act/api/visitor_num?act_id={频道id} Authorization:Bearer {ACCESS TOKEN} Content-Type:application/json 注: 请将上方的{ACCESS TOKEN}替换为您的ACCESS TOKEN 请