当前位置: 首页 > 知识库问答 >
问题:

Kafka REST API源连接器,带有认证头

苏宾鸿
2023-03-14

我需要为REST API创建kafka源连接器,并使用头验证,如curl-H“Authorization:Basic”-H“clientID:”“https:

{
    "name": "rest_data6",
    "config": {
           "key.converter":"org.apache.kafka.connect.json.JsonConverter",
           "value.converter":"org.html" target="_blank">apache.kafka.connect.json.JsonConverter",
           "key.converter.schemas.enable":"true",
           "value.converter.schemas.enable":"true",
            "connector.class": "com.github.castorm.kafka.connect.http.HttpSourceConnector",
           "tasks.max": "1",
            "http.request.headers": "Authorization: Basic <key1>",
            "http.request.headers": "clientID: <key>",
             "http.request.url": "https:<url for source ?",
           "kafka.topic": "mysqltopic2"
    }
}

我还尝试使用“connector.class”:“com.tm.kafka.connect.rest.RestSourceConnector”,我的joson文件如下

"name": "rest_data2",
"config": {

       "key.converter":"org.apache.kafka.connect.json.JsonConverter",
       "value.converter":"org.apache.kafka.connect.json.JsonConverter",
       "key.converter.schemas.enable":"true",
       "value.converter.schemas.enable":"true",
       "connector.class": "com.tm.kafka.connect.rest.RestSourceConnector",
       "rest.source.poll.interval.ms": "900",
       "rest.source.method": "GET",
       "rest.source.url":"URL of source ",
       "tasks.max": "1",
       "rest.source.headers": "Authorization: Basic <key> , clientId :<key2>",
"rest.source.topic.selector": "com.tm.kafka.connect.rest.selector.SimpleTopicSelector",
"rest.source.destination.topics":  "mysql1"

}

}

但没有希望。知道如何通过身份验证获取RESTAPI数据。我的身份验证参数是Authorization:Basic和Authorization:基本。

只需提及两个文件都使用REST API而无需身份验证,一旦我添加了身份验证参数,则枯萎连接器状态失败或它产生“:”无法路由。代码库/公司无效“”主题中的消息。有人能建议什么方法来解决它吗

共有1个答案

阳长恨
2023-03-14

我把原件寄给了Cástor Rodríguez。按照他的解决方案,我修改了json

将标题放在一个表单中,它就可以工作了

{
    "name": "rest_data6",
    "config": {
           "key.converter":"org.apache.kafka.connect.json.JsonConverter",
           "value.converter":"org.apache.kafka.connect.json.JsonConverter",
           "key.converter.schemas.enable":"true",
           "value.converter.schemas.enable":"true",
            "connector.class": "com.github.castorm.kafka.connect.http.HttpSourceConnector",
           "tasks.max": "1",
            "http.request.headers": "Authorization: Basic <key1>, clientID: <key>"
             "http.request.url": "https:<url for source ?",
           "kafka.topic": "mysqltopic2"
    }
}
 类似资料:
  • 我使用SpringBoot(V2.3.0.Release)、JPA和Hibernate(带有MySQL数据库)。总的来说,我需要努力提高表演。 是否需要手动配置(同时添加依赖项)连接池?

  • PostgreSQL 可以在 pg_hba.conf 中配置认证机制,格式可以是下面任意一种: local DATABASE USER METHOD [OPTIONS] host DATABASE USER ADDRESS METHOD [OPTIONS] hostssl DATABASE USER ADDRESS METHOD [OPTIONS]

  • 云联壹云平台支持对接多种认证源,如LDAP、钉钉、飞书、企业微信等,支持通过第三方应用扫码等方式登录云联壹云平台。 云联壹云 平台支持对接多种认证源,如LDAP、钉钉、飞书、企业微信等,实现通过第三方应用认证登录 云联壹云 平台。 企业用户使用 云联壹云 平台流程 向 云联壹云 平台导入用户: 本地用户(SQL源):平台内置SQL源,在认证源处无需任何配置,只需要在用户列表中新建或导入用户。 LD

  • 以下是我的想法: 有一个Django网站,可以接收/发送JSON信息,这样我就可以为Webbrowser或Unity/UE客户端创建一个JavaScript客户端 我只想为Unity/UE客户端提供一个新功能:实时聊天 我想在特定端口上使用tornado服务器,比如说。 以下是我到目前为止所做的: 在Django网站上验证 让Django网站上的一切工作 现在我想让客户端连接到端口(纯TCP)并发

  • Java 1.8.0_151 Spark 2.2.1 Scala 2.11 卡桑德拉3.11.1

  • 我参考了以下链接来了解Kafka的HDFS连接https://docs.confluent.io/2.0.0/Connect/connect-hdfs/docs/index.html 我能够通过配置单元集成将数据从Kafka导出到HDFS。 现在我正尝试在Java程序的帮助下将avro记录写入Kafka 当我把Avro记录写到Kafka主题时,我在Connect中出现以下错误