当前位置: 首页 > 知识库问答 >
问题:

Kafka JDBC接收器句柄数组数据类型

葛霄
2023-03-14

我知道Kafka JDBC接收器连接器对于数组数据类型有一些缺点。然而,是否有可能将接收器连接器与一个简单的Kafka连接器结合起来,该连接器可以支持数组数据类型。如何从Kafka配置中筛选并切换到简单的Kafka连接器配置简单的Kafka配置意味着什么?Kafka如何连接支持阵列字段

name: topic_name
type: array
item: Topic file

这是否可能,因为它将作为字符串而不是数组消耗给db

"fields":[{
  "name":"item_id",
  "type":{
     "type":"array",
     "items":["null", "string"]
  },
"default":[]
}]
}

共有1个答案

麻烨
2023-03-14

Kafka Connect framework本身并不暴露关于类型的限制,而是在JDBC接收器的源代码中拒绝了数组。

不清楚“简单”是什么意思,但如果您想使用不同的连接器,那么您需要安装它,然后更改类。例如,也许MongoDB接收器处理数组。我知道S3和HDFS接收器...

是否可以将接收器连接器与简单的Kafka连接器结合在一起

再一次,不知道你说的是什么意思,但连接器一般不会“链在一起”。虽然您可以使用MirrorMaker2和一个转换来有效地完成与Kafka流相同的工作,但最好使用更合适的工具来完成

这是否可能,因为它将作为字符串而不是数组消耗给db

当然,如果消息字段实际上是一个字符串。正如建议的那样,您需要在接收器连接器使用消息之前对消息进行处理

 类似资料:
  • 你可以创建任何MATLAB函数的句柄,然后用这些句柄作为函数链接的途径。函数句柄主要用来传递自变量列表给其他函数,用句柄执行函数或求值。 在MATLAB中,通过在函数名前加上符号@构造函数句柄。下面例子为SIN函数创建一个函数句柄,然后赋值给变量fhandle: fhandle = @sin; 用MATLAB的fevel函数对函数句柄求值。下面的plot_fhandle函数接收一个函数句柄和数据

  • 我目前正在使用亚马逊的SQS,在尝试删除当前“正在运行”的队列消息时遇到问题。 下面是一些示例代码: 现在,在接收到句柄和消息体之后,我将接收句柄字符串存储到云存储中(例如DynamoDB)。随后,我从存储服务中加载该句柄,并使用类似于以下内容的方式调用delete: 但是,当运行该行时,我收到一条“输入收据句柄无效”的错误消息。 注意,我知道这条消息没有被重新接收,所以记录的接收句柄应该是最新的

  • 我使用Kafka和Kafka Connect将MS SQL Server数据库复制到MySQL,使用debezium SQL Server CDC源连接器和汇合的JDBC汇连接器。“auto.create”设置为true,接收连接器确实创建了表,但某些数据类型不匹配。在SQL Server中,我有 但在 MySQL 中,它创建了以下内容: 忽略消息,这是我在 SMT 中添加的额外字段。 名字、姓氏

  • 函数名称:判断句柄 函数功能:判断是否为有效句柄 函数方法 bool = io.type(file) 参数 类型 必填 说明 file userdata 是 需要判断的文件句柄 返回值 类型 说明 bool string “file“ - 一个打开的文件句柄,"closed file“ - 为一个已关闭的文件句柄,nil - 不是文件句柄 函数用例 file,msg = io.open("/mnt

  • 因此,我正在用Java编写一个程序,在DatagramSocket和DataGramPacket的帮助下发送和接收数据。问题是,当我发送数据/接收数据时,数据在我发送的程序中也会有所不同,但只是在某些情况下,比如: 但有时会起作用,比如:

  • 函数名称:关闭文件句柄 函数功能:关闭文件句柄 函数方法 io.close() 函数用例 file,msg = io.open("/mnt/sdcard/kazhu.txt") if file then dialog("打开成功",5000) file:close() else dialog("打开失败,失败原因:"..msg,5000) end