ConFluent Kafka Sink Connector未将数据加载到Postgres表
我试图通过Kafka Sink连接器将数据加载到Postgres表，但我收到以下错误：
原因：组织。阿帕奇。Kafka。连接错误。ConnectException:无法更改以添加缺少的字段SinkRecordField{schema=schema{STRING}，name='A_ABBREV'，isPrimaryKey=false}，因为它不是可选的，也没有默认值
Postgres DB中的表已经有字段A\u ABBREV，但现在可以确定为什么会出现缺少字段的错误。
有没有人面临过类似的问题？
以下是我的接收器连接器配置：
connector.class=io.confluent.connect.jdbc.JdbcSinkConnector
table.name.format=AGENCY
connection.password=passcode
topics=AGENCIES
tasks.max=1
batch.size=10000
fields.whitelist=A_ID, A_NAME, A_ABBREV
connection.user=pmmdevuser
name=partner5-jdbcSinkConnector
connection.url=jdbc:postgresql://aws-db.sdfdgfdrwwisc.us-east- 1.rds.amazonaws.com:3306/pmmdevdb?currentSchema=ams
insert.mode=upsert
pk.mode=record_value
pk.fields=A_ID
auto.create=false
我正在使用Liquibase脚本创建表，下面是来自postgres DB的create查询，它是通过Liquibase脚本创建的：
"CREATE TABLE gds.agency
(
a_id integer NOT NULL,
a_name character varying(100) COLLATE pg_catalog."default" NOT NULL,
a_abbrev character varying(8) COLLATE pg_catalog."default" NOT NULL,
source character varying(255) COLLATE pg_catalog."default" NOT NULL DEFAULT 'AMS'::character varying,
CONSTRAINT pk_agency PRIMARY KEY (a_id),
CONSTRAINT a_abbrev_uk1 UNIQUE (a_abbrev)
)"
共有1个答案
根据我的经验，这意味着接收器的字段定义与源表/数据库的字段定义不匹配。确保字段定义匹配。检查接收器连接器试图写入目标数据库的单个记录。您应该能够在堆栈跟踪中的调试模式下看到此插入语句。接受该查询并手动运行它以更清楚地了解数据库中的错误。
-
问题内容： 我需要从多个JSON文件中加载数据，每个文件中都有多个记录到Postgres表中。我正在使用以下代码，但无法正常工作（在Windows上使用pgAdmin III） SAMPLE.JSON文件的内容是这样的（从许多这样的记录中得到两个记录）： 问题答案： 试试这个：
-
我正在使用hazelcast IMap存储我的应用程序数据。 我面临着一个小问题。 问题说明：- 当我启动spring-boot应用程序时，我正在将数据库表数据加载到hazelcast中。 示例：- 但是当我获取相同的数据时，我得到的顺序不同。 那么有没有办法按照插入的顺序获取数据呢？
-
我想确保我的Postgres数据（使用基于Linux图像）保持，即使在我的Windows主机重启后。 我尝试按照以下步骤操作如何使用卷将数据持久化到dockerize postgres数据库中 然而，我发现了一个错误 然后，我试着跟着插手https://forums.docker.com/t/trying-to-get-postgres-to-work-on-persistent-windows-
-
我已经把Kafka和博士后的成绩记录下来了。我使用JDBC接收器连接器将数据从Kafka主题加载到Postgres表。首先，我用“AVRO”值格式创建一个主题和一个主题上方的流。 以下是创建接收器连接器的代码： 然后，我使用命令检查Postgres是否有来自Kafka的数据，它返回以下信息：
-
我正在开发。在本例中，我希望读取csv文件，将数据加载到mysql中，并将spring批处理元数据表加载到Postgres数据库中。 但这给了我一个错误：
-
问题内容： 我正在尝试通过一种称为的方法设置项目，到目前为止还可以。但是后来我从中创建了一个arrayList，但我不知何故找不到将这些信息存储到JTable中的方法。问题是我找不到设置固定行数的方法 这是我的代码： 上课开始联赛： 足球俱乐部课程： SportsClub课程（摘要）： 最后是LeagueManager，它是一个接口： 有人能帮帮我吗？我已经尝试了好几天。谢谢。 问题答案： “问题