使用postgresql字段类型文本过滤kafka消息时获取错误
错误WorkerSourceTask{id=ptl_connector-0}任务引发了一个未捕获且不可恢复的异常[org.apache.kafka.connect.runtime.workertask]org.apache.kafka.connect.errors.connectException：在org.apache.kafka.connect.runtime.retryWith容忍操作程序中超出了容差，在org.apache.kafka.connect.runtime.retryWith容忍操作程序中超出了容差。ain.apply(transformationchain.java:50)在org.apache.kafka.connect.runtime.WorkerSourceTask.sendRecords（WorkerSourceTask.java:320)在org.apache.kafka.connect.runtime.WorkerSourceTask.execute（WorkerSourceTask.java:245)在org.apache.kafka.connect.runtime.WorkerSourceTask.execute（WorkerSourceTask.java：位于java.base/java.util.concurre的AbleAdapter.call(executors.java:515)nt.futureTask.run(FutureTask.java:264)在java.base/java.util.concurrent.ThreadPoolExecutor.runworker（ThreadPoolExecutor.java:1128)在java.base/java.util.concurrent.ThreadPoolExecutor$worker.run（ThreadPoolExecutor.java:628)在java.base/java.lang.thread.run（ThreadPoolExecutor.java.lang.thread.run（t_record=false,lsn=27649944,txid=707,ts_usec=1594357573069000,snapshot=true}}timestamp=null,headers=connectheaders（headers=)}“在io.debezium.transforms.scripting.jsr223engine.eval(jsr223engine.javal:116)在io.debezium.transforms.filter.doapply（filter.java:33)在io.debezium.transforms.scripting(transformationchain.java:50)在org.apache.kafka.connect.runtime.errors.RetryWith容忍操作org.apache.kafka.connect.runtime.errors.retryWithPoloranceOperator.execandHandleError(RetryWithPoloranceOperator.execandHandleError(RetryWithPoloranceOperator.java:162)...11更多原因是:javax.script.scriptException:groovy.lang.missingPropertException:No这样的属性：BrandA for class：Script1 at org.codehaus.groovy.jsr223./javax.script.compiledscript.eval（compiledscript.java:89)在io.debezium.transforms.scripting.jsr223engine.eval(jsr223engine.java:107)...16多个原因是：groovy.lang.missingPropertyException：没有这样的属性：BrandA for class：Script1在org.codehaus.groovy.runtime.script.bodeap.Site.callGroovyObjectGetProperty(AbstractCallsite.java:341)，script1.run(script1.groovy:1)，org.codehaus.groovy.jsr223.groovyScriptEngineimpl.eval(GroovyScriptEngineimpl.java:317)...19多
共有1个答案
您是否考虑使用Kafka连接器以便这样做？也许这很有帮助：https://docs.confluent.io/current/connect/transforms/filter.html
-
如何从动物园管理员那里获得最后一次偏移时间？当使用Storm喷口阅读来自Kafka的消息时。上下文：Kafka 不断获取消息，使用者读取一段时间，然后由于任何原因关闭，然后使用者仅读取最新消息，但不读取上次偏移量读取
-
我想问一下在执行查询时如何从PostgreSQL获得消息响应。 来自PostgreSQL的消息响应我的意思是这样的，例如： null
-
问题内容： 在运行存储过程时，该过程可能会引发警告消息。 有什么办法可以在Golang中使用Postgresql驱动程序（https://github.com/lib/pq）获取这些消息？ 问题答案： 答案似乎是否定的。 在我的测试中，Postgres服务器似乎没有发送警告和结果。即使这样做，返回错误以及sql.Result充其量也将造成混乱，并且需要进行修改。在函数 中 引发错误 确实 返回了错
-
我们的软件解决方案为每个客户收集数据（“事件”）<一些客户（一小部分约3%）要求将这些数据输入“他们的系统”（他们需要为此服务付费）<我们需要发送这些事件的目标系统可能是： AWS S3 Azure存储 Splunk 数据狗 未来会有更多的目标系统... 上面的所有目标系统都有众所周知的Kafka Connect接收器连接器，因此我们的想法是使用这些连接器来导出数据。 所有客户事件都转到一个“输入
-
我需要订阅实时消息文件，这些消息文件可能是在pub-sub模型上从客户端已有的MQ设置发布的。当我订阅MQ的主题以接收消息文件时，我是否应该使用Kafka只获取文件，然后处理它们并使用任何更好的API（如Python）存储在我的文件系统中？我期待一个如下的设置：- 客户的MQ---->Kafka Setup<-----API接收和处理(Python)---->文件系统 当文件发布到Kafka时，我