Kafka elasticsearch连接器-“刷新超时过期，记录未刷新：”

Question

我有一个奇怪的问题与Kafka->elasticsearch连接器。当我第一次启动时，我在elasticsearch中收到了一个新数据，并通过kibana dashboard进行了检查，但当我使用同一个producer应用程序在kafka中生成新数据并尝试再启动一次connector时，我在elasticsearch中没有得到任何新数据。现在我遇到了这样的错误：

[2018-02-04 21:38:04,987] ERROR WorkerSinkTask{id=log-platform-elastic-0} Commit of offsets threw an unexpected exception for sequence number 14: null (org.apache.kafka.connect.runtime.WorkerSinkTask:233)
org.apache.kafka.connect.errors.ConnectException: Flush timeout expired with unflushed records: 15805

我正在使用next命令运行连接器：

/usr/bin/connect-standalone /etc/schema-registry/connect-avro-standalone.properties log-platform-elastic.properties

connect-avro-standalone.properties：

bootstrap.servers=kafka-0.kafka-hs:9093,kafka-1.kafka-hs:9093,kafka-2.kafka-hs:9093
key.converter=io.confluent.connect.avro.AvroConverter
key.converter.schema.registry.url=http://localhost:8081
value.converter=io.confluent.connect.avro.AvroConverter
value.converter.schema.registry.url=http://localhost:8081
internal.key.converter=org.apache.kafka.connect.json.JsonConverter
internal.value.converter=org.apache.kafka.connect.json.JsonConverter
internal.key.converter.schemas.enable=false
internal.value.converter.schemas.enable=false
offset.storage.file.filename=/tmp/connect.offsets
# producer.interceptor.classes=io.confluent.monitoring.clients.interceptor.MonitoringProducerInterceptor
# consumer.interceptor.classes=io.confluent.monitoring.clients.interceptor.MonitoringConsumerInterceptor
#rest.host.name=
rest.port=8084
#rest.advertised.host.name=
#rest.advertised.port=
plugin.path=/usr/share/java

和log-platform-elastic.properties：

name=log-platform-elastic
key.converter=org.apache.kafka.connect.storage.StringConverter
connector.class=io.confluent.connect.elasticsearch.ElasticsearchSinkConnector
tasks.max=1
topics=member_sync_log, order_history_sync_log # ... and many others
key.ignore=true
connection.url=http://elasticsearch:9200
type.name=log

我检查了与kafka brokers、elasticsearch和schema-registry的连接（此时schema-registry和connector在同一台主机上），一切正常。Kafka代理正在端口9093上运行，我可以使用kafka-avro-console-consumer从主题中读取数据。我将非常感激你在这方面的帮助！

Answer 1

只需将flush.timeout.ms更新到大于10000（默认值为10秒）

根据文件：

flush.timeout.ms用于定期刷新的超时（以毫秒为单位），以及在添加记录时等待已完成的请求提供可用的缓冲区空间。如果超过此超时，任务将失败。