Dataproc中的Presto：配置Kafka目录

Question

我试图创建一个Dataproc集群与Presto作为可选组件，我想添加一个Kafka目录。以下https://cloud.google.com/dataproc/docs/concepts/components/presto和https://prestodb.io/docs/current/connector/kafka.html#configuration-properties我使用以下命令：

gcloud beta dataproc clusters create mycluster \
    --region us-central1 \
    --no-address \
    --zone us-central1-a \
    --single-node \
    --master-machine-type n1-standard-4 \
    --master-boot-disk-size 500 \
    --project myproject \
    --optional-components=PRESTO \
    --enable-component-gateway \
    --properties="presto-catalog:kafkastream.connector.name=kafka,presto-catalog:kafkastream.kafka.tables-names=topicname,presto-catalog:kafkastream.kafka.nodes=kafkavm:9092,presto-catalog:kafkastream.kafka.default-schema=default,presto-catalog:kafkastream.kafka.hide-internal-columns=false"
   

因此，基本上我想设置属性来安装名为kafkastream的目录，该目录连接到端口9092上的Kafka虚拟机，并创建一个表default。主题名称。

但是，当我尝试创建群集时，状态会出错。在日志中，我发现了与结构错误{presto相关的内容，组件presto未能激活。日志中的其他错误有

google-dataproc-startup[1129]: activate-component-presto[2447]: Query 12345 failed: Presto server is still initializing
google-dataproc-startup[1129]: activate-component-presto[2447]: 'get_node_information' attempt 6 failed! Sleeping 10s.
google-dataproc-startup[1129]: activate-component-presto[2447]: Error running command: java.net.ConnectException: Failed to connect to localhost/0:0:0:0:0:0:0:1:8060

如果我删除属性部分Presto完美工作。

设置Kafka目录的正确方法是什么？有人能帮帮我吗？我无法在其他stackoverflow主题或网上找到与此问题相关的信息。

Answer 1

属性名kafka中有输入错误。表名称：

$ cat /var/log/presto/server.log | grep Exception -A 10

...
1) Error: Configuration property 'kafka.tables-names' was not used

1 error
    at io.airlift.bootstrap.Bootstrap.initialize(Bootstrap.java:238)
    at io.prestosql.plugin.kafka.KafkaConnectorFactory.create(KafkaConnectorFactory.java:73)
    at io.prestosql.connector.ConnectorManager.createConnector(ConnectorManager.java:349)
    at io.prestosql.connector.ConnectorManager.createCatalog(ConnectorManager.java:208)
    at io.prestosql.connector.ConnectorManager.createCatalog(ConnectorManager.java:200)
    at io.prestosql.connector.ConnectorManager.createCatalog(ConnectorManager.java:186)

应该是Kafka。表名（在表之后没有s）。您在init操作中操作正确，但在--properties标志中操作错误。

Answer 2

可选组件Presto的--properties功能似乎有一个bug，不能按预期工作。但是，我找到了一种通过初始化脚本init脚本建立Kafka目录的方法。地面军事系统存储桶中的sh：

#init-script.sh
function add_kafka-catalog() {
  cat > /etc/presto/conf/catalog/kafka.properties <<EOF
connector.name=kafka
kafka.nodes=my-vm:9092
kafka.table-names=my-topic
kafka.hide-internal-columns=false
EOF
}

# Restart presto to read new catalogs
function restart_presto() {
    sudo /usr/lib/presto/bin/launcher restart
}

function main() {
add_kafka-catalog
restart_presto
}
main

以及通过

gcloud beta dataproc clusters create mycluster \
    --region us-central1 \
    --no-address \
    --zone us-central1-a \
    --single-node \
    --master-machine-type n1-standard-4 \
    --master-boot-disk-size 500 \
    --project myproject \
    --optional-components=PRESTO \
    --enable-component-gateway
    --initialization-actions 'gs://mybucket/init-script.sh