Logstash/Elasticsearch JDBCdocument_idvsdocument_type？

Question

因此，当使用logstash中的JDBC导入器并导出到elasticsearch时，我试图对文档类型与文档id进行思考。

我终于把我的头缠在索引上了。但让我们假设我正在从传感器数据表（如温度/湿度等）中提取数据有传感器id的。。。温度/湿度（与天气相关的数据），并记录时间。（所以这是一张大桌子）

而且我希望每隔X频繁地轮询数据库。

在这个例子中，document_type和document_id是什么，它将被存储（或者你想叫它什么）在一个索引中。

document_type vs document_id让我感到困惑，尤其是在JDBC导入器方面。

如果我将document_id设置为主键，那么每次都会被重写吗？那么我每次只需要一个数据文档？（这似乎毫无意义）

Answer 1

jdbc插件将创建一个JSON文档，每个列有一个字段。因此，为了与您的示例保持一致，如果您有该数据，它将作为如下所示的文档导入：

{
    "sensor_id": 567,
    "temp": 90,
    "humidity": 6,
    "timestamp": "{time}",
    "@timestamp": "{time}" // auto-created field, the time Logstash received the document
}

当你说如果你将document_id设置为主键，它将被覆盖时，你是对的。您可以忽略document_id，除非您想更新Elasticsearch中的现有文档，我不认为您会想要使用这种类型的数据。让Elasticsearch为您生成文档ID。

现在让我们谈谈文档类型。如果要设置文档类型，需要将Logstash中的type字段设置为某个值（这将传播到Elasticsearch）。因此，Elasticsearch中的type字段用于对类似文档进行分组。如果使用jdbc插件导入的表中的所有文档都属于同一类型（应该是！），您可以像这样在jdbc输入中设置type。。。

input {
  jdbc {
    jdbc_driver_library => "mysql-connector-java-5.1.36-bin.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://localhost:3306/mydb"
    jdbc_user => "mysql"
    parameters => { "favorite_artist" => "Beethoven" }
    schedule => "* * * * *"
    statement => "SELECT * from songs where artist = :favorite_artist"
    ...
    type => "weather"
  }
}

现在，在Elasticsearch中，您可以通过为该类型设置映射来利用type字段。例如，您可能需要：

PUT my_index 
{
  "mappings": {
    "weather": { 
      "_all":       { "enabled": false  }, 
      "properties": { 
        "sensor_id":      { "type": "integer"  }, 
        "temp":           { "type": "integer"  }, 
        "humidity":       { "type": "integer" },
        "timestamp":      { "type": "date" }  
      }
    }
  }
}

希望这有帮助！：）