弹性搜索转换和插入 lat lon 作为批量geo_point

Question

我有一个简单的＜code＞csv＜code＞文件，它有4个字段，serial_num、post_code、lat、lon，例如：

serial_num,post_code,LAT,LON
06AA209365,PE10 2AZ,532342,168459
98A819621,PE10 1AA,532342,168459
07FD490906,PE12 1VV,497882,157983

我需要批量插入到< code>elasticsearch中。lat lon字段需要在单个geo_point字段中定义，因此我创建了如下映射:

>

索引为串行数据

类型为widget

PUT /serial_data
{
"mappings": {
"widget": {
  "properties": {
    "serial_number": {
      "type": "string"
    },
    "post_code": {
      "type": "string"
    },
    "location": {
      "type": "geo_point"
    }
  }
}

}}

我试图使用embulk来插入数据，因为我认为我有一个定义的映射。如果我将lat定义为双精度或long，那么embulk将解析lat，长到单个位置，它不会，我过于乐观。

我还认为< code>embulk有一个批量输入json插件，但是我找不到它。

问题

关于如何批量加载这些数据的任何想法都将非常感激。

Answer 1

我使用tree filte插件。

• embulk过滤器插入：插入位置列
• embulk-filter-ruby_proc：组合LAT和LON列
• embulk过滤柱：移除LAT和LON柱

数据.csv

serial_num,post_code,LAT,LON
06AA209365,PE10 2AZ,532342,168459
98A819621,PE10 1AA,532342,168459
07FD490906,PE12 1VV,497882,157983

conf.yml

in:
  type: file
  path_prefix: data.csv
  parser:
    charset: UTF-8
    newline: CRLF
    type: csv
    delimiter: ','
    quote: '"'
    escape: '"'
    trim_if_not_quoted: false
    skip_header_lines: 1
    allow_extra_columns: false
    allow_optional_columns: false
    columns:
    - {name: serial_num, type: string}
    - {name: post_code, type: string}
    - {name: lat, type: long}
    - {name: lon, type: long}
filters:
  - type: insert
    column: 
      location: 
  - type: ruby_proc
    requires:
      - json
    columns:
      - name: location
        proc: |
          ->(_,record) do 
            return { lat: record["lat"], lon: record["lon"] }.to_json.to_s
          end
        skip_nil: false

  - type: column
    columns:
      - {name: serial_num}
      - {name: post_code}
      - {name: location}


out: {type: stdout}

输出

+-------------------+------------------+-----------------------------+
| serial_num:string | post_code:string |             location:string |
+-------------------+------------------+-----------------------------+
|        06AA209365 |         PE10 2AZ | {"lat":532342,"lon":168459} |
|         98A819621 |         PE10 1AA | {"lat":532342,"lon":168459} |
|        07FD490906 |         PE12 1VV | {"lat":497882,"lon":157983} |
+-------------------+------------------+-----------------------------+