流式插入时更新表模式

Question

我有一个连续接收流插入的表（可能每秒数千个）。

我对使用更新功能（通过API调用）添加列感兴趣。我可以在数据仍在插入时调用Update将列添加到现有表中，而无需担心数据丢失吗？

作为参考，这是我计划用于向表中添加列的代码：

func addColumnToTable(service *bigquery.Service, project, dataset, table string, newCols map[string]string) bool {
    resp, err := service.Tables.Get(project, dataset, table).Do()
    if err != nil {
        fmt.Println(err)
        return false
    }

    for col, col_type := range newCols {
        this_col := &bigquery.TableFieldSchema{}
        this_col.Name = col
        this_col.Type = col_type
        resp.Schema.Fields = append(resp.Schema.Fields, this_col)
    }

    _, err = service.Tables.Update(project, dataset, table, resp).Do()
    if err != nil {
        fmt.Println(err)
        return false
    }

    return true
}

Answer 1

您可以使用 tables.update 更新表的架构（唯一允许的更新是添加列并放宽列的必需性）。

模式更新对流式传输可见会有一点延迟。因此，在流式传输包含新列的数据之前，您需要等待少量时间（最多5分钟）（假设您的更新是添加了一列）。旧数据不会丢失。