使用间接模式更改更新BigQuery视图

Question

更新视图时，间接模式更改似乎不会被拾取。

• 使用字段字段 1 创建视图 1（例如，选择 1 AS 字段 1）
• 创建视图 2，从视图 1 中选择所有字段
• 更新视图 1 以包括字段 2（例如，选择 1 AS 字段 1，2 AS 字段 2）
• 使用与以前相同的查询更新 view2（由于记录的限制）

• 视图1和视图2，包括字段1和字段2的架构
• 视图更新应该是原子的

< li >正确更新了< code >视图1的模式(包括< code >字段1和< code >字段2) < Li > < code > view 2 的模式仅包括< code>field1 < li >从< code>view2中进行选择实际上会返回< code>field1和< code>field2

我可以删除view2并再次重新创建它，但这不会是原子的，并且会有一段时间视图不可用，这是不需要的。

我还尝试更新＜code＞view2：

Google . API _ core . exceptions . bad request:400 PATCH/datasets/dataset 1/tables/view 2 " rel = " no follow no referrer " > https://www . Google API . com/big query/v2/projects/

是否有任何方法可以自动更新视图，同时也更新间接更改的架构（视图从中选择的表/视图）。

注意：当然，我的view2会添加其他字段，目前我可以通过创建一个新的临时视图来确定其模式。

注意：模式很重要，因为Data Studio的BigQuery连接器等工具正在检查模式。

# Python 3.6+
import google.api_core.exceptions
from google.cloud import bigquery


def delete_table_if_exists(client: bigquery.Client, table: bigquery.Table):
    try:
        client.delete_table(table)
    except google.api_core.exceptions.NotFound:
        pass


def full_table_id(table: bigquery.Table) -> str:
    # Note: the documentation says it should be separated by a dot but uses a colon
    return table.full_table_id.replace(':', '.')


def view_test():
    client = bigquery.Client()

    dataset_ref = client.dataset('dataset1')
    try:
        client.create_dataset(dataset_ref)
    except google.api_core.exceptions.Conflict:
        pass

    view1 = bigquery.Table(dataset_ref.table('view1'))
    view2 = bigquery.Table(dataset_ref.table('view2'))
    delete_table_if_exists(client, view1)
    delete_table_if_exists(client, view2)

    view1.view_query = 'SELECT 1 AS field1'
    view1 = client.create_table(view1)

    view2.view_query = f'SELECT * FROM `{full_table_id(view1)}`'
    client.create_table(view2)

    view1.view_query = 'SELECT 1 AS field1, 2 AS field2'
    client.update_table(view1, ['view_query'])

    client.update_table(view2, ['view_query'])
    print('view2 schema:', client.get_table(view2).schema)

    # trying to update the schema fails with 'Cannot add fields (field: field2)'
    view2.schema = client.get_table(view1).schema
    client.update_table(view2, ['schema'])


if __name__ == '__main__':
    view_test()

#!/bin/bash

set -e

project_id=$(gcloud config list --format 'value(core.project)' 2>/dev/null)

bq mk -f dataset1

bq rm -f dataset1.view1
bq rm -f dataset1.view2

bq mk --use_legacy_sql=false --view 'SELECT 1 AS field1' dataset1.view1
bq mk --use_legacy_sql=false --view 'SELECT * FROM `'$project_id'.dataset1.view1`' dataset1.view2

bq update --use_legacy_sql=false --view 'SELECT 1 AS field1, 2 AS field2' dataset1.view1
bq update --use_legacy_sql=false --view 'SELECT * FROM `'$project_id'.dataset1.view1`' dataset1.view2

bq show dataset1.view2

def get_create_or_replace_view_query(view: bigquery.Table) -> str:
    return f'CREATE OR REPLACE VIEW {view.dataset_id}.{view.table_id} AS {view.view_query}'


def view_test():
    # ...
    query_job = client.query(get_create_or_replace_view_query(view2))
    query_job.result()
    print('view2 schema:', client.get_table(view2).schema)

bq query --use_legacy_sql=false 'CREATE OR REPLACE VIEW dataset1.view2 AS SELECT * FROM `'$project_id'.dataset1.view1`'

Answer 1

您应该使用< code>CREATE OR REPLACE VIEW语句；请参见相关文档。BigQuery为所有执行表修改的查询提供了ACID语义，而< code>CREATE OR REPLACE VIEW也不例外，因此这将自动替换视图的定义和模式。