如何保持 Firebase 数据库与 BigQuery 的同步？

Question

我们正在进行一个涉及大量数据的项目。现在，我们最近阅读了关于Google BigQuery的文章。但我们如何将数据导出到这个平台？我们已经看到了将日志导入GoogleBigQuery的示例。但这不包含有关更新和删除数据（仅插入）的信息。

因此，我们的对象能够更新其数据。我们对BigQuery表的查询数量有限。如何在不超过BigQuery配额限制的情况下同步数据。

我们当前的功能代码：

'use strict';

// Default imports.

const functions = require('firebase-functions');
const bigQuery = require('@google-cloud/bigquery')();

// If you want to change the nodes to listen to REMEMBER TO change the constants below.
// The 'id' field is AUTOMATICALLY added to the values, so you CANNOT add it.

const ROOT_NODE = 'categories';
const VALUES = [
    'name'
];

// This function listens to the supplied root node.
// When the root node is completed empty all of the Google BigQuery rows will be removed.
// This function should only activate when the root node is deleted.

exports.root = functions.database.ref(ROOT_NODE).onWrite(event => {
    if (event.data.exists()) {
        return;
    }

    return bigQuery.query({
        query: [
            'DELETE FROM `stampwallet.' + ROOT_NODE + '`',
            'WHERE true'
        ].join(' '),
        params: []
    });
});

// This function listens to the supplied root node, but on child added/removed/changed.
// When an object is inserted/deleted/updated the appropriate action will be taken.

exports.children = functions.database.ref(ROOT_NODE + '/{id}').onWrite(event => {
    const id = event.params.id;

    if (!event.data.exists()) {
        return bigQuery.query({
            query: [
                'DELETE FROM `stampwallet.' + ROOT_NODE + '`',
                'WHERE id = ?'
            ].join(' '),
            params: [
                id
            ]
        });
    }

    const item = event.data.val();

    if (event.data.previous.exists()) {
        let update = [];
        for (let index = 0; index < VALUES.length; index++) {
            const value = VALUES[index];

            update.push(item[value]);
        }
        update.push(id);

        return bigQuery.query({
            query: [
                'UPDATE `stampwallet.' + ROOT_NODE + '`',
                'SET ' + VALUES.join(' = ?, ') + ' = ?',
                'WHERE id = ?'
            ].join(' '),
            params: update
        });
    }

    let template = [];
    for (let index = 0; index < VALUES.length; index++) {
        template.push('?');
    }

    let create = [];
    create.push(id);
    for (let index = 0; index < VALUES.length; index++) {
        const value = VALUES[index];

        create.push(item[value]);
    }

    return bigQuery.query({
        query: [
            'INSERT INTO `stampwallet.' + ROOT_NODE + '` (id, ' + VALUES.join(', ') + ')',
            'VALUES (?, ' + template.join(', ') + ')'
        ].join(' '),
        params: create
    });
});

将firebase同步到bigquery的最佳方式是什么？

Answer 1

之所以在 BigQuery 中找不到更新和删除函数，是因为 BigQuery 不支持这些函数。BigQuery 只有追加和截断操作。如果要更新或删除 BigQuery 中的行，则需要删除整个数据库，然后使用修改后的行或不使用它重新写入它。这不是一个好主意。

BigQuery用于存储大量数据并快速访问它，例如它适用于从不同传感器收集数据。但是对于您的客户数据库，您需要使用MySQL或非关系型数据库。

Answer 2

…将Firebase同步到bigquery的方法？

我建议将所有数据作为历史数据< code >流到BigQuery中。您可以将条目标记为新(插入)、更新或删除。然后，在BigQuery端，您可以编写查询，根据您拥有任何逻辑来解析特定记录的最新值。< br >因此，您的代码几乎可以100%重用-只需修复< code > UPDATE /< code > DELETE 的逻辑，将其作为< code>INSERT

//当插入/删除/更新对象时，将采取适当的操作。

所以我们的对象能够更新它们的数据。我们在BigQuery表上的查询数量有限。我们如何在不超过BigQuery配额限制的情况下同步我们的数据？

是的，BigQuery支持UPDATE、DELETE、INSERT作为数据操作语言的一部分。
2017年3月8日在BigQuery标准 SQL 中宣布了全面可用性

在考虑使用此功能将BigQuery与事务数据同步之前-请查看Quotas、Pricing和已知问题。

以下是一些摘录！

配额（摘录）
DML语句的处理成本明显高于SELECT语句。
每个表每天最大UPDATE/DELETE语句：96
每个项目每天最大UPDATE/DELETE语句：1,000

< code >定价(摘录，添加了额外的突出显示注释)< br> BigQuery根据查询处理的字节数对DML查询收费。< br >处理的字节数计算如下:

UPDATE 处理的字节数 = 扫描表中引用字段中的字节总和 更新开始时更新表中所有字段的字节总和。DELETE 处理的字节数 = 扫描表中引用字段的字节总和
DELETE 启动时已修改表中所有字段的字节总和。

帖子作者的评论：如您所见，即使您只更新一行，也将为整个表格扫描付费！我认为这是决策的关键！

已知问题（摘录）
•DML语句不能用于修改其架构中带有REQUIRED字段的表。
•每个DML语句都会启动一个隐式事务，这意味着该语句所做的更改会在每个成功的DML语句结束时自动提交。不支持多语句事务。
•允许在表上并发运行以下DML语句组合：

>

更新和插入

删除和插入

插入和插入

否则将中止DML语句之一
例如，如果对表同时执行两个UPDATE语句，则只有其中一个语句成功。

不能使用UPDATE或DELETE语句修改最近通过BigQuery Streaming（tabledata.insertall）写入的表。要检查表是否有流缓冲区，请检查名为StreingBuffer的部分的 tables.get 响应。如果不存在，可以使用UPDATE或DELETE语句修改表。

Answer 3

BigQuery支持UPDATE和DELETE，但不支持频繁的——BigQuery是一个分析数据库，而不是事务性数据库。

要将事务数据库与 BigQuery 同步，您可以使用以下方法：

• 导出每日转储，并将其导入BigQuery。
• 将更新和删除视为新事件，并继续将事件附加到您的BigQuery事件日志中。
• 使用像 https://github.com/MemedDev/mysql-to-google-bigquery.这样的工具
• 类似“WePay上的BigQuery第III部分：使用Airflow每15分钟自动导出MySQL并处理更新”的方法

使用 Firebase，您可以从他们的每日备份中安排每日加载到 BigQuery：

• https://firebase.googleblog.com/2016/10/announcing-automated-daily-backups-for-the-firebase-database.html