使用GCP Dataflow PubSub到BigQuery模板时表列名问题

Question

我已经将消息发布到一个pub/sub主题，并尝试使用Dataflow和“Cloud pub/sub主题to BigQuery”模板将它们流式传输到BigQuery中。（阅读更多关于流媒体模板的信息。）

pub/sub消息中的某些字段名包含破折号(-)，我无法控制破折号，而且Dataflow模板似乎希望目标BigQuery表中的字段名完全相同。BQ的一个限制是字段名中不允许使用破折号(-)，但允许使用下划线。因此，尽管我在BQ中有params.gsm_level列，但我仍然得到如下错误：

{
  "errors" : [ {
    "debugInfo" : "",
    "location" : "params.gsm-level",
    "message" : "no such field.",
    "reason" : "invalid"
  } ],
  "index" : 0
}

我可以做什么来将消息中的GSM-Level映射到BQ中的GSM_Level，但仍然使用DF模板而不编写自己的工作吗？谢了！

Answer 1

我能够使用带有帮助器函数的Javascript UDF来“清理”密钥名称：

function _transform(value){
    var objectConstructor = {}.constructor;
    var arrayConstructor = [].constructor;

    if (value.constructor === objectConstructor) {
        var out = {};
        for (var key in value) {
            if (value.hasOwnProperty(key)) {
                //console.log(key + " -> " + value[key]);
                var cleaned_key = key.replace(/-/g, '_');
                out[cleaned_key] = _transform(value[key]);
            }
        }
        return out;
    } else if (value.constructor === arrayConstructor) {
        var cleaned_arr = [];
        value.forEach(function(item, index) {
            cleaned_arr.push(_transform(item));
        });
        return cleaned_arr;
    } else {
        return value;
    }
}

也许有一个更干净的方法，但到目前为止这是有效的。