将Google云存储桶中的日志加载到BigQuery中

Question

我的目标是使用BigQuery web界面将我的所有（GCS创建的）日志从Google Cloud Storage中获取到BigQuery中。由于日志每小时创建一次，所以我喜欢一次导入所有日志来进行分析。

因此，例如gs://logging-bucket/images.mysite.net_storage_2013_03_31_07_00_00_0001a_v0、gs://logging-bucket/images.mysite.net_storage_2013_03_31_07_00_0002a_v0等等。

当只获取一个文件时，我会出现以下错误：

错误：

 Line:1 / Column:1, Expected '{' found '"'
 Line:2 / Column:1, Expected '{' found '"' 
 Line:3 / Column:1, Expected '{' found '"'
 Line:4 / Column:1, Expected '{' found '"'
 Line:5 / Column:1, Expected '{' found '"'
 Line:6 / Column:1, Expected '{' found '"'
 Line:7 / Column:1, Expected '{' found '"'

我所做的是创建一个新的数据集，从gs://logging-bucket/images.mysite.net_storage_2013_03_31_07_00_00_0001a_v0中选择数据，然后添加这个模式http://storage.googleapis.com/pub/cloud_storage_usage_schema_v0.json并提交这个模式。

Answer 1

你能举一个排的例子吗？数据是json格式还是CSV格式？从这个错误来看，它听起来像是在试图导入JSON数据，但是JSON行不应该以“”开头--应该以“{”开头。这是CSV数据吗？如果是，应该将sourceFormat设置为CSV（或者让它为空），而不是newline_delimited_json。