Google云平台数据ETL批处理：云函数数据流

Question

在我的新公司，我是一名数据工程师，负责构建google cloud platform(GCP)批处理ETL管道。我的团队的数据科学家最近给了我一个数据模型（用Python3.6编写的.py文件）。

数据模型有一个主函数，我可以调用它并获得一个dataframe作为输出，我打算将这个dataframe附加到一个bigquery表中。我是否可以只导入这个主函数，并使用apache beam（Dataflow）将其集成到管道中，而不必将数据模型重新编码到pTransform中？或者仅仅使用云调度器和云功能来实现我想要的目标会更好吗？

我是一个完全的初学者与数据流和apache beam，所以任何帮助或链接到指南将非常感谢！

Answer 1

如果您有一个dataframe，最简单的方法是将其转换为CSV，然后将其加载到BigQuery（加载作业）中

不要忘记添加job_config.write_disposition='write_append'将数据添加到现有表中。查看其他参数、模式自动检测、CSV分隔器、跳过前导行可以帮助您实现负载。

在调度程序触发的函数或云运行中执行。效果很好！

Answer 2

您可以利用BigQuery与Pandas的内置集成，而不是转换为CSV文件并将其加载到BigQuery中（这是一个更长且可能更昂贵的过程）：

import pandas

df = pandas.DataFrame(
{
    'my_string': ['a', 'b', 'c'],
    'my_int64': [1, 2, 3],
    'my_float64': [4.0, 5.0, 6.0],
}
)
full_table_id = 'my_dataset.new_table'
project_id = 'my-project-id'

df.to_gbq(full_table_id, project_id=project_id)

在管道编排方面，我个人喜欢与Cloud Composer集成得很好的Apache Airflow

编辑：查看df.to_GBQ的大量文档，了解如何加载数据帧的更多控制。