Bigquery上ETL的最佳实践方法？
我想知道人们在bigquery上构建和管理ETL作业时发现了哪些最佳实践/工具。
目前，我有很多sql模板（可怕的参数化的lob，日期等使用sed类型字符串替换成一个tmp.sql文件，然后运行），我使用命令行工具来运行它们的序列并将输出发送到表。它工作正常，但有点笨拙。我仍然不明白为什么我不能在bigQuery上运行存储过程类型参数化脚本。甚至是某种图形用户界面来构建和管理管道。
我喜欢bigquery，但我真的觉得我要么错过了一些非常明显的东西，要么就是产品中存在着真正的差距（例如，非常肯定Apache Drill在这方面做得更多）。
所以想知道是否有人可以分享您自己使用的任何最佳实践etl技巧或方法。
我也在一些工作中使用xplenty，这很好，但也有点混乱，因为我不能在其中编写sql，所以构建和调试复杂的管道可能会很痛苦。
我也在考虑研究Talend，但真正的参数化存储过程、宏和SQL是我理想需要的。
很抱歉，如果这是一个讨论问题，那么是特定代码。如果更适合的话，很乐意将其移动到reddit或其他地方。
共有1个答案
在我看来，谷歌云数据流比BigQuery更接近您的需求。我们将其用于具有自动缩放功能的实时流式ETL。虽然需要编写Java代码，但效果很好。
-
这里有些给使用和编写 Ansible playbook 的贴士. 你能在我们的 ansible-example repository.找到展示这些最佳实践的 playbook 样例.(注意: 这些示例用的也许不是最新版的中所有特性,但它们仍旧是极佳的参考.) Topics 最佳实践 接下来的章节将向你展示一种组织 playbook 内容方式. 你对 Ansible 的使用应该符合你的需求而不是我们
-
处理后台任务与常规调用方法有很大的不同。本指南旨在帮助让您的后台任务平稳有效地运行。本文基于 这篇博客文章。 使任务参数小而简单 方法（任务）在调用之前会被序列化。使用 TypeConverter 类将参数转换为 JSON 字符串。如果您有复杂的实体和 / 或大对象; 包括数组，最好将它们放入数据库，然后只将其标识 (id) 传递给后台任务。 错误例子: public void Method(En
-
VR设计 VR设计不同于平面体验设计。作为一种新的媒介，有新的最佳实践需要遵循，特别是保持用户的舒适性和存在性。这在如下指南中已经写得很透彻了： Oculus VR最佳实践 Leap Motion VR最佳实践指南 一些值得注意的事情： 公共的金科玉律是永远不要意外地把相机控制权从用户手中剥夺。 单位(比如对于位置）应该考虑使用米（m）。这是因为WebVR API以米为单位返回姿势数据，进而传送给
-
本章文档将阐述一些使用herosphp开发一些常用模块的一些比较好的实践。 未完待续。。。
-
适当的使用vuex 能不用就不用。 能用就用。 不要为了使用而使用，一个小方法里面有5个设计模式。 不要过度使用CSS框架 因为CSS框架一般会大幅度增加文件体积。 例如 bootstrap, ele.me前端框架。 这个在低端安卓机上影响显著。 使用CDN来存放js, css, 和图片文件。 灵活使用第三方Vue 插件 例如： 轮播图， 表单验证等等。这些轮子都是现成的。 前端逻辑务必简单 能在
-
这是 Martin Zinkevich (Google) 在 NIPS 2016 Workshop 分享的谷歌机器学习最佳实践翻译版，PDF 全文见 Rules of Machine Learning: Best Practices for ML Engineering。 机器学习产品所要面对的难题是工程问题（而不是 ML 算法），所以在做机器学习时要遵循跟其他产品类似的工程原则。 术语 实例（