当前位置: 首页 > 知识库问答 >
问题:

云Dataflow和Dataprep有什么不同

郭彬郁
2023-03-14

Dataprep和Dataflow都可以用于ETL任务。事实上,Dataprep似乎使用数据流作业。这是Dataprep提供的工具的唯一区别吗?

共有1个答案

闽经纬
2023-03-14

dataflow和dataprep都可以对数据进行转换。主要区别在于谁在使用这项技术。您的项目是否需要数据用户(如数据工程师)或业务用户(如分析师和数据科学家)进行自助式数据转换?那么dataprep就是选择了。这不是编码。它最终生成数据流作业。Cloud dataprep提供了高级转换,如转轴、解转轴、聚合、时间序列、联接、联合、标准化和数百个其他数据功能,这些功能通过直观的可视化界面公开。不过,数据需要在CDS或BigQuery中。

 类似资料:
  • 好的团队...Dataprep运行到BigQuery。我一辈子也找不到为什么在过去的5个小时里我会出现Zone_Resource_Pool_Educted问题。前一天晚上,一切都很顺利,但今天,我有一些严重的问题。 期待着任何人在这方面帮助我,因为老实说,这个问题是“只要改变这个,也许这会解决它,如果不是,也许几个星期,它就会起作用”。 更新: 我相信我的一些问题可能会特别处理GCP Comput

  • 我得到了几次配额的增加,虽然这让作业比以前继续,但它仍然以相同的错误结束(尽管shuffle键的大小更大了)它现在似乎没有因为配额相关问题而碰壁。 除了放弃Dataprep和回到map Reduce之外,还有什么想法吗?

  • 有人知道DataFlow优于DataProc的优点/缺点吗 为什么谷歌两者都提供?

  • 我在删除服务帐户中的用户时出错,我应该删除另一个用户。之后,Dataprep停止运行作业。 我已经检查了关于dataflow和DataPrep的所有准则:如果API是启用的(是的,它是启用的)。如果有一个适当的服务帐户(是)。但我不知道给这些账户分配什么规则。 我尝试为该帐户分配“云数据流服务代理”角色,但它不适合我 附:我的英语正在进步,有些错误很抱歉。