spark数据集的变换

Question

我在RDBMS中有几个数据库表，在当前的逻辑中，所有这些表都被连接起来并给出一些数据，基本上SQL被存储为视图的一部分。使用sqoop将数据推送到HDFS中，需要应用一些分组和按操作排序。

什么可能是连接数据集的最佳方式，如转储所需的列到内存（如df.registeredTempTable（））和应用连接，或者我可以使用数据集连接，因为数据在HDFS的不同文件中可用。

问候阿南

Answer 1

我建议再往前走一点。我不会选择在数据集之间进行连接。

我将采用下一种方法：

1. Sqoop处理过程中涉及的所有表

让我们来看看你提到的例子：

1.Sqoop数据：您已经介绍了这个步骤。

2.创建Avro文档

虚拟数据

Departament
id, name
1 Sales
2 Technology

Employers
id, department_id, name
1 1 John
2 1 Bruno
3 2 Alicia
4 2 George

文档的结构取决于您将如何使用数据，可以有两个选项：

{"name": "John", "department": "Sales"}
{"name": "Bruno", "department": "Sales"}
{"name": "Alicia", "department": "Technology"}
{"name": "George", "department": "Technology"}

{"name": "Sales", "Employers": ["John", "Bruno"]}
{"name": "Technology", "Employers": ["Alicia", "George"]}

这样查询就容易多了。

采用这种方法的好处是，当关系数据库模型包含太多表时，查询会变得更加复杂，而且，当表的大小过大时，在运行时连接数据会花费大量时间，这是因为希望在ETL管道期间而不是在运行时对数据进行转换。

希望这澄清了方法。