使用Pyspark转换红移表

Question

我试图在当前redshift表的顶部创建一个redshift表，我有一个执行以下步骤的脚本：

1. 将redshift表按块加载到熊猫数据帧中以避免内存错误
2. 在每个卡盘中，我处理数据并将CSV文件输出到S3
3. 运行S3 Copy命令将文件移动到红移。

这种方法非常慢，因为在将数据加载到pandas dataframe时，它会保持红移查询。

为了加快进程，我认为可能需要

1. 减少查询原始表的次数

我发现Databrick有一个名为spark redshift的包，但我发现它已经有一段时间没有维护了，似乎不再工作了。我试图将数据从卸载到s3，但由于我的角色，我没有这样做的权限。

所以我目前尝试的方法是使用AWS EMR

有没有什么聪明的方法来取代我上面描述的运行缓慢的工作？

Answer 1

此处已询问将EMR Spark群集连接到Redshift：将PySpark连接到AWS Redshift时出错

从答案中可以看出，有许多不同的方法可以将所需的依赖项安装到集群中。