Spark sql“create table as select...”

Question

select a.*, b.* from a inner join b on a.id=b.id

a和b桌很大。这很管用，我可以得到答案。

其次，我想把SQL结果保存到配置单元表中。SQL喜欢：

create table xxx stored as orc as select ...

这将失败，错误代码为143。错误消息为：

有人能帮忙吗？

谢了。

Answer 1

要解决内存问题，可以尝试：

• 重新分区
• 增加执行者内存--执行者-内存
• 按执行器减少内核数--executor-core（它们共享执行器的RAM），不要忘记增加内存开销以满足规范

重新分区，将减少每个任务的大小，而增加内存或减少核心数将导致分配给每个任务的内存更多。

df.persist()
n = df.count()
nb_records = 10
df = df.repartition(int(n / nb_records))
df.rdd.getNumPartitions()

10