带有拼花文件的配置单元中的内存问题

Question

select * from myParquetTable where id < 0;

如有任何建议/暗示，不胜感激。

Answer 1

你需要记住两件事：1。拼花是基于柱状的存储。2.拼花文件被压缩。

好吧，考虑到这些点，文件会占用比原始文件更多的空间。但是，您拥有的内存足以处理文件（本例中为完整文件）。

因为它会给您带来堆空间内存不足的错误-您可能需要增加节点管理器的Java堆大小。此外，您可能希望检查为每个容器配置了多少内存，以及所有容器的总内存。