GZ到ORC文件的性能改进
我们看到ORC和带分区的ORC执行相同（有时我们看到B/W ORC分区和不带分区的ORC差别很小）。带分区的ORC会比ORC表现更好吗。带分区桶的ORC会比ORC分区表现更好吗？。我看到每个ORC分区文件都接近50-100 MB，ORC带外分区（每个文件大小为30-50 MB）。
**注：120 GB的Un压缩数据被压缩为17 GB的ORC文件格式
共有1个答案
我知道的从gz转换到ORC文件格式的唯一方法是编写一个配置单元查询。使用压缩格式总是比较慢，因为在转换之前需要对其进行解压缩。你可能想玩一下这些参数，如图所示，看看它是否加快了从gz到ORC的移动速度。
对于上面的第一个问题，您可能希望与Azure Data Factory团队进行后续研究。
对于第三个问题，我没有尝试过，但是对未压缩数据进行计算应该比使用压缩数据更快。
-
解决这个问题的最佳方法是什么？
-
问题内容： SO和Web上的大多数问题/答案都讨论了如何使用Hive将一堆小的ORC文件组合成一个更大的文件，但是，我的ORC文件是日志文件，每天都分开，因此我需要将它们分开。我只想每天“汇总” ORC文件（它们是HDFS中的目录）。 我最有可能需要用Java编写解决方案，并且遇到过OrcFileMergeOperator，这可能是我需要使用的内容，但还为时过早。 解决此问题的最佳方法是什么？ 问
-
我的 tar 文件位于以下位置： 使用 tar 命令： 命令显示我： 我的计划或更好的愿望是这样处理： 我只想要一个tar文件并将其存储到不同的目录……但是这个带有-C的命令不起作用…它提取tar的所有文件…… 我的问题是，是否可以只提取一个Tar文件，而不将提取到目录中？？另一个问题：是否有可能只提取tar文件而不提取文件夹这可能是更好的方法，但我不知道如何。。。？ 不，没有路径我就不能保存文件
-
有没有一种方法可以读取tar文件格式的文件的时间戳，以便为未tarred文件设置相同的时间。 例如：Tar文件中有多个文件，我想读取一个文件上次修改的时间戳。 请找到下面使用的代码。 我正在使用apache commons:commons-compress-1.2.jar
-
我有一个.tar文件，其中包含文件夹中的许多.gz文件。这些 gz 文件中的每一个都包含一个.txt文件。与此问题相关的其他堆栈溢出问题旨在提取文件。 我试图反复阅读每一个的内容。txt文件，因为。焦油很大。 首先我阅读了. tar文件的内容： 或在Unix中： 然后我尝试使用tarfile提取文件方法，但我得到一个错误：“模块'tarfile'没有属性'提取文件'”。此外，我甚至不确定这是正确的
-
在将配置单元外部表从RC格式升级为ORC格式并在其上运行MSCK修复表（当我确实从表中选择全部时）时，我得到以下错误- 将RC格式的历史数据迁移到ORC格式的新定义的过程是什么？