当前位置: 首页 > 面试题库 >

在hadoop中文件的压缩带来了两大好处?

鲁乐
2023-03-14
本文向大家介绍在hadoop中文件的压缩带来了两大好处?相关面试题,主要包含被问及在hadoop中文件的压缩带来了两大好处?时的应答技巧和注意事项,需要的朋友参考一下

解答:

(1)它减少了存储文件所需的空间;

(2)加快了数据在网络上或者从磁盘上或到磁盘上的传输速度;

 类似资料:
  • 问题内容: 我查看了JDK和Apache压缩库随附的默认Zip库,由于以下三个原因,我对它们不满意: 它们太臃肿了,API设计也不好。我必须写50行锅炉板字节数组输出,压缩输入,文件输出流和关闭相关流,捕捉异常和移动字节缓冲区自己?为什么我不能有一个像)和这样的简单API呢? 似乎通过压缩解压缩会破坏文件元数据,并且密码处理会被破坏。 另外,与我从UNIX获得的命令行zip工具相比,我尝试的所有库

  • 我正在使用Julia的ZipFile包来提取和处理csv文件。没问题,但是当我遇到zip文件中的zip文件时,我也想处理它,但是遇到了一个错误。 Julia ZipFile文档如下:https://zipfilejl.readthedocs.io/en/latest/ 对如何做到这一点有什么想法吗?

  • 我正试图从ftp服务器获得一个带有.zip压缩的文件,并尝试使用Camel将其存储在带有.gzip压缩的S3中。下面是我目前拥有的路线。 这对较小的文件很好用。但我的文件压缩时大小约为700 MB。对于这种大小的文件,我获得了 我知道在camel()中有一个流式处理选项,但我不确定是否可以在流式处理时进行marshal和marshal。(我在这里看到了一个类似的解决方案,但在本例中,源文件是纯文本

  • 问题内容: 任何人都可以向我展示在我一直在搜索的Java中压缩和解压缩tar.gzip文件的正确方法,但是我能找到的最多是zip或gzip(单独)。 问题答案: 我最喜欢的是plexus-archiver-请参阅GitHub上的资源。 另一个选项是Apache commons- compress- (请参阅mvnrepository)。 使用plexus-utils,用于取消存档的代码如下所示:

  • 问题内容: 使用python 2.4和内置库,我无法读取非常大的zip文件(大于1或2 GB),因为它想将未压缩文件的全部内容存储在内存中。还有另一种方法(使用第三方库或其他黑客工具),还是必须“脱壳”并以这种方式解压缩(显然,它不是跨平台的)。 问题答案: 这是对大文件进行解压缩的概述。

  • 问题内容: 我正在使用Python 2.7。我有一个.bz2文件,我需要弄清楚其组成文件的未压缩文件大小,而无需实际对其进行解压缩。我找到了对gzip和tar文件执行此操作的方法。有人知道bz2文件的方法吗? 非常感谢 问题答案: 我怀疑由于 bz2 格式的性质及其使用的压缩技术,这是不可能的。这是格式和算法的一个很好的描述http://en.wikipedia.org/wiki/Bzip2#Fi