为什么Base64编码的数据压缩得这么差？

Question

• 原始文件：429,7 MIB
• 通过XZ-9
13,2 MiB/429,7 MiB=0,0314,9 MiB/s1:28
• base64它和压缩通过XZ-9:
  26,7 MiB/580,4 MiB=0,0462,6 MiB/s3:47
• base64原始压缩xz文件:
  17,8 MIB几乎没有时间=预期的1.33x大小增加

所以可以观察到的是：

• xz压缩的☺真好
• base64-编码的数据压缩不好，它比未编码的压缩文件大2倍
• base64-then-compress明显比compress-then-base64
差且慢

我知道base64然后压缩文件是没有意义的，但大多数情况下，人们无法控制输入文件，而且我会认为，由于base64编码的文件的实际信息密度（或无论它被称为什么）几乎与非编码版本相同，因此可以类似地压缩。

Answer 1

大多数通用压缩算法都使用一字节粒度。

让我们考虑以下字符串：

"XXXXYYYYXXXXYYYY"

• 游程编码算法会说：“那是4'x'，后面跟着4'y'，后面跟着4'x'，后面跟着4'y'”
• Lempel-Ziv算法会说：“这是字符串'xxxxyyyy'，后面跟着同一个字符串：所以让我们用对第一个字符串的引用替换第二个字符串。”
• 哈夫曼编码算法会说：“那个字符串中只有2个符号，所以每个符号只能用一个比特。”

"WFhYWFlZWVlYWFhYWVlZWQ=="

Input bytes    : aaaaaaaa bbbbbbbb cccccccc
6-bit repacking: 00aaaaaa 00aabbbb 00bbbbcc 00cccccc

0         1         2         3         4         5         6
ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/

例如，我们的示例字符串以等于0x58的十六进制（字符“x”的ASCII代码）的三个字节组开始。或二进制：01011000。让我们应用Base64编码：

Input bytes      : 0x58     0x58     0x58
As binary        : 01011000 01011000 01011000
6-bit repacking  : 00010110 00000101 00100001 00011000
As decimal       : 22       5        33       24
Base64 characters: 'W'      'F'      'h'      'Y'
Output bytes     : 0x57     0x46     0x68     0x59

基本上，在原始数据流中明显的模式“3乘以字节0x58”在编码数据流中不再明显，因为我们已经将字节分解成6位包，并将它们映射到现在看起来是随机的新字节。

或者换句话说：我们打破了大多数压缩算法所依赖的原始字节对齐方式。

对于加密来说更是如此：首先压缩，其次加密。

编辑-关于LZMA的注记

正如MSalters注意到的那样，xz正在使用的LZMA处理的是位流而不是字节流。

Input bytes      : 0x58     0x58     0x58
As binary        : 01011000 01011000 01011000
(see above for the details of Base64 encoding)
Output bytes     : 0x57     0x46     0x68     0x59
As binary        : 01010111 01000110 01101000 01011001