如何有效预测数据是否可压缩

Question

我想编写一个存储后端来存储更大的数据块。数据可以是任何东西，但主要是二进制文件（图像，pdf，jar文件）或文本文件（xml，jsp，js，html，java
…）。我发现大多数数据已经被压缩。如果所有内容都经过压缩，则可以节省大约15％的磁盘空间。

我正在寻找最高效的算法，该算法可以高概率地预测可以压缩或不压缩（无损压缩）大块数据（假设无损压缩），而不必尽可能查看所有数据。

压缩算法可以是LZF，Deflate或类似的算法（可能是Google Snappy）。因此，预测数据是否可压缩应该比压缩数据本身快得多，并且使用更少的内存。

我已经知道的算法：

• 尝试压缩数据的一个子集，比如说128个字节（这有点慢）

• 计算128个字节的总和，如果它在一定范围内，则可能不可压缩（在128 * 127的10％之内）（这是快速且相对不错的方法，但是我正在寻找更可靠的方法，因为该算法实际上只查看每个字节的最高位）

• 查看文件头（相对可靠，但感觉像作弊）

我想大概的想法是，我需要一种可以快速计算字节列表中每个位的概率是否约为0.5的算法。

更新资料

我已经实现了“ ASCII检查”，“熵计算”和“简化压缩”，并且都给出了良好的结果。我想优化算法，现在我的想法不仅是预测是否可以压缩数据，还可以预测可以压缩
多少 数据。可能使用多种算法。现在，如果我只能接受多个答案…，我将接受效果最佳的答案。

仍然欢迎其他答案（新想法）！如果可能的话，带有源代码或链接:-)

更新2

现在在Linux中实现了类似的方法。

Answer 1

根据我的经验，几乎所有可以有效压缩的格式都是非二进制的。因此，检查[0-127]范围内是否有大约70-80％的字符应该可以解决问题。

如果您想“适当地”使用它（即使我真的看不到这样做的理由），则您必须对数据运行（部分）压缩算法或计算熵，如tskuzzy所建议的那样。