计算pickle文件的熵

Question

我正在处理ISCXVPN2016数据集，它由一些pcap文件组成（每个pcap都是特定应用程序（如skype、youtube等）的流量捕获），我已将它们转换为pickle文件，然后使用以下代码将其写入文本文件：

pkl = open("AIMchat2.pcapng.pickle", "rb")
with open('file.txt', 'w') as f:
    for Item in pkl:
        f.write('%s\n' %Item)

file.txt：

b'\x80\x03]q\x00（cnumpy.core.multiarray\n'b'_reconstruct\n'b'q\x01cNumpy\n'b'ndarray\n'b'q\x02K\x00\x85q\x03C\x01bq\x04\x87q\x05Rq\x06（K\x01K\x9d\x85q\x07cNumpy\n'b'dtype\n'b'q\x08X\x02\x00\x00\x00u1q\tK\x00K\x01\x87q\n'b'Rq\x0b（K\x03X\x01\x00\x00\x00|q\x0cNNNJ\xff\xff\xff\xff\xffJ\xff\xff\xff\xff\xffK\x00tq\rb\x89C\x9dE\x00\x00\x9dU\xbc@\x00\x80\x06\xd7\xc9\x83\xca\xf0W@\x0c\x18\xa74I\x01\xbb\t].\xc8\xf3*\xc51P\x18\xfa[）j\x00\x00\x17\x03\x02\x00p\x14\x90\xccY|\xa3\x7f\xd1\x12\xe2\xb4。U9）\xf20\xf1{\xbd\x1d\xa3W\x0c\x19\xc2\xf0\x8c\x0b\x8c\x86\x16\x99\xd8：\x19\xb0G\xe7\xb2\xf4\x9d\x82\x8e

我的问题是如何计算每个pickle文件的熵？

（我已更新问题）

Answer 1

可以使用双熵、三熵或它们的加法三熵来计算pickle文件的熵。这些算法在www.arxiv.org上有描述，BiEntropy已经在Github上通过测试工具实现。BiEntropy已经在大型原始二进制文件上进行了测试

Answer 2

一个简单的解决方案是gzip/tar文件。通过计算（sige-of-gzip/tar-file）/（sige-of-原始）来确定熵，作为对随机性的度量。
这个结果不准确，因为gzip和tar都不是理想的压缩器，但是随着文件大小的增长，结果会更加准确。
使用编写的python代码检查熵的一个很好的选择是：
http://code.activestate.com/recipes/577476-shannon-entropy-calculation/#c3

Answer 3

如果我没有做错，这就是答案（基于如何计算文件的熵？和香农熵）。

#!/usr/bin/env python3

import math


filename = "random_data.bin"

with open(filename, "rb") as file:
    counters = {byte: 0 for byte in range(2 ** 8)}  # start all counters with zeros

    for byte in file.read():  # read in chunks for large files
        counters[byte] += 1  # increase counter for specified byte

    filesize = file.tell()  # we can get file size by reading current position

    probabilities = [counter / filesize for counter in counters.values()]  # calculate probabilities for each byte

    entropy = -sum(probability * math.log2(probability) for probability in probabilities if probability > 0)  # final sum

    print(entropy)

在Ubuntu 18.04上用Python 3.6.9检查了ent程序：

$ dd if=/dev/urandom of=random_data.bin bs=1K count=16
16+0 records in
16+0 records out
16384 bytes (16 kB, 16 KiB) copied, 0.0012111 s, 13.5 MB/s
$ ent random_data.bin
Entropy = 7.988752 bits per byte.
...
$ ./calc_entropy.py
7.988751920202076

测试与文本文件也。

$ ent calc_entropy.py
Entropy = 4.613356 bits per byte.
...
$ ./calc_entropy.py
4.613355601248316