文本破译，基于字母频率的方法（关于成本函数的问题）

Question

我想破译基于频率分析的文本，编程不是问题，但有一些数学困难。

（别担心，不是为了黑客攻击，我想试试十二宫杀手340密码，但问题只是关于破译http://zodiackillerciphers.com/wiki/images/7/7d/340-cipher-hi-resolution.jpg的一般问题，而不是密码的其他问题。）

我已经把它分解为5个简短的问题，都与成本函数有关，以表明我的努力，简短的回答是好的，任何帮助都感谢。我的问题是，成本函数中的值差异非常小。

1. 包含任意数量符号的文本，从现在起称为密码。密码是英文的。密码中的每个符号只代表一个字母，但一个字母可以通过几个符号来表示。我们不知道是否有空格（但是必须由cost函数计算的字符串将以空格分隔，并且只有字母A-Z）
2. 字母频率分析（A-Z和空格）：单字母、字母对和字母三元组。使用sowpods拼字词典的4000个最常见的英语单词或“所有”单词

关于频率分析的问题：

1. 只检查最常见的单词还是使用SOWPOD检查所有单词更好（可能删除4000个最常见单词中不包含的2个和3个字母的单词）
2. 对于字母对和三胞胎：最好只存储它们的频率，还是以P（A | B）（A在A B之后的概率）和P（C | AB）的形式存储

如果不感兴趣就跳过。我不想在这里详述，有几种方法可以使用。一个粗略的草图：

1. 生成（半）随机解
2. 基于成本函数的解的局部优化
3. 重新开始并传授所学知识
4. 停滞一段时间后，在局部优化之前，尝试在固定位置引入空格（如果消息没有空格）
5. 比较两个检索到的解决方案，并返回更好的解决方案

成本函数是什么样的？总的来说可以表示为：

w1*字母成本w2*配对成本w3*三重成本w4*单词成本

所有一切的总和是一：

w1 w2 w3 w4=1

关于成本函数的问题

现在，对于忽略单词的简单频率（w4=0），你可以只计算频率并取平方差（这就是我目前正在做的）。我想知道的是：w1=w2=w3或w1=27*w2=27*27*w3更合理吗？

它如何处理条件概率？

你如何整合单词的知识？只要数一数有多少真正的英语单词，可能是根据它们的长度来加权，或者有没有更聪明的方法？

Answer 1

依我看，你的问题来自过于笼统的概念。如果你不精确计算算法，就不可能计算出代价函数。我可以提出一种方法，来实现你概念的第二点：

1. 计算随机的期望值（例如：如果你有100000个字母，随机三胞胎应该出现5次）
2. 设n为加密文本中的字母数。然后为每个字母增加字母[y]，对[y][y 1]，三元组[y][y 1][y 2]的值
3. 如果一些数据的出现明显大于1中计算的值，那么试着判断你离答案有多近。

尽管如此，第3点和“判断”非常笼统，但基于此，我可以给你一些答案：

关于成本函数的问题

1. 最好只使用最常见的单词，因为它会给你关于随机结果偏差的信息。持有所有单词不会给你带来任何利润。
2. 频率是我的建议。我找不到保持条件概率的任何用法。

成本函数

在我的例子中，AlgRoTHHM的成本是O（n）const（对于长单词，你可以考虑使用哈希表）“判断”。问题还在继续，因为许多问题取决于“法官”将如何解决。