丢失记录的可能数量

Question

在我复习的问题中，我很难理解概率假设。

鉴于：

• 数据集中的每条记录都有一个唯一的事务id号（TXNID）
• TXNID之间的增量变化可根据事务时间预测（具体方法与问题无关）
• 因为增量变化是可预测的，所以我们可以确定两个连续TXNID之间是否缺少记录。具体来说，如果两个连续TXNID之间的差异大于预测的增量变化，则至少有一条记录丢失
  • 两个TXNID之间的增量始终是一个介于1和20（含）之间的整数。
  • 任何1到20的增量都有相同的可能性

  如果发现这种差距，我们希望估计缺失记录的数量。

  例如：

      Previous TXNID: 100 (given)
      Current TXNID: 125 (given)
      Predicted increment: 5 (given)
      Actual increment: 25 (current - previous)
  

  实际增量大于预测增量，因此我们知道至少有一条记录丢失。

  我们还知道，一条丢失的记录有一个TXNID，它等于当前的TXNID-5。剩余差距内的估计记录是问题的焦点。

     Remaining gap: 20 (actual increment - predicted increment)
  

  我们希望估计的是剩余差距内缺失记录的数量。在该示例中，缺失记录可由增量为20的单个记录、增量为1的20个记录或这些极端之间的任何相关组合组成。

      20 = 20 x 1
      ...
      20 = 1 x 20
  

  作者提出，由于存在相同的概率，即每个TXNID增量在1和20之间，因此剩余间隙的5%（1/20）是缺失记录数量的实际估计。

  在以非常有限的方式进行了测试后，这个假设似乎是可行的；然而，我很难理解这样一种逻辑：每种情况都有相同的概率。

  我同意一条记录有1/20（5%）的机会增加20（场景1 x 20）。但对于相反的情况（20 x 1），概率不应该复合吗？这里，我不仅要求单个记录的增量为1（5%概率），而且接下来的19个记录也为1。因此，在剩余间隙内存在20条缺失记录的概率似乎要小得多（0.05^20与0.05）。

  我是不是想得太多了？我错过了一点吗？对剩余的差距应用5%作为估计缺失记录数量的方法是否合理？

  谢谢

  安德鲁

Answer 1

坦率地说，我会从不同的角度来处理这个问题。我假设记录来自泊松流。因此，记录之间的差异按照泊松分布分布。

如果这是真的，您可以估计泊松参数\lambda，并得到在记录之间的任何给定距离处平均应存在多少条记录的估计值