如何检测时间序列数据中的重大变化/趋势？[关闭]

Question

因此，我有一个25个样本的数组，我希望能够注意到它是从25个样本的时间间隔减少n还是增加n的趋势（基本上，25个样本数组是我的缓冲区，每1毫秒填充一次）。

请注意，我正在寻找的是一般趋势，而不是单个导数（就像我使用有限差分或其他数值微分技术获得的那样）。

基本上，我希望我的数据是嘈杂的，所以即使在进行过滤等操作后，也可能会有起伏。但我正在寻找的是行为增加或减少的总体趋势。

我想在每个ms中集成递增/递减行为，以触发更多的用户界面事件（LED闪烁），因此只要我能够检测到总体趋势，就不必延迟处理。

提前感谢！

Answer 1

如果您知道信号统计信息，并将其用作n步预测器，您可以使用维纳滤波器。您的趋势决定可以很容易地基于香肠过滤器的预测。如果信号不是广义平稳的，并且你认为预测不能线性地完成（非线性/非平稳过程），那么你可以使用像LMS滤波器这样的自适应维纳滤波器。

Answer 2

我觉得你根本不需要导数。听起来你需要一个低通滤波器。低通滤波器只需删除快速变化的数据，并保留较长、较慢的变化趋势。最直观的低通滤波器是移动平均滤波器，其中取最后n个输入的平均值，其中n是根据噪声与正在寻找的趋势大小确定的。从音频数据到图像处理，再到失业数据（四周移动平均失业率数据被广泛引用），这一数据被广泛使用。

如果您觉得有必要，可以使用递归技术开发更有效/选择性的过滤器。您可以使用本教程创建低通滤波器。它是为音频编写的，但它适用于大多数html" target="_blank">数据。它向您展示了如何编写钟形滤波器，但是低通滤波器更容易。

http://blog.bjornroche.com/2012/08/basic-audio-eqs.html

Answer 3

正如已经指出的，你不是在寻找导数。你真的在寻找时间序列的“重大变化”检测算法。

你肯定需要一个平滑滤波器（移动平均滤波器很好——这一部分见Bjorn的答案）。

但是除了平滑过滤器之外，您还需要一个决策准则或阈值选择器，超过它您将决定过滤的更改是否重要。

如果时间序列的基本统计数据是稳定的（平稳时间序列），则可以使用固定的统计阈值，即平均值的标准偏差。例如，如果您想要一个相当强的“报警”阈值，您可以选择2个标准偏差（只考虑对最强的5%回报进行报警）。

如果根本问题中没有任何东西表明你的时间序列是稳定的，即如果序列中可能有趋势，或者生成时间序列的基本过程在你监控它时会经历根本性的变化，那么你需要使用一个动态的或自适应的阈值，即信噪比（mu/sigma）. 然后，您可以选择检测所有通过信噪比测试的“有意义”元素。