不均匀间隔时间序列中的峰值检测

Question

我正在使用一个数据集，其中包含与datetime相结合的度量值，例如：

datetime value
2017-01-01 00:01:00,32.7
2017-01-01 00:03:00,37.8
2017-01-01 00:04:05,35.0
2017-01-01 00:05:37,101.1
2017-01-01 00:07:00,39.1
2017-01-01 00:09:00,38.9

我试图检测和删除可能出现的潜在峰值，如2017-01-01 00:05:37,101.1度量值。

到目前为止，我发现了一些东西：

>

这个数据集的时间间隔从15秒一直到25分钟，这使得它非常不均匀

峰的宽度无法事先确定

峰值高度与其他值明显偏离

时间步长的标准化只应在去除异常值后进行，因为它们会干扰结果

由于其他异常（例如，负值、平线），即使没有这些异常，也“不可能”使其变得均匀，因为峰值会产生错误的值；

• 在这个问题上，我忘了提到时间间隔不均匀的临界点。

我到处找了，什么也没找到。实现将使用Python，但我愿意深入研究其他语言以获得逻辑。

Answer 1

我已经在github上发布了这段代码给未来有这个问题或类似问题的任何人。

经过多次尝试和错误，我认为我创造了一些行之有效的东西。使用@user58697告诉我的内容，我成功地创建了一个代码来检测阈值之间的每个峰值。

通过使用他/她解释的逻辑if（（flow[i 1]-flow[i]）/（time[i 1]-time[i]）

从阅读开始。csv并解析日期，然后拆分为两个numpy数组：

dataset = pd.read_csv('https://raw.githubusercontent.com/MigasTigas/peak_removal/master/dataset_simple_example.csv', parse_dates=['date'])

dataset = dataset.sort_values(by=['date']).reset_index(drop=True).to_numpy()  # Sort and convert to numpy array

# Split into 2 arrays
values = [float(i[1]) for i in dataset]  # Flow values, in float
values = np.array(values)

dates = [i[0].to_pydatetime() for i in dataset]
dates = np.array(dates)

然后将（流[i 1]-流[i]）/（时间[i 1]-时间[i]）应用于整个数据集：

flow = np.diff(values)
time = np.diff(dates).tolist()
time = np.divide(time, np.power(10, 9))

slopes = np.divide(flow, time) # (flow[i+1] - flow[i]) / (time[i+1] - time[i])
slopes = np.insert(slopes, 0, 0, axis=0) # Since we "lose" the first index, this one is 0, just for alignments

最后，为了检测峰值，我们将数据减少到每个x秒的滚动窗口。这样我们就可以很容易地检测到它们：

# ROLLING WINDOW
size = len(dataset)
rolling_window = []
rolling_window_indexes = []
RW = []
RWi = []
window_size = 240  # Seconds

dates = [i.to_pydatetime() for i in dataset['date']]
dates = np.array(dates)

# create the rollings windows
for line in range(size):
    limit_stamp = dates[line] + datetime.timedelta(seconds=window_size)
    for subline in range(line, size, 1):
        if dates[subline] <= limit_stamp:

            rolling_window.append(slopes[subline])  # Values of the slopes
            rolling_window_indexes.append(subline)  # Indexes of the respective values

        else:

            RW.append(rolling_window)
            if line != size: # To prevent clearing the last rolling window
                rolling_window = []

            RWi.append(rolling_window_indexes)
            if line != size:
                rolling_window_indexes = []

            break
else:
    # To get the last rolling window since it breaks before append
    RW.append(rolling_window)
    RWi.append(rolling_window_indexes)

在获得所有滚动窗口后，我们开始享受乐趣：

t = 0.3  # Threshold
peaks = []

for index, rollWin in enumerate(RW):
    if rollWin[0] > t: # If the first value is greater of threshold
        top = rollWin[0] # Sets as a possible peak
        bottom = np.min(rollWin) # Finds the minimum of the peak

        if bottom < -t: # If less than the negative threshold
            bottomIndex = int(np.argmin(rollWin)) # Find it's index

            for peak in range(0, bottomIndex, 1): # Appends all points between the first index of the rolling window until the bottomIndex
                peaks.append(RWi[index][peak]) 

这段代码背后的思想是，每个峰值都有上升和下降，如果两者都大于规定的阈值，那么它就是一个异常峰值以及它们之间的所有峰值：