我如何将两个线性函数拟合到一组数据点？

Question

我有一组数据点，看起来有点像一条线，在开始附近有一条曲线。请看下面的图像，它显示了具有最佳拟合线的点（拟合到整个数据集）。

相反，它们可以用两个线性函数来描述（一条线穿过最左边的一组点，另一条线穿过其余的数据点）。这些点实际上对应的是中子衰变，它包含两种不同的同位素。

我不知道哪个点对应哪个同位素，所以我需要以某种方式做出最好的猜测。一种同位素的曲线将是一条直线，另一种同位素的曲线将是一条不同的直线。我如何将两条不同的最佳拟合线（线性）拟合到数据点集，以便对两者的拟合都是优化的？

我的一个想法是选择一个“截断点”，例如在t=100(x轴）处，并将左边的点与一条线相匹配，将右边的点与另一条线相匹配。然后，我可以计算两条线的chi^2，以便得到合适的“好”。然后，我可以用稍微不同的截止点重复做同样的事情很多次，直到我找到一对给出最佳整体匹配的线。

另一个似乎更受关注的想法是将这些数据点描述为两条线的组合，y=m1*t+m2*t+b1+b2，其中ms是斜率，bs是y截取。然后，取总曲线的导数，得到dy/dt=m1+m2。然后，我也许可以循环不同的“截断点”，并拟合到行，直到得到一个导数最接近m1+m2的组合。但我不确定如何做到这一点，因为我最初不是处理一条曲线，而是一堆离散的数据点。

在Python中对两个合适的对象进行优化的最佳方法是什么？

Answer 1

这可以解释为一个结合线性回归的时间序列分割问题。有多种方法来解决这个问题。其中一个是您已经提到的：手动选择的数据分段点，另一个是试图最小化错误。

首先，我尝试重新创建数据：

import numpy as np; import matplotlib.pyplot as plt
y1 = np.linspace(5.5, 3.7, num=100)
y1 = y1 + np.random.rand(y1.shape[0]) * np.linspace(0, .3, num=y1.shape[0])
y2 = np.linspace(3.7, 1.1, num=500)
y2 = y2 + np.random.rand(y2.shape[0]) * np.linspace(0.3, 1.9, num=y2.shape[0])
y = np.append(y1, y2)
x = np.array(range(len(y)))

然后，我使用numpy.linalg.lstsq进行两次线性拟合，它本身是基于最小二乘法的：

x1 = x[:100]
y1 = y[:100]
A1 = np.vstack([x1, np.ones(len(x1))]).T
m1, c1 = np.linalg.lstsq(A1, y1, rcond=None)[0]

x2 = x[100:]
y2 = y[100:]
A2 = np.vstack([x2, np.ones(len(x2))]).T
m2, c2 = np.linalg.lstsq(A2, y2, rcond=None)[0]

绘制如下图：

plt.scatter(x, y)
plt.plot(x1, m1 * x1 + c1, 'r')
plt.plot(x2, m2 * x2 + c2, 'r')
plt.show()

您现在可以使用像SWAB这样的自动分割算法来替换[100:]和[:100]切片，但是如果您能够手动决定在哪一点分割数据，我建议您不要这样做。如果您正在寻找实现，请查看提供的链接。