在统计模型中捕获高多重共线性

Question

说我在statsmodels中拟合模型

mod = smf.ols('dependent ~ first_category + second_category + other', data=df).fit()

当我这样做时mod.summary()，可能会看到以下内容：

Warnings:
[1] The condition number is large, 1.59e+05. This might indicate that there are
strong multicollinearity or other numerical problems.

有时警告是不同的（例如，基于设计矩阵的特征值）。如何捕获变量中的 高多重共线性 条件？该警告是否存储在模型对象中的某个位置？

另外，在哪里可以找到有关这些字段的描述summary()？

Answer 1

可以通过检查检测的高多重共线性 特征值 的 相关矩阵 。极低的特征值表明数据是共线的，相应的 特征向量 表明哪些变量是共线的。

如果数据中不存在共线性，则可以预期所有特征值都不接近零：

>>> xs = np.random.randn(100, 5)      # independent variables
>>> corr = np.corrcoef(xs, rowvar=0)  # correlation matrix
>>> w, v = np.linalg.eig(corr)        # eigen values & eigen vectors
>>> w
array([ 1.256 ,  1.1937,  0.7273,  0.9516,  0.8714])

但是，如果说x[4] - 2 * x[0] - 3 * x[2] = 0，那么

>>> noise = np.random.randn(100)                      # white noise
>>> xs[:,4] = 2 * xs[:,0] + 3 * xs[:,2] + .5 * noise  # collinearity
>>> corr = np.corrcoef(xs, rowvar=0)
>>> w, v = np.linalg.eig(corr)
>>> w
array([ 0.0083,  1.9569,  1.1687,  0.8681,  0.9981])

特征值之一（这里是第一个）接近零。对应的特征向量为：

>>> v[:,0]
array([-0.4077,  0.0059, -0.5886,  0.0018,  0.6981])

基本上忽略了 几乎为零的
系数，上面基本上说x[0]，x[2]并且x[4]是共线性的（如预期的那样）。如果一个标准化xs值并乘以该特征向量，则结果将在零附近徘徊，并且变化很小：

>>> std_xs = (xs - xs.mean(axis=0)) / xs.std(axis=0)  # standardized values
>>> ys = std_xs.dot(v[:,0])
>>> ys.mean(), ys.var()
(0, 0.0083)

注意，ys.var()基本上本征值接近于零。

因此，为了捕获高多线性度，请查看相关矩阵的特征值。