应用自定义

Question

我在这里一直在遵循类似的答案，但是在使用sk学和滚动应用时，我有一些问题。我试图创建z分数和做PCA滚动应用，但我继续得到'只有长度1数组可以转换为Python标量的错误。

按照前面的示例，我创建了一个数据帧

from sklearn.preprocessing import StandardScaler
import pandas as pd
import numpy as np
sc=StandardScaler() 
tmp=pd.DataFrame(np.random.randn(2000,2)/10000,index=pd.date_range('2001-01-01',periods=2000),columns=['A','B'])

如果我使用滚动命令：

 tmp.rolling(window=5,center=False).apply(lambda x: sc.fit_transform(x))
 TypeError: only length-1 arrays can be converted to Python scalars

我得到这个错误。但是，我可以创建具有均值和标准差的函数，没有问题。

def test(df):
    return np.mean(df)
tmp.rolling(window=5,center=False).apply(lambda x: test(x))

我相信当我试图用z分数的当前值减去平均值时，会出现错误。

def test2(df):
    return df-np.mean(df)
tmp.rolling(window=5,center=False).apply(lambda x: test2(x))
only length-1 arrays can be converted to Python scalars

我如何创建自定义滚动函数与skLearning首先标准化，然后运行PCA？

编辑：我意识到我的问题不太清楚，所以我再试一次。我想标准化我的值，然后运行PCA来获得每个因素解释的方差量。在不滚动的情况下这样做是相当简单的。

testing=sc.fit_transform(tmp)
pca=decomposition.pca.PCA() #run pca
pca.fit(testing) 
pca.explained_variance_ratio_
array([ 0.50967441,  0.49032559])

我不能在滚动时使用相同的步骤。使用@piRSquared中的滚动zscore函数可以得到zscore。sklearn的PCA似乎与滚动应用自定义函数不兼容。（事实上，我认为大多数sklearn模块都是如此。）我只是想得到解释过的方差，它是一个一维项，但是下面的代码返回了一堆NaN。

def test3(df):
    pca.fit(df)
    return pca.explained_variance_ratio_
tmp.rolling(window=5,center=False).apply(lambda x: test3(x))

但是，我可以创建自己的解释方差函数，但这也不起作用。

def test4(df):
    cov_mat=np.cov(df.T) #need covariance of features, not observations
    eigen_vals,eigen_vecs=np.linalg.eig(cov_mat)
    tot=sum(eigen_vals)
    var_exp=[(i/tot) for i in sorted(eigen_vals,reverse=True)]
    return var_exp
tmp.rolling(window=5,center=False).apply(lambda x: test4(x))

我得到了这个错误0维数组。数组必须至少是二维的。

总结一下，我想运行滚动的z分数，然后滚动pca输出每个滚动的解释方差。我有滚动的z分数，但没有解释方差。

Answer 1

由于lambda函数中的x表示（滚动）系列/ndarray，lambda函数可以这样编码（其中x[-1]指当前滚动数据点）：

zscore = lambda x: (x[-1] - x.mean()) / x.std(ddof=1)

然后就可以打电话了：

tmp.rolling(5).apply(zscore)

还注意到tmp中的自由度默认为1。滚动（5）。std（）为了生成与@piRSquared相同的结果，必须为x.std（）指定ddof，其默认值为0--花了很长时间才弄明白！

Answer 2

正如@BrenBarn所评论的，滚动函数需要将向量减少为单个数字。以下内容相当于您试图做的事情，请帮助我们突出问题所在。

zscore = lambda x: (x - x.mean()) / x.std()
tmp.rolling(5).apply(zscore)

TypeError: only length-1 arrays can be converted to Python scalars

在zscore函数中，x.mean（）减少，x.std（）减少，但x是一个数组。因此，整个东西就是一个数组。

解决此问题的方法是对z分数计算中需要滚动的部分执行滚动，而不是对导致问题的部分执行滚动。

(tmp - tmp.rolling(5).mean()) / tmp.rolling(5).std()