无法将pyspark数据帧加载到决策树算法。它说不能使用pyspark数据帧

Question

我在IBM的数据平台上工作。我能够将数据加载到pyspark数据框架中，并创建了一个spark SQL表。分割数据集后，将其输入分类算法。它会出现诸如spark SQL数据无法加载之类的错误。规定的日期。

from sklearn.ensemble import RandomForestRegressor`
from sklearn.model_selection import train_test_split`
from sklearn import preprocessing`
import numpy as np`

X_train,y_train,X_test,y_test = train_test_split(x,y,test_size = 0.1,random_state = 42)
RM = RandomForestRegressor()
RM.fit(X_train.reshape(1,-1),y_train)`

错误：

TypeError:预期的序列或类似数组，已获取{

在这个错误之后，我做了这样的事情：

x = spark.sql('select Id,YearBuilt,MoSold,YrSold,Fireplaces FROM Train').toPandas()
y = spark.sql('Select SalePrice FROM Train where SalePrice is not null').toPandas()

错误：

属性错误回溯（最近一次调用最后一次）在（）5 X_序列，y_序列，X_测试，y_测试=序列测试分割（X，y，测试大小=0.1，随机状态=42）6 RM=随机森林回归器（）----

Answer 1

正如skLearning留档所说：

"""
    X : array-like or sparse matrix, shape = [n_samples, n_features]
"""
regr = RandomForestRegressor()
regr.fit(X, y)

首先你要给X参数一个pandas。数据帧而不是数组。

其次，整形（）方法不是DataFrame对象的属性，而是numpy数组。

import numpy as np
x = np.array([[2,3,4], [5,6,7]]) 
np.reshape(x, (3, -1))

希望这有帮助。