SKlearn SGD部分拟合

Question

我在这里做错了什么？我有一个很大的数据集，我想使用SCIKIT-Learn的SGDClassifier对其进行部分拟合

我做以下工作

from sklearn.linear_model import SGDClassifier
import pandas as pd

chunksize = 5
clf2 = SGDClassifier(loss='log', penalty="l2")

for train_df in pd.read_csv("train.csv", chunksize=chunksize, iterator=True):
    X = train_df[features_columns]
    Y = train_df["clicked"]
    clf2.partial_fit(X, Y)

我得到了错误

回溯（最近的调用为last）：文件“/predict.py”，第48行，在sys.exit中（0 if main（）else 1）文件“/predict.py”，第44行，在main predict（）文件“/predict.py”，第38行，在predict CLF2.partial_fit(X,Y）文件“/users/anaconda/lib/python3.5/site-packages/sklearn/linear_model/stochastic_gradient.py”，第512行，在partial_fit coef_init=none,49，在_partial_fit_check_partial_fit_first_call（self,classes）文件“/users/anaconda/lib/python3.5/site-packages/sklearn/utils/multiclass.py”第297行，在_check_partial_fit_first_call中，在_check_partial_fit_first_call中引发ValueError（“classs必须在第一次调用上传递”ValueError：classes必须在第一次调用时传递给partial_fit。

Answer 1

请注意，分类器在开始时不知道类的数量，因此在第一次传递时，需要使用np.unique（target）来告诉类的数量，其中target是class列。因为您正在以块的形式读取数据，所以您需要确保您的第一个块具有类标签的所有可能值，所以它可以工作！因此，您的代码将是：

for train_df in pd.read_csv("train.csv", chunksize=chunksize, iterator=True):
   X = train_df[features_columns]
   Y = train_df["clicked"]
   clf2.partial_fit(X, Y, classes=np.unique(Y))