使SVM在python中运行更快

Question

在python中为svm使用以下 代码 ：

from sklearn import datasets
from sklearn.multiclass import OneVsRestClassifier
from sklearn.svm import SVC
iris = datasets.load_iris()
X, y = iris.data, iris.target
clf = OneVsRestClassifier(SVC(kernel='linear', probability=True, class_weight='auto'))
clf.fit(X, y)
proba = clf.predict_proba(X)

但是，这需要大量时间。

实际数据尺寸 ：

train-set (1422392,29)
test-set (233081,29)

如何加快速度（并行或其他方式）？请帮忙。我已经尝试过PCA和下采样。

我有6节课。编辑：找到http://scikit-
learn.org/stable/modules/generation/sklearn.linear_model.SGDClassifier.html，

但我希望获得概率估计，而svm似乎并非如此。

编辑：

from sklearn import datasets
from sklearn.multiclass import OneVsRestClassifier
from sklearn.svm import SVC,LinearSVC
from sklearn.linear_model import SGDClassifier
import joblib
import numpy as np
from sklearn import grid_search
import multiprocessing
import numpy as np
import math

def new_func(a):                              #converts array(x) elements to (1/(1 + e(-x)))
    a=1/(1 + math.exp(-a))
    return a

if __name__ == '__main__':
    iris = datasets.load_iris()
    cores=multiprocessing.cpu_count()-2
    X, y = iris.data, iris.target                       #loading dataset

    C_range = 10.0 ** np.arange(-4, 4);                  #c value range 
    param_grid = dict(estimator__C=C_range.tolist())

    svr = OneVsRestClassifier(LinearSVC(class_weight='auto'),n_jobs=cores) ################LinearSVC Code faster        
    #svr = OneVsRestClassifier(SVC(kernel='linear', probability=True,  ##################SVC code slow
    #   class_weight='auto'),n_jobs=cores)

    clf = grid_search.GridSearchCV(svr, param_grid,n_jobs=cores,verbose=2)  #grid search
    clf.fit(X, y)                                                   #training svm model

    decisions=clf.decision_function(X)                             #outputs decision functions
    #prob=clf.predict_proba(X)                                     #only for SVC outputs probablilites
    print decisions[:5,:]
    vecfunc = np.vectorize(new_func)
    prob=vecfunc(decisions)                                        #converts deicision to (1/(1 + e(-x)))
    print prob[:5,:]

编辑2：用户 3914041的答案得出的概率估计非常差。

Answer 1

如果要尽可能坚持使用SVC并在完整数据集上进行训练，则可以使用对数据子集进行训练的SVC集成来减少每个分类器的记录数量（这显然对复杂性具有二次影响）。Scikit支持使用BaggingClassifier包装器。与单个分类器相比，这应该为您提供类似（如果不是更好）的准确性，并且训练时间要少得多。还可以使用n_jobs参数将单个分类器的训练设置为并行运行。

或者，我也将考虑使用随机森林分类器-本机支持多类分类，它min_samples_leaf设置得很快，并且在适当设置时给出了很好的概率估计。

我对10个SVC的集合进行了100次爆炸，虹膜数据集进行了快速测试，每个训练了10％的数据。它比单个分类器快10倍以上。这些是我在笔记本电脑上得到的数字：

单次SVC：45秒

集成SVC：3秒

随机森林分类器：0.5秒

参见下面我用来产生数字的代码：

import time
import numpy as np
from sklearn.ensemble import BaggingClassifier, RandomForestClassifier
from sklearn import datasets
from sklearn.multiclass import OneVsRestClassifier
from sklearn.svm import SVC

iris = datasets.load_iris()
X, y = iris.data, iris.target

X = np.repeat(X, 100, axis=0)
y = np.repeat(y, 100, axis=0)
start = time.time()
clf = OneVsRestClassifier(SVC(kernel='linear', probability=True, class_weight='auto'))
clf.fit(X, y)
end = time.time()
print "Single SVC", end - start, clf.score(X,y)
proba = clf.predict_proba(X)

n_estimators = 10
start = time.time()
clf = OneVsRestClassifier(BaggingClassifier(SVC(kernel='linear', probability=True, class_weight='auto'), max_samples=1.0 / n_estimators, n_estimators=n_estimators))
clf.fit(X, y)
end = time.time()
print "Bagging SVC", end - start, clf.score(X,y)
proba = clf.predict_proba(X)

start = time.time()
clf = RandomForestClassifier(min_samples_leaf=20)
clf.fit(X, y)
end = time.time()
print "Random Forest", end - start, clf.score(X,y)
proba = clf.predict_proba(X)

如果要确保在中对每个记录仅进行一次训练BaggingClassifier，可以将bootstrap参数设置为False。