以安全正确的方式使用RandomForestClassifier的predict_proba（）函数

Question

我正在使用Scikit-learn在数据集上应用机器学习算法。有时我需要具有标签/类的概率，而不是标签/类本身的概率。我不希望将垃圾邮件/非垃圾邮件作为电子邮件的标签，而仅希望举例说明：给定电子邮件为垃圾邮件的概率为0.78。

为此，我使用predict_proba()RandomForestClassifier如下：

clf = RandomForestClassifier(n_estimators=10, max_depth=None,
    min_samples_split=1, random_state=0)
scores = cross_val_score(clf, X, y)
print(scores.mean())

classifier = clf.fit(X,y)
predictions = classifier.predict_proba(Xtest)
print(predictions)

我得到了那些结果：

 [ 0.4  0.6]
 [ 0.1  0.9]
 [ 0.2  0.8]
 [ 0.7  0.3]
 [ 0.3  0.7]
 [ 0.3  0.7]
 [ 0.7  0.3]
 [ 0.4  0.6]

第二列用于分类：垃圾邮件。但是，我对结果有两个主要问题，对此我不确定。第一个问题是结果代表标签的概率，而不受我的数据大小的影响吗？第二个问题是结果仅显示一位数字，在某些情况下0.701的概率与0.708的差异非常大。例如，是否可以获取下一个5位数字？

Answer 1

1. 结果中得到的位数不止一个，您确定不是由于您的数据集引起的吗？（例如，使用非常小的数据集将产生简单的决策树，从而产生“简单”的概率）。否则，它可能只能是显示一位数字的显示屏，而是尝试打印predictions[0,0]。

2. 我不确定您的意思是“概率不受数据大小的影响”。如果您担心自己不想预测垃圾邮件，例如太多垃圾邮件，通常要做的是使用一个阈值t，使您预测1 if proba(label==1) > t。这样，您可以使用阈值来平衡预测，例如限制垃圾邮件的全球概率。如果你想在全球范围内分析模型，我们通常计算面积受试者工作特征（ROC）曲线的曲线（AUC）下（参见维基百科的文章在这里）。基本上，ROC曲线是根据阈值对您的预测的描述t。

希望能帮助到你！