对sklearn的使用之数据集的拆分与训练详解(python3.6)
研修课上讲了两个例子，融合一下。
主要演示大致的过程：
导入->拆分->训练->模型报告
以及几个重要问题：
①标签二值化
②网格搜索法调参
③k折交叉验证
④增加噪声特征（之前涉及）
from sklearn import datasets #从cross_validation导入会出现warning，说已弃用 from sklearn.model_selection import train-test_split from sklearn.grid_search import GridSearchCV from sklearn.metrics import classification_report from sklearn.svm import SVC import sklearn.exceptioins #导入鸢尾花数据集 iris = datasets.load_iris() #将数据集拆分为训练集和测试集各一半 #其中X为数据特征（花萼、花瓣的高度宽度），为150*4的矩阵 #Y为鸢尾花种类（0, 1, 2三种），为150*1矩阵 #如果使用标签二值化， 将0, 1, 2表示为100 010 001 #使用y.label_binarize(y, classes[0, 1, 2]),变为150*3矩阵 X_train, X_test, y_train, y_test = train_test_split( iris.data, iris.target, test_size=0.5, random_state=0) #set the parameters by cross_validation turn_parameters = [{'kernel' : ['rbf', 'gamma' : [1e-3, 1e - 4, 'C':[1,10,100,1000]}, {'kernel':['linear'], 'C':[1,10,100,1000]} ] #clf分离器 #使用网格搜索法调超参数 #训练集做5折交叉验证 clf = GridSearchCV(SVC(C=1), turned_parameters, cv=5, scoring='%s_weighted' % score) #用前一半train数据再做5折交叉验证 #因为之前的train_test_split已经分割为2份了 #fit-拟合 clf.fit(X_train, y_train) #超参数 print(clf.best_params_) #得分 for params, mean_score, scores in clf.gird_scores_: print("%.3f (+/-%.0.03f) for %r" % (mean_score, scores.std()*1.96,params)) #分类报告 y_true, y_pred = y_test, clf.predict(X_test) print(classification_report(y_true, y_pred))
以上这篇对sklearn的使用之数据集的拆分与训练详解(python3.6)就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持小牛知识库。
-
问题内容： 我像这样使用scikit-learn的SVM： 我的问题是，当我使用分类器预测训练集成员的班级时，即使在scikit- learns实现中，分类器也可能是错误的。（例如） 问题答案： 是的，可以运行以下代码，例如： 分数是0.61，因此将近40％的训练数据被错误分类。部分原因是，即使默认内核是（理论上也应该能够对任何训练数据集进行完美分类，只要您没有两个带有不同标签的相同训练点），也可
-
问题内容： 我正在尝试运行以下Colab项目，但是当我想将训练数据分为验证和训练部分时，出现此错误： 我使用以下代码： 如何解决此错误？ 问题答案： 根据Tensorflow Dataset docs ，百分比拆分是可能的，例如 如示例所示，更改列表时，您的代码将起作用： 使用上面的代码，有2590个条目，而有1080个。
-
我有文件及其非常大的文件说100MB文件。我想执行NER以提取组织名称。我使用OpenNLP进行了培训。 示例代码： 但是我得到了一个错误：。 有没有办法使用openNLP for NER来训练大型数据集？你能发布示例代码吗？ 当我谷歌时，我发现Class GIS和DataIndexer界面可用于训练大型数据集，但我知道如何训练？你能发布示例代码吗？
-
我刚刚开始使用R，我不确定如何将我的数据集与以下示例代码结合起来： 我有一个数据集，我需要将其放入训练（75%）和测试（25%）集中。我不确定应该将哪些信息放入x和大小？x是数据集文件吗？我有多少样本？
-
问题内容： 因此，我对此有疑问，一直在寻找答案。所以问题是我何时使用 这之后，我将训练和测试模型（，作为特征，如标签），并得到一些准确度得分。现在我的疑问是，当我必须预测新数据集的标签时会发生什么。说， 因为当我规范化列时，和的值将根据新数据而不是将在其上训练模型的数据来更改。因此，现在将是下面的数据准备步骤之后的数据。 的价值和将关于改变和价值。的数据准备是关于的。 有关不同数字的数据准备如何有
-
问题内容： 我需要将数据分为训练集（75％）和测试集（25％）。我目前使用以下代码进行操作： 但是，我想对训练数据集进行分层。我怎么做？我一直在研究该方法，但不允许我指定75％/ 25％的划分，而是仅对训练数据集进行分层。 问题答案： [更新为0.17] 请参阅以下文档： [/更新为0.17] 有一个拉要求在这里。但是，您可以根据需要简单地进行 训练和测试索引的使用。