本文实例讲述了Python实现的特征提取操作。分享给大家供大家参考,具体如下:
# -*- coding: utf-8 -*- """ Created on Mon Aug 21 10:57:29 2017 @author: 飘的心 """ #过滤式特征选择 #根据方差进行选择,方差越小,代表该属性识别能力很差,可以剔除 from sklearn.feature_selection import VarianceThreshold x=[[100,1,2,3], [100,4,5,6], [100,7,8,9], [101,11,12,13]] selector=VarianceThreshold(1) #方差阈值值, selector.fit(x) selector.variances_ #展现属性的方差 selector.transform(x)#进行特征选择 selector.get_support(True) #选择结果后,特征之前的索引 selector.inverse_transform(selector.transform(x)) #将特征选择后的结果还原成原始数据 #被剔除掉的数据,显示为0 #单变量特征选择 from sklearn.feature_selection import SelectKBest,f_classif x=[[1,2,3,4,5], [5,4,3,2,1], [3,3,3,3,3], [1,1,1,1,1]] y=[0,1,0,1] selector=SelectKBest(score_func=f_classif,k=3)#选择3个特征,指标使用的是方差分析F值 selector.fit(x,y) selector.scores_ #每一个特征的得分 selector.pvalues_ selector.get_support(True) #如果为true,则返回被选出的特征下标,如果选择False,则 #返回的是一个布尔值组成的数组,该数组只是那些特征被选择 selector.transform(x) #包裹时特征选择 from sklearn.feature_selection import RFE from sklearn.svm import LinearSVC #选择svm作为评定算法 from sklearn.datasets import load_iris #加载数据集 iris=load_iris() x=iris.data y=iris.target estimator=LinearSVC() selector=RFE(estimator=estimator,n_features_to_select=2) #选择2个特征 selector.fit(x,y) selector.n_features_ #给出被选出的特征的数量 selector.support_ #给出了被选择特征的mask selector.ranking_ #特征排名,被选出特征的排名为1 #注意:特征提取对于预测性能的提升没有必然的联系,接下来进行比较; from sklearn.feature_selection import RFE from sklearn.svm import LinearSVC from sklearn import cross_validation from sklearn.datasets import load_iris #加载数据 iris=load_iris() X=iris.data y=iris.target #特征提取 estimator=LinearSVC() selector=RFE(estimator=estimator,n_features_to_select=2) X_t=selector.fit_transform(X,y) #切分测试集与验证集 x_train,x_test,y_train,y_test=cross_validation.train_test_split(X,y, test_size=0.25,random_state=0,stratify=y) x_train_t,x_test_t,y_train_t,y_test_t=cross_validation.train_test_split(X_t,y, test_size=0.25,random_state=0,stratify=y) clf=LinearSVC() clf_t=LinearSVC() clf.fit(x_train,y_train) clf_t.fit(x_train_t,y_train_t) print('origin dataset test score:',clf.score(x_test,y_test)) #origin dataset test score: 0.973684210526 print('selected Dataset:test score:',clf_t.score(x_test_t,y_test_t)) #selected Dataset:test score: 0.947368421053 import numpy as np from sklearn.feature_selection import RFECV from sklearn.svm import LinearSVC from sklearn.datasets import load_iris iris=load_iris() x=iris.data y=iris.target estimator=LinearSVC() selector=RFECV(estimator=estimator,cv=3) selector.fit(x,y) selector.n_features_ selector.support_ selector.ranking_ selector.grid_scores_ #嵌入式特征选择 import numpy as np from sklearn.feature_selection import SelectFromModel from sklearn.svm import LinearSVC from sklearn.datasets import load_digits digits=load_digits() x=digits.data y=digits.target estimator=LinearSVC(penalty='l1',dual=False) selector=SelectFromModel(estimator=estimator,threshold='mean') selector.fit(x,y) selector.transform(x) selector.threshold_ selector.get_support(indices=True) #scikitlearn提供了Pipeline来讲多个学习器组成流水线,通常流水线的形式为:将数据标准化, #--》特征提取的学习器————》执行预测的学习器,除了最后一个学习器之后, #前面的所有学习器必须提供transform方法,该方法用于数据转化(如归一化、正则化、 #以及特征提取 #学习器流水线(pipeline) from sklearn.svm import LinearSVC from sklearn.datasets import load_digits from sklearn import cross_validation from sklearn.linear_model import LogisticRegression from sklearn.pipeline import Pipeline def test_Pipeline(data): x_train,x_test,y_train,y_test=data steps=[('linear_svm',LinearSVC(C=1,penalty='l1',dual=False)), ('logisticregression',LogisticRegression(C=1))] pipeline=Pipeline(steps) pipeline.fit(x_train,y_train) print('named steps',pipeline.named_steps) print('pipeline score',pipeline.score(x_test,y_test)) if __name__=='__main__': data=load_digits() x=data.data y=data.target test_Pipeline(cross_validation.train_test_split(x,y,test_size=0.25, random_state=0,stratify=y))
更多关于Python相关内容感兴趣的读者可查看本站专题:《Python数据结构与算法教程》、《Python编码操作技巧总结》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》及《Python入门与进阶经典教程》
希望本文所述对大家Python程序设计有所帮助。
Spark特征提取(Extracting)的3种算法(TF-IDF、Word2Vec以及CountVectorizer)结合Demo进行一下理解 TF-IDF算法介绍: 词频-逆向文件频率(TF-IDF)是一种在文本挖掘中广泛使用的特征向量化方法,它可以体现一个文档中词语在语料库中的重要程度。 词语由t表示,文档由d表示,语料库由D表示。词频TF(t,,d)是词语t在文档d中出现的次数。文件频率D
校验者: @if only 翻译者: @片刻 模块 sklearn.feature_extraction 可用于提取符合机器学习算法支持的特征,比如文本和图片。 Note 特征特征提取与 特征选择 有很大的不同:前者包括将任意数据(如文本或图像)转换为可用于机器学习的数值特征。后者是将这些特征应用到机器学习中。 4.2.1. 从字典类型加载特征 类 DictVectorizer 可用于将标准的Py
卷积神经网络包括主要特征,提取。以下步骤用于实现卷积神经网络的特征提取。 第1步 导入相应的模型以使用“PyTorch”创建特征提取模型。 第2步 创建一类特征提取器,可以在需要时调用。
本文向大家介绍python实现拉普拉斯特征图降维示例,包括了python实现拉普拉斯特征图降维示例的使用技巧和注意事项,需要的朋友参考一下 这种方法假设样本点在光滑的流形上,这一方法的计算数据的低维表达,局部近邻信息被最优的保存。以这种方式,可以得到一个能反映流形的几何结构的解。 步骤一:构建一个图G=(V,E),其中V={vi,i=1,2,3…n}是顶点的集合,E={eij}是连接顶点的vi和v
本文向大家介绍Python pandas对excel的操作实现示例,包括了Python pandas对excel的操作实现示例的使用技巧和注意事项,需要的朋友参考一下 最近经常看到各平台里都有Python的广告,都是对excel的操作,这里明哥收集整理了一下pandas对excel的操作方法和使用过程。本篇介绍 pandas 的 DataFrame 对列 (Column) 的处理方法。示例数据请通
我有一个设计问题,当使用类似的东西时: 我认为应该有一些更好的方法来实现这种参数化的特性。 我在std中没有找到好的示例(例如,在具有类似的关联类型的traits中没有实现)?