使用sklearn的KFold分离熊猫数据帧
我已经用下面的代码获得了训练集和测试集的索引。
df = pandas.read_pickle(filepath + filename)
kf = KFold(n_splits = n_splits, shuffle = shuffle, random_state =
randomState)
result = next(kf.split(df), None)
#train can be accessed with result[0]
#test can be accessed with result[1]
我想知道是否有更快的方法可以使用我检索到的行索引将它们分别分成两个数据帧。
共有1个答案
您需要DataFrame。iloc用于按位置选择行：
样本：
np.random.seed(100)
df = pd.DataFrame(np.random.random((10,5)), columns=list('ABCDE'))
df.index = df.index * 10
print (df)
A B C D E
0 0.543405 0.278369 0.424518 0.844776 0.004719
10 0.121569 0.670749 0.825853 0.136707 0.575093
20 0.891322 0.209202 0.185328 0.108377 0.219697
30 0.978624 0.811683 0.171941 0.816225 0.274074
40 0.431704 0.940030 0.817649 0.336112 0.175410
50 0.372832 0.005689 0.252426 0.795663 0.015255
60 0.598843 0.603805 0.105148 0.381943 0.036476
70 0.890412 0.980921 0.059942 0.890546 0.576901
80 0.742480 0.630184 0.581842 0.020439 0.210027
90 0.544685 0.769115 0.250695 0.285896 0.852395
from sklearn.model_selection import KFold
#added some parameters
kf = KFold(n_splits = 5, shuffle = True, random_state = 2)
result = next(kf.split(df), None)
print (result)
(array([0, 2, 3, 5, 6, 7, 8, 9]), array([1, 4]))
train = df.iloc[result[0]]
test = df.iloc[result[1]]
print (train)
A B C D E
0 0.543405 0.278369 0.424518 0.844776 0.004719
20 0.891322 0.209202 0.185328 0.108377 0.219697
30 0.978624 0.811683 0.171941 0.816225 0.274074
50 0.372832 0.005689 0.252426 0.795663 0.015255
60 0.598843 0.603805 0.105148 0.381943 0.036476
70 0.890412 0.980921 0.059942 0.890546 0.576901
80 0.742480 0.630184 0.581842 0.020439 0.210027
90 0.544685 0.769115 0.250695 0.285896 0.852395
print (test)
A B C D E
10 0.121569 0.670749 0.825853 0.136707 0.575093
40 0.431704 0.940030 0.817649 0.336112 0.175410
-
我有一个数据框，其中一列文本字符串包含逗号分隔的值。我想分割每个CSV字段，并为每个条目创建一个新行（假设CSV是干净的，只需要在“，”上分割）。例如，应该变成： 到目前为止，我已经尝试了各种简单的函数，但是方法在轴上使用时似乎只接受一行作为返回值，并且我无法让工作。任何建议都将不胜感激！ 示例数据： 我知道这是行不通的，因为我们失去了DataFrame元数据通过通过Numpy，但它应该给你一个感
-
在学习熊猫的过程中，我已经尝试了好几个月来找出这个问题的答案。我在日常工作中使用SAS，这是非常好的，因为它提供了非核心支持。然而，SAS作为一个软件是可怕的，原因还有很多。 有一天，我希望用python和pandas取代SAS的使用，但我目前缺乏大型数据集的核心外工作流。我说的不是需要分布式网络的“大数据”，而是文件太大而无法放入内存，但又太小而无法装入硬盘。 我的第一个想法是使用将大型数据集保
-
问题内容： 我正在加载一个包含浮点和字符串数据混合的txt文件。我想将它们存储在可以访问每个元素的数组中。现在我正在做 这是输入文件的结构：。 现在，数据将作为唯一列导入。我如何划分它，以便分别存储不同的元素（所以我可以调用）？以及如何定义标题？ 问题答案： 您可以使用： 添加您的代码，在引号之间留一个空格。因此，熊猫可以检测值之间的空格并按列排序。数据列用于命名您的列。
-
问题内容： 我有一个熊猫系列，目前看起来像这样： 我想从根本上将其重塑成一个看起来像这样的数据框… 即。逻辑构造，指出每个观察（行）属于哪个类别。 我能够编写基于循环的代码来解决该问题，但是鉴于我需要处理的行数众多，这将非常缓慢。 有谁知道针对这种问题的矢量化解决方案？我将不胜感激。 编辑：有509个类别，我确实有一个清单。 问题答案：
-
我有这个熊猫数据框 这就给了我： 我该怎么办 做一个新的人物， 将标题添加到图"标题这里" 以某种方式创建一个映射，这样标签不是29,30等，而是“29周”，“30周”等。 将图表的较大版本保存到我的计算机（例如10 x 10英寸） 这件事我已经琢磨了一个小时了！
-
假设熊猫数据帧如下所示： 如何将第三行（如row3）提取为pd数据帧？换句话说，row3.shape应该是（1,5），row3.head（）应该是：