洗牌数据帧行

Question

我有以下数据帧：

    Col1  Col2  Col3  Type
0      1     2     3     1
1      4     5     6     1
...
20     7     8     9     2
21    10    11    12     2
...
45    13    14    15     3
46    16    17    18     3
...

数据帧是从csv文件中读取的。所有类型为Type1的行都位于顶部，后面是类型为Type2的行，后面是类型为Type3的行，以此类推。

我想改变数据帧行的顺序，这样所有的类型都是混合的。一个可能的结果可能是：

    Col1  Col2  Col3  Type
0      7     8     9     2
1     13    14    15     3
...
20     1     2     3     1
21    10    11    12     2
...
45     4     5     6     1
46    16    17    18     3
...

我怎样才能做到这一点？

Answer 1

通过使用无序索引进行索引，可以无序排列数据帧的行。为此，您可以使用np.random.permutation（但是np.random.choice也是一种可能性）：

In [12]: df = pd.read_csv(StringIO(s), sep="\s+")

In [13]: df
Out[13]: 
    Col1  Col2  Col3  Type
0      1     2     3     1
1      4     5     6     1
20     7     8     9     2
21    10    11    12     2
45    13    14    15     3
46    16    17    18     3

In [14]: df.iloc[np.random.permutation(len(df))]
Out[14]: 
    Col1  Col2  Col3  Type
46    16    17    18     3
45    13    14    15     3
20     7     8     9     2
0      1     2     3     1
1      4     5     6     1
21    10    11    12     2

如果您想将索引编号保持在1、2、…、n之间（如示例中所示），只需重置索引：df\u shuffled.reset\u index（drop=True）

Answer 2

您可以简单地使用sklearn进行此操作

from sklearn.utils import shuffle
df = shuffle(df)

Answer 3

使用Pandas进行此操作的惯用方法是使用dataframe的.sample方法对所有行进行采样，而不进行替换：

df.sample(frac=1)

frac关键字参数指定随机样本中要返回的行的分数，因此frac=1意味着返回所有行（以随机顺序）。

注意：如果您希望将数据帧就地洗牌并重置索引，您可以执行例如：

df = df.sample(frac=1).reset_index(drop=True)

在这里，指定drop=True可以防止.reset_index创建包含旧索引条目的列。

后续注意：虽然上面的操作看起来并不到位，但python/熊猫足够聪明，不会为洗牌对象做另一个malloc。也就是说，即使引用对象已经改变（我的意思是id（df_old）与id（df_new）不一样），底层的C对象仍然是相同的。为了证明确实如此，您可以运行一个简单的内存分析器：

$ python3 -m memory_profiler .\test.py
Filename: .\test.py

Line #    Mem usage    Increment   Line Contents
================================================
     5     68.5 MiB     68.5 MiB   @profile
     6                             def shuffle():
     7    847.8 MiB    779.3 MiB       df = pd.DataFrame(np.random.randn(100, 1000000))
     8    847.9 MiB      0.1 MiB       df = df.sample(frac=1).reset_index(drop=True)