在熊猫数据框中规范化列

Question

我有一个熊猫数据框，它有语料库的术语频率，术语为行，年份为列，就像这样：

|       | term    |   2002 |   2003 |   2004 |   2005 |
|------:|:--------|-------:|-------:|-------:|-------:|
|  3708 | climate |      1 |     10 |      1 |     14 |
|  8518 | global  |     12 |     11 |      2 |     12 |
| 13276 | nuclear |     10 |      1 |      0 |      4 |

我希望能够通过将每个单词的值除以给定年份的总单词数来标准化它们——有些年份包含两倍多的文本，所以我试图按年缩放（像谷歌图书一样）。我已经看了如何缩放单个列的例子，克里斯·阿尔邦和我在SO上看到了缩放所有列的例子，但是每次我试图将这个数据框转换为一个数组来缩放时，事情都会窒息列这个词不是数字。（我尝试将术语列设置为索引，但不太顺利。）我可以想象用for循环来实现这一点的方法，但是我读到的几乎每一个干净的熊猫代码的例子都说不要使用循环，因为熊猫有一种完成一切的方法。

我想说的是：

for these columns [the years]:
    divide each row by the sum of all rows

就这样了。

Answer 1

尝试：

In [5]: %paste                                                                                                                                                                                                                                                                       
cols = ['2002', '2003', '2004', '2005']
df[cols] = df[cols] / df[cols].sum()

## -- End pasted text --

In [6]: df                                                                                                                                                                                                                                                                           
Out[6]: 
      term      2002      2003      2004      2005
0  climate  0.043478  0.454545  0.333333  0.466667
1   global  0.521739  0.500000  0.666667  0.400000
2  nuclear  0.434783  0.045455  0.000000  0.133333

Answer 2

试试这个：

import pandas as pd

df = pd.DataFrame(
    columns=['term', '2002', '2003', '2004', '2005'],
    data=[['climate', 1, 10, 1, 14],
          ['global', 12, 11, 2, 12],
          ['nuclear', 10, 1, 0, 4], ])
normalized = df.select_dtypes('int').apply(lambda x: x / sum(x))
df = df.merge(
    right=normalized,
    left_index=True,
    right_index=True,
    suffixes=['', '_norm']
)

退换商品

      term  2002  2003  2004  2005  2002_norm  2003_norm  2004_norm  2005_norm
0  climate     1    10     1    14   0.043478   0.454545   0.333333   0.466667
1   global    12    11     2    12   0.521739   0.500000   0.666667   0.400000
2  nuclear    10     1     0     4   0.434783   0.045455   0.000000   0.133333