计算熊猫数据框中的不同单词

Question

我有一个Pandas数据框，其中一列包含文本。我想获得一列出现在整列中的唯一单词的列表（空格是唯一的拆分）。

import pandas as pd

r1=['My nickname is ft.jgt','Someone is going to my place']

df=pd.DataFrame(r1,columns=['text'])

输出应如下所示：

['my','nickname','is','ft.jgt','someone','going','to','place']

获得计数也没有什么坏处，但这不是必需的。

Answer 1

使用set来创建唯一元素的序列。

进行一些清理df以使小写字母的字符串分解：

df['text'].str.lower().str.split()
Out[43]: 
0             [my, nickname, is, ft.jgt]
1    [someone, is, going, to, my, place]

该列中的每个列表都可以传递给set.update函数以获取唯一值。使用apply这样做：

results = set()
df['text'].str.lower().str.split().apply(results.update)
print(results)

set(['someone', 'ft.jgt', 'my', 'is', 'to', 'going', 'place', 'nickname'])

或与Counter()from注释一起使用：

from collections import Counter
results = Counter()
df['text'].str.lower().str.split().apply(results.update)
print(results)