在pandas中执行nltk.stem.SnowballStemmer

Question

我有一个四列DataFrame，其中有两列标记化的单词，这些单词已经删除并转换为小写，现在正试图阻止。

我不确定如果应用（）方法访问系列加上它的单个单元格，或者如果我需要另一种方式进入每个记录，所以尝试了两者（我想！）

从nltk.stem导入SnowballStemmer
stemmer=nltk.stem.SnowballStemmer（'english'）

df_2['Headline']=df_2['Headline'].应用（lambda x:stemmer.stem（项目）用于x中的项目）

--------------------------------------------------------------------------- TypeError Traceback（最近的调用最后）在 () ----

~\AppData\Local\Continuum\anaconda3\envs\learn env\lib\site packages\pandas\core\series.py in apply（self，func，convert\u dtype，args，**kwds）3192
else:3193 values=self.astype（object）.values-

熊猫/_libs/src\inference.pyx_libs.lib.map_infer（）

类型错误：生成器对象不可调用

我相信这个TypeError类似于那个说“列表”对象不可调用的对象，并修复了那个带有应用（）方法的对象。

df_2['Headline']=df_2['Headline'].apply（lambda x:stemmer.stem（x））

---------------------------------------------------------------------------（）----

~\AppData\Local\Continuum\anaconda3\envs\learn env\lib\site packages\pandas\core\series.py in apply（self，func，convert\u dtype，args，**kwds）3192
else:3193 values=self.astype（object）.values-

熊猫/_libs/src\inference.pyx_libs.lib.map_infer（）

在（x）----

stem（self，word）1415 1416中的~\AppData\Local\Continuum\anaconda3\envs\learn env\lib\site packages\nltk\stem\snowball.py-

列表对象没有属性

Answer 1

您需要为应用程序指定轴。

下面是一个完整的工作示例：

import pandas as pd

df = pd.DataFrame({
    'col_1' : [['ducks'], ['dogs']],
    'col_2' : [['he', 'eats', 'apples'], ['she', 'has', 'cats', 'dogs']],
    'col_3' : ['some data 1', 'some data 2'],
    'col_4' : ['another data 1', 'another data 2']
})
df.head()

输出

    col_1   col_2                   col_3       col_4
0   [ducks] [he, eats, apples]      some data 1 another data 1
1   [dogs]  [she, has, cats, dogs]  some data 2 another data 2

现在，让我们为标记化列应用词干：

import nltk
from nltk.stem import SnowballStemmer
stemmer = nltk.stem.SnowballStemmer('english')

df.col_1 = df.apply(lambda row: [stemmer.stem(item) for item in row.col_1], axis=1)
df.col_2 = df.apply(lambda row: [stemmer.stem(item) for item in row.col_2], axis=1)

检查数据帧的新内容。

df.head()

输出

    col_1   col_2                   col_3       col_4
0   [duck]  [he, eat, appl]         some data 1 another data 1
1   [dog]   [she, has, cat, dog]    some data 2 another data 2