对象在运行较大的数据集时没有属性拆分

Question

当我在较大的数据集上运行代码时，我得到这个错误。

在1.4m问题数据集上运行代码。使用split函数会产生错误。

def build_vocab(sentences, verbose=True):

    vocab = {}

    for sentence in tqdm(sentences):
        for word in sentence:
            try:
                vocab[word] += 1
            except KeyError:
                vocab[word] = 1

    return vocab    
sentences = train_df["question_text"].progress_apply(lambda x: x.split()).values
vocab = build_vocab(sentences)

应用中的~\Documents\anaconda3\lib\site packages\pandas\core\series.py（self、func、convert\u dtype、args、**kwds）3589
else:3590 values=self.astype（html" target="_blank">object）.values-

熊猫/_libs/lib.pyx_libs.lib.map_infer（）

包装器（*args，**kwargs）671中的~\Documents\anaconda3\lib\site packages\tqdm_tqdm.py采用快速或慢速代码路径；因此，当t.total==t.n672t.update（如果不是t.total或t.n，则n=1）时停止

在（x）1112b中返回---

AttributeError:“float”对象没有属性“split”

30%|██▉ | 310851/1048575[00:20

Answer 1

将x转换为字符串，然后使用拆分。您的数据集可能在某个地方有浮动值，这就是异常的原因。