删除数据框x%中出现的单词

Question

我有一个有数千行的pd数据帧。每一行都包含一列标记为text\u processed的包含文本的列。这些文本可能很长，每行/文本数百个单词。现在我想消除95%行中出现的单词。我所做的是将所有文本连接到一个大字符串中，并标记该字符串。我现在有了所有课文中所有单词的词汇表。现在我想得到每个单词所在的行数。一种简单（且缓慢）的方法是循环每个单词，比较该单词是否存在于列中，并对结果求和以获得该单词所在的行数。这可以在这里看到：

wordcountPerRow = []
for word in all_words:
    if word in [':', '•', 'and', '%', '\\', '|', '-', 'no', 'of', ')', '(', '[', ']', '--', '/', '*', ';', '`', '``', '\'\'', '+']:
        continue
    try:
        wordcountPerRow.append([word, df_note['text_processed'].str.contains(r''+word).sum()])
    except:
        print(word)

一旦我有了所有的总和，我就做len（df）*0.95，看看一个单词的行数

与此类似：删除Python语料库中出现超过x%的单词

Answer 1

看起来您可以使用稍微扭曲的计数矢量器。扭曲之处在于，因为countvectorizer计算每个文档的出现次数，所以我们可以简单地应用布尔掩码（count_vector

from sklearn.feature_extraction.text import CountVectorizer
cv = CountVectorizer(df_note['text_processed'].tolist())#,max_df=0.8, min_df=0.1)#this eliminates words in top 0.8
count_vector=cv.fit_transform(df_note['text_processed'].tolist())

#number of documents a word occurs in
word_document_count = pd.DataFrame(np.array(np.sum(count_vector > 0, axis=0)).transpose() \
                                   , index=cv.get_feature_names(), columns=['Document Count'])

top_perc_num = len(df_note)*0.8
bottom_perc_num = len(df_note)*0.2
word_document_count_trunc = word_document_count[(word_document_count['Document Count'] < top_perc_num) & (word_document_count['Document Count'] > bottom_perc_num)]

我相信这是一种更快完成任务的方法。我唯一的抱怨是，这些数字似乎与最初的方法略有出入。我尝试了一个可重复的小例子，但结果是相同的。

这适用于vocab中的200k个单词和90k行

Answer 2

你试过pd吗。str（）？？？

我们不知道你的字符串看起来怎么样，但是因为它的df，我可以假设你可以“切片”应用这个函数的字符串。

您想保留左起的前10个字母，您可以使用：

left = df['Your column'].str[:10]

您希望保留右侧的前10个字母，您可以使用：

right = df['Your column'].str[-10:]

举个例子，可以作为解决问题的良好开端