有没有一种内置函数的简单方法可以自动重新训练keras NLP模型？

Question

我有一个使用keras使用keras.preprocessing.text.Tokenizer构建的自然语言处理模型。我知道我可以通过在导入旧模型后调用它的. fit（...）来重新训练旧模型，但我也需要更新我的标记器。标记器做一些事情：通过空格标记字符串，消除符号，转换为较低值，在创建字典后只保留最常用的标记，散列标记并在句子太短时附加0。

Ex：

tokenizer = Tokenizer(num_words=vocab_size)

tokenizer.fit_on_texts(df_train['message'][0:100].values)

x_train = tokenizer.texts_to_sequences(df_train['message'][0:100].values)

x_train = pad_sequences(x_train, padding='post', maxlen=maxlen)

这个过程需要能够将序列输入nlp网络。当我尝试自动重新训练时，问题就出现了。每次我再培训时，标记器都必须更新。如果我尝试添加新文本，标记器类使用的字典中的所有值（表示单词的编码）都会发生变化。

Ex：

如果我像这样更新：tokenizer.fit_on_texts（df_train['消息'][100:200]. value），

然后是

x_train=tokenizer。文本到序列（df_train['message'][0:100]。值）

将为句子输出不同的编码。我需要同样的编码。官方文件中说，“def fit_on_text（self，text）”方法“根据文本列表更新内部词汇表”。它会更新，但也会更改键的所有旧值，旧值或新值。

有没有一种官方方法可以保留单词的旧值，并仅为新单词生成新值？

Answer 1

因此，根据Tokenizer的来源，所有单词都存储在Tokenizer类中。具体而言：

self.word_counts = OrderedDict()
self.word_docs = defaultdict(int)

因此，如果您想删除以前出现在输入字符串中的单词，可以通过在新输入中查找不在单词计数交叉点的任何项目来删除它们。按键（）。

然而，还有一个问题：

当您运行.fit_on_texts时，它需要一个文本列表或一个字符串。根据您的操作方式，您可能还会增加文档计数器。如果这是有意的，那么您不需要在这里做任何事情。否则，您至少需要处理递减的self.document_count。

（您可能还需要操纵：

self.word_index
self.index_word

如果您不喜欢文件计数器移动）