用于复杂文本分类的CNN超参数微调

Question

我正在研究一个用于复杂文本分类（主要是电子邮件和消息）的CNN模型。数据集包含大约100k分布在10个不同类上的条目。我的实际Keras顺序模型有以下结构：

model = Sequential(
        [
            Embedding(
                input_dim=10000,
                output_dim=150,
                input_length=400),
            Convolution1D(
                filters=128,
                kernel_size=4,
                padding='same',
                activation='relu'),
                BatchNormalization(),
            MaxPooling1D(),
            Flatten(),
            Dropout(0.4),
            Dense(
                100,
                activation='relu'),
            Dropout(0.4),
            Dense(
                len(y_train[0]),
                activation='softmax')])

在编译模型时，我使用Nadam优化器，将LabelSmoothing设置为0.2的分类交叉熵损失。

在模型拟合中，我使用了30个时代，批量大小设置为512。我还使用EarlyStoping来监控val_损失和耐心设置为8个时期。测试大小设置为数据集的25%。

实际上，训练在16/18纪元后停止，值在6/7纪元后开始波动，然后继续，直到被早期停止停止。这些值平均如下：

损失： 1.1673-精度： 0.9674-val_loss： 1.2464-val_accuracy： 0.8964

测试精度达到：

损失： 1.2461-精度： 0.8951

现在我想提高我的CNN的准确性，我尝试了不同的超参数，但就目前而言，我无法获得更高的值。因此，我试图弄清楚：

1. 如果还有改进的余地（我打赌是这样）
2. 如果解决方案是在微调我的超参数，如果是，我应该改变哪些？
3. 如果通过向模型中添加层来更深入地研究是否有任何用处，如果有的话，如何改进我的模型
4. 有没有其他深度学习/神经网络方法，而不是CNN，可以导致更好的结果？

非常感谢任何愿意帮忙的人！：）

Answer 1

有很多库，但我觉得这一个非常灵活。https://github.com/keras-team/keras-tuner

只需用pip安装。

您的更新模型，请随意选择搜索范围。

from tensorflow import keras
from tensorflow.keras import layers
from kerastuner.tuners import RandomSearch


def build_model(hp):
    model = keras.Sequential()
    model.add(layers.Embedding(input_dim=hp.Int('input_dim',
                                        min_value=5000,
                                        max_value=10000,
                                        step = 1000),
                              output_dim=hp.Int('output_dim',
                                        min_value=200,
                                        max_value=800,
                                        step = 100),
                              input_length = 400))
    model.add(layers.Convolution1D(
                filters=hp.Int('filters',
                                        min_value=32,
                                        max_value=512,
                                        step = 32),
                kernel_size=hp.Int('kernel_size',
                                        min_value=3,
                                        max_value=11,
                                        step = 2),
                padding='same',
                activation='relu')),
    model.add(layers.BatchNormalization())
    model.add(layers.MaxPooling1D())
    model.add(layers.Flatten())
    model.add(layers.Dropout(0.4))
    model.add(layers.Dense(units=hp.Int('units',
                                        min_value=64,
                                        max_value=256,
                                        step=32),
                           activation='relu'))
    model.add(layers.Dropout(0.4))
    model.add(layers.Dense(y_train[0], activation='softmax'))
    model.compile(
    optimizer=keras.optimizers.Adam(
        hp.Choice('learning_rate',
                  values=[1e-2, 1e-3, 1e-4])),
    loss='categorical_crossentropy',
    metrics=['accuracy'])
    return model


tuner = RandomSearch(
    build_model,
    objective='val_accuracy',
    max_trials=5,
    executions_per_trial=3,
    directory='my_dir',
    project_name='helloworld')
tuner.search_space_summary()

## The following lines are based on your model


tuner.search(x, y,
             epochs=5,
             validation_data=(val_x, val_y))

models = tuner.get_best_models(num_models=2)

您可以尝试用LSTM层替换Conv1D层，并观察是否获得更好的性能。

LSTM（单位=512）https://keras.io/layers/recurrent/

如果你想提取更多有意义的特征，我发现有希望的一种方法是提取预先训练的BERT特征，然后使用CNN/LSTM进行训练。

这是一个很好的入门知识库-https://github.com/UKPLab/sentence-transformers

一旦你从BERT/XLNet获得了句子嵌入，你就可以使用这些功能来训练另一个类似于你正在使用的CNN，除了可能摆脱嵌入层，因为它很昂贵。