使用Keras近似光滑多维函数，误差为1e-4

Question

我试图用Keras来近似一个函数，它将五个输入平滑地映射到一个概率，但似乎已经达到了极限。这里也提出了类似的问题（Keras回归到近似函数（目标：损失）

模型=顺序（）

添加（密集（128，输入_形=（5），激活=（tanh'））

model.add（密集（64，激活='tanh'））

model.add（密集型（1，激活='sigmoid'））

compile（优化器='adam'，loss='mae'）

给了我最好的结果，当批量大小为1000时，验证数据的最佳损失约为7e-4。添加或删除更多的神经元或层似乎会降低准确性。辍学正则化也会降低准确性。我目前正在使用1e7训练样本，生成该样本需要两天时间（因此希望近似此函数）。我想把mae再降低一个数量级，有人有什么建议吗？

Answer 1

我建议使用利用keras回调减少LROnPlateau，留档是[这里][1]和ModelCheckpoint，留档是[这里。][2].对于第一种情况，将其设置为监控验证损失，如果损失在固定数量（耐心）的连续纪元后未能减少，则将学习率降低一个因子（因子）。对于第二种情况，还监控验证损失，并将验证损失最低的模型的权重保存到目录中。训练后加载权重，并使用它们在测试集上进行评估或预测。我的代码实现如下所示。

checkpoint=tf.keras.callbacks.ModelCheckpoint(filepath=save_loc, monitor='val_loss', verbose=1, save_best_only=True,
        save_weights_only=True, mode='auto', save_freq='epoch', options=None)
lr_adjust=tf.keras.callbacks.ReduceLROnPlateau( monitor="val_loss", factor=0.5, patience=1, verbose=1, mode="auto",
        min_delta=0.00001,  cooldown=0,  min_lr=0)
callbacks=[checkpoint, lr_adjust]
history = model.fit_generator( train_generator, epochs=EPOCHS,
          steps_per_epoch=STEPS_PER_EPOCH,validation_data=validation_generator,
          validation_steps=VALIDATION_STEPS, callbacks=callbacks)
model.load_weights(save_loc) # load the saved weights
# after this use the model to evaluate or predict on the test set.
# if you are satisfied with the results you can then save the entire model with
model.save(save_loc)


  [1]: https://keras.io/api/callbacks/reduce_lr_on_plateau/
  [2]: https://keras.io/api/callbacks/model_checkpoint/