利用Hyperopt调整神经网络参数：如何转储试验

Question

best = fmin(fn = objective, 
            space = space, 
            algo = tpe.suggest, # or rand.suggest for random params selection 
            max_evals = max_trials, 
            trials = trials) #, rstate = np.random.RandomState(50)
pickle.dump(trials, open("neuro.hyperopt", "wb"))

而且，它会在我的本地驱动器上加载一个10GB大小的文件。也就是说，它不仅保存了试验对象，而且保存了整个模型。您能否帮助我保存较小大小的试验对象（例如，XGBoost试验文件的大小为1MB)，并避免错误。

谢谢你。

Answer 1

在我的案例中，这是因为存储在试验中的模型是不可腌制的。我尝试保存tf.keras.optimizers.adam(learning_rate=0.001)对象。当我添加字符串'Adam'时，错误消失了。

当然，这会产生另一个问题：如何设置优化器的学习速率。但似乎更容易。一种方法是在保存之前用trials.trials对象中的字符串替换keras对象：

for trial in trials.trials:
    if 'result' in trials.keys():
        trials['result'].pop('model', None) # https://stackoverflow.com/questions/15411107/delete-a-dictionary-item-if-the-key-exists
# proceed with pickling
pickle.dump(trials, open("trials.pkl","wb"))

（我从这里拿的）