我如何从Keras的一个经过培训的模型中获得偏差？

Question

我建立了一个简单的神经网络，

model = Sequential()
model.add(Dense(20, input_dim=5, activation='sigmoid'))
model.add(Dense(1, activation='sigmoid'))

我可以通过以下方式获得其重量：

summary = model.summary()
W_Input_Hidden = model.layers[0].get_weights()[0]
W_Output_Hidden = model.layers[1].get_weights()[0]

print(summary)
print('INPUT-HIDDEN LAYER WEIGHTS:')
print(W_Input_Hidden)
print('HIDDEN-OUTPUT LAYER WEIGHTS:')
print(W_Output_Hidden)

但是，通过这种方式，我只得到了没有偏差的权重矩阵（5x20，1x20）。如何获取偏差值？

Answer 1

可以使用以下代码查看和输出偏差和权重：

for layer in model.layers:
    g=layer.get_config()
    h=layer.get_weights()
    print (g)
    print (h)

如果要从验证数据集中查找权重和偏差，则需要对数据集中的每个向量执行model.predict。

   for i in range(len(valData)):
        ValResults = model.predict(valData[i])
        B_Input_Hidden = model.layers[0].get_weights()[1]
        B_Output_Hidden = model.layers[1].get_weights()[1]

Answer 2

这是一个完整的工作示例（使用TensorFlow 2和Keras实现）。

import tensorflow as tf
import numpy as np


def get_model():
    inp = tf.keras.layers.Input(shape=(1,))
    # Use the parameter bias_initializer='random_uniform'
    # in case you want the initial biases different than zero.
    x = tf.keras.layers.Dense(8)(inp)
    out = tf.keras.layers.Dense(1)(x)
    model = tf.keras.models.Model(inputs=inp, outputs=out)
    return model


def main():
    model = get_model()
    model.compile(loss="mse")

    weights = model.layers[1].get_weights()[0]
    biases = model.layers[1].get_weights()[1]

    print("initial weights =", weights)
    print("initial biases =", biases)

    X = np.random.randint(-10, 11, size=(1000, 1))
    y = np.random.randint(0, 2, size=(1000, 1))

    model.fit(X, y)

    weights = model.layers[1].get_weights()[0]
    biases = model.layers[1].get_weights()[1]

    print("learned weights =", weights)

    # Biases are similar because they are all initialized with zeros (by default).
    print("learned biases =", biases)


if __name__ == '__main__':
    main()

Answer 3

很简单，它只是get_weights（）返回的数组中的第二个元素（对于密集层）：

B_Input_Hidden = model.layers[0].get_weights()[1]
B_Output_Hidden = model.layers[1].get_weights()[1]