Keras功能API中的高级激活层

Question

使用Keras设置神经网络时，您可以使用序列模型或功能API。我的理解是前者易于设置和管理，并且作为层的线性堆栈运行，并且功能方法对于更复杂的架构很有用，特别是那些涉及共享内部层输出的架构。我个人喜欢使用功能API来实现多功能性，但是，我对LeakyReLU等高级激活层有困难。当使用标准激活时，在顺序模型中可以写：

model = Sequential()
model.add(Dense(32, activation='relu', input_dim=100))
model.add(Dense(10, activation='softmax'))
model.compile(optimizer='rmsprop',
          loss='categorical_crossentropy',
          metrics=['accuracy'])

类似地，在函数API中，可以将上述内容编写为：

inpt = Input(shape = (100,))
dense_1 = Dense(32, activation ='relu')(inpt)
out = Dense(10, activation ='softmax')(dense_2)
model = Model(inpt,out)
model.compile(optimizer='rmsprop',
          loss='categorical_crossentropy',
          metrics=['accuracy'])

然而，当使用LeakyReLU和PReLU之类的高级激活时，在该顺序模型中，我们将它们作为单独的层来编写。例如：

model = Sequential()
model.add(Dense(32, input_dim=100))
model.add(LeakyReLU(alpha=0.1))
model.add(Dense(10, activation='softmax'))
model.compile(optimizer='rmsprop',
          loss='categorical_crossentropy',
          metrics=['accuracy'])

现在，我假设有人在函数API方法中做了等效的工作：

inpt = Input(shape = (100,))
dense_1 = Dense(32)(inpt)
LR = LeakyReLU(alpha=0.1)(dense_1)
out = Dense(10, activation ='softmax')(LR)
model = Model(inpt,out)
model.compile(optimizer='rmsprop',
          loss='categorical_crossentropy',
          metrics=['accuracy'])

我的问题是：

1. 函数式方法中的语法是否正确
2. 为什么Keras需要一个新的层来实现这些高级激活功能，而不允许我们仅仅替换relu
3. 为激活功能创建一个新的层，而不是将其分配给现有的层定义（如我们编写的第一个示例中的“relu”）有什么根本不同的地方吗？我意识到您总是可以将激活功能（包括标准功能）编写为新的层，尽管我读到应该避免这样做

Answer 1

>

LR=LeakyReLU（α=0.1）（密集型1）

通常高级激活具有可调或可学习的参数，这些参数必须存储在某个地方，它们作为层更有意义，因为您可以访问和保存这些参数。