pytorch线性方法中的多维输入？

Question

在建立一个简单的感知器神经网络时，我们通常将输入格式为(batch_size，features)的二维矩阵传递给一个二维权重矩阵，类似于这个简单的神经网络的numpy。我总是假设一个神经网络的感知器/密集/线性层只接受一个2D格式的输入并输出另一个2D输出。但是最近我遇到了这个pytorch模型，其中一个线性层接受一个3D输入张量并输出另一个3D张量(O1=self.a1(x))。

import torch
import torch.nn as nn
import torch.nn.functional as F
import torch.optim as optim

class Net(nn.Module):
    def __init__(self):
        super().__init__()
        self.a1 = nn.Linear(4,4)
        self.a2 = nn.Linear(4,4)
        self.a3 = nn.Linear(9,1)
    def forward(self,x):
        o1 = self.a1(x)
        o2 = self.a2(x).transpose(1,2)
        output = torch.bmm(o1,o2)
        output = output.view(len(x),9)
        output = self.a3(output)
        return output

x = torch.randn(10,3,4)
y = torch.ones(10,1)

net = Net()

criterion = nn.MSELoss()
optimizer = optim.Adam(net.parameters())

for i in range(10):
    net.zero_grad()
    output = net(x)
    loss = criterion(output,y)
    loss.backward()
    optimizer.step()
    print(loss.item())

这些就是我的问题,

1. 上述神经网络是否有效？这就是模型是否能够正确地训练？
2. 即使在传递3D输入x=torch.randn(10,3,4)之后，为什么pytorchnn.linear没有显示任何错误并给出3D输出？

Answer 1

新版本的PyTorch允许nn.linear接受N-D输入张量，唯一的限制是输入张量的最后一个维度将等于线性层的in_features。然后在张量的最后一个维度上应用线性变换。
例如，如果in_features=5和out_features=10并且输入张量x具有2-3-5维度，那么输出张量将具有2-3-10维度。