使用nn.Identity进行残差学习的想法是什么？
没有（几乎没有，见文章的结尾），nn.Identity所做的就是转发给它的输入（基本上是no-op）。
如PyTorch repo issue中所示，您在评论中链接了这个想法，由于其他用途，这个想法首先被拒绝，后来合并到PyTorch中（参见理由in this PR）。这个理由**与ResNet块本身无关，参见答案的结尾。

ResNet实现

我能想到的最通用的投影版本是沿着这些行的东西：

class Residual(torch.nn.Module):
    def __init__(self, module: torch.nn.Module, projection: torch.nn.Module = None):
        super().__init__()
        self.module = module
        self.projection = projection

    def forward(self, inputs):
        output = self.module(inputs)
        if self.projection is not None:
            inputs = self.projection(inputs)
        return output + inputs

字符串
你可以将两个堆叠卷积作为module传递，并添加1x1卷积（带填充或步幅或其他东西）作为投影模块。
对于tabular数据，您可以将其用作module（假设您的输入具有50功能）：

torch.nn.Sequential(
    torch.nn.Linear(50, 50),
    torch.nn.ReLU(),
    torch.nn.Linear(50, 50),
    torch.nn.ReLU(),
    torch.nn.Linear(50, 50),
)

型
基本上，你所要做的就是将input添加到某个模块的输出中，就是这样。

nn.Identity原理

构造神经网络（并在之后阅读它们）可能更容易，例如批处理范数（取自上述PR）：

batch_norm = nn.BatchNorm2d
if dont_use_batch_norm:
    batch_norm = Identity

型
现在您可以轻松地将其与nn.Sequential一起使用：

nn.Sequential(
    ...
    batch_norm(N, momentum=0.05),
    ...
)

型
当打印网络时，它总是有相同数量的子模块（使用BatchNorm或Identity），这也使整个事情变得更流畅。
这里提到的另一个用例可能是删除现有神经网络的一部分：

net = tv.models.alexnet(pretrained=True)
# Assume net has two parts
# features and classifier
net.classifier = Identity()

型
现在，您可以运行net(input)，而不是运行net.features(input)，这可能也更容易让其他人阅读。

nn.Identity（）的一个很好的用法是在jit脚本编写过程中。在非常模块化的模型中，脚本将搜索每个if语句，并向前检查所有路径，即使在初始化过程中，if语句设置为false。

class MyModule(nn.Module):
    def __init__(self, extra=false):
        self.conv = nn.conv2d(3,3)
        self.extra = extra
        if extra:
            self.extra_layer = nn.Conv2d(3, 3)
    def forward(self, x):
        x = self.conv(x)
        if self.extra:
            x = self.extra_layer(x)
        return x

字符串
此模块不能编写脚本，但您可以执行以下操作

class MyModule(nn.Module):
    def __init__(self, extra=false):
        self.conv = nn.conv2d(3,3)
        self.extra = extra
        
        self.extra_layer = nn.Conv2d(3, 3) if extra else nn.Identity()
    def forward(self, x):
        x = self.conv(x)
        if self.extra:
            x = self.extra_layer(x)
        return x

型