pytorch构建多模型实例
南门茂才
本文向大家介绍pytorch构建多模型实例，包括了pytorch构建多模型实例的使用技巧和注意事项，需要的朋友参考一下
pytorch构建双模型
第一部分：构建"se_resnet152","DPN92()"双模型
import numpy as np
from functools import partial
import torch
from torch import nn
import torch.nn.functional as F
from torch.optim import SGD,Adam
from torch.autograd import Variable
from torch.utils.data import Dataset, DataLoader
from torch.optim.optimizer import Optimizer
import torchvision
from torchvision import models
import pretrainedmodels
from pretrainedmodels.models import *
from torch import nn
from torchvision import transforms as T
import random
random.seed(2050)
np.random.seed(2050)
torch.manual_seed(2050)
torch.cuda.manual_seed_all(2050)
class FCViewer(nn.Module):
def forward(self, x):
return x.view(x.size(0), -1)
'''Dual Path Networks in PyTorch.'''
class Bottleneck(nn.Module):
def __init__(self, last_planes, in_planes, out_planes, dense_depth, stride, first_layer):
super(Bottleneck, self).__init__()
self.out_planes = out_planes
self.dense_depth = dense_depth
self.conv1 = nn.Conv2d(last_planes, in_planes, kernel_size=1, bias=False)
self.bn1 = nn.BatchNorm2d(in_planes)
self.conv2 = nn.Conv2d(in_planes, in_planes, kernel_size=3, stride=stride, padding=1, groups=32, bias=False)
self.bn2 = nn.BatchNorm2d(in_planes)
self.conv3 = nn.Conv2d(in_planes, out_planes+dense_depth, kernel_size=1, bias=False)
self.bn3 = nn.BatchNorm2d(out_planes+dense_depth)
self.shortcut = nn.Sequential()
if first_layer:
self.shortcut = nn.Sequential(
nn.Conv2d(last_planes, out_planes+dense_depth, kernel_size=1, stride=stride, bias=False),
nn.BatchNorm2d(out_planes+dense_depth)
)
def forward(self, x):
out = F.relu(self.bn1(self.conv1(x)))
out = F.relu(self.bn2(self.conv2(out)))
out = self.bn3(self.conv3(out))
x = self.shortcut(x)
d = self.out_planes
out = torch.cat([x[:,:d,:,:]+out[:,:d,:,:], x[:,d:,:,:], out[:,d:,:,:]], 1)
out = F.relu(out)
return out
class DPN(nn.Module):
def __init__(self, cfg):
super(DPN, self).__init__()
in_planes, out_planes = cfg['in_planes'], cfg['out_planes']
num_blocks, dense_depth = cfg['num_blocks'], cfg['dense_depth']
self.conv1 = nn.Conv2d(7, 64, kernel_size=3, stride=1, padding=1, bias=False)
self.bn1 = nn.BatchNorm2d(64)
self.last_planes = 64
self.layer1 = self._make_layer(in_planes[0], out_planes[0], num_blocks[0], dense_depth[0], stride=1)
self.layer2 = self._make_layer(in_planes[1], out_planes[1], num_blocks[1], dense_depth[1], stride=2)
self.layer3 = self._make_layer(in_planes[2], out_planes[2], num_blocks[2], dense_depth[2], stride=2)
self.layer4 = self._make_layer(in_planes[3], out_planes[3], num_blocks[3], dense_depth[3], stride=2)
self.linear = nn.Linear(out_planes[3]+(num_blocks[3]+1)*dense_depth[3], 64)
self.bn2 = nn.BatchNorm1d(64)
def _make_layer(self, in_planes, out_planes, num_blocks, dense_depth, stride):
strides = [stride] + [1]*(num_blocks-1)
layers = []
for i,stride in enumerate(strides):
layers.append(Bottleneck(self.last_planes, in_planes, out_planes, dense_depth, stride, i==0))
self.last_planes = out_planes + (i+2) * dense_depth
return nn.Sequential(*layers)
def forward(self, x):
out = F.relu(self.bn1(self.conv1(x)))
out = self.layer1(out)
out = self.layer2(out)
out = self.layer3(out)
out = self.layer4(out)
out = F.avg_pool2d(out, 4)
out = out.view(out.size(0), -1)
out = self.linear(out)
out= F.relu(self.bn2(out))
return out
def DPN26():
cfg = {
'in_planes': (96,192,384,768),
'out_planes': (256,512,1024,2048),
'num_blocks': (2,2,2,2),
'dense_depth': (16,32,24,128)
}
return DPN(cfg)
def DPN92():
cfg = {
'in_planes': (96,192,384,768),
'out_planes': (256,512,1024,2048),
'num_blocks': (3,4,20,3),
'dense_depth': (16,32,24,128)
}
return DPN(cfg)
class MultiModalNet(nn.Module):
def __init__(self, backbone1, backbone2, drop, pretrained=True):
super().__init__()
if pretrained:
img_model = pretrainedmodels.__dict__[backbone1](num_classes=1000, pretrained='imagenet') #seresnext101
else:
img_model = pretrainedmodels.__dict__[backbone1](num_classes=1000, pretrained=None)
self.visit_model=DPN26()
self.img_encoder = list(img_model.children())[:-2]
self.img_encoder.append(nn.AdaptiveAvgPool2d(1))
self.img_encoder = nn.Sequential(*self.img_encoder)
if drop > 0:
self.img_fc = nn.Sequential(FCViewer(),
nn.Dropout(drop),
nn.Linear(img_model.last_linear.in_features, 512),
nn.BatchNorm1d(512))
else:
self.img_fc = nn.Sequential(
FCViewer(),
nn.BatchNorm1d(img_model.last_linear.in_features),
nn.Linear(img_model.last_linear.in_features, 512))
self.bn=nn.BatchNorm1d(576)
self.cls = nn.Linear(576,9)
def forward(self, x_img,x_vis):
x_img = self.img_encoder(x_img)
x_img = self.img_fc(x_img)
x_vis=self.visit_model(x_vis)
x_cat = torch.cat((x_img,x_vis),1)
x_cat = F.relu(self.bn(x_cat))
x_cat = self.cls(x_cat)
return x_cat
test_x = Variable(torch.zeros(64, 7,26,24))
test_x1 = Variable(torch.zeros(64, 3,224,224))
model=MultiModalNet("se_resnet152","DPN92()",0.1)
out=model(test_x1,test_x)
print(model._modules.keys())
print(model)
print(out.shape)
第二部分构建densenet201单模型
#encoding:utf-8
import torchvision.models as models
import torch
import pretrainedmodels
from torch import nn
from torch.autograd import Variable
#model = models.resnet18(pretrained=True)
#print(model)
#print(model._modules.keys())
#feature = torch.nn.Sequential(*list(model.children())[:-2])#模型的结构
#print(feature)
'''
class FCViewer(nn.Module):
def forward(self, x):
return x.view(x.size(0), -1)
class M(nn.Module):
def __init__(self, backbone1, drop, pretrained=True):
super(M,self).__init__()
if pretrained:
img_model = pretrainedmodels.__dict__[backbone1](num_classes=1000, pretrained='imagenet')
else:
img_model = pretrainedmodels.__dict__[backbone1](num_classes=1000, pretrained=None)
self.img_encoder = list(img_model.children())[:-1]
self.img_encoder.append(nn.AdaptiveAvgPool2d(1))
self.img_encoder = nn.Sequential(*self.img_encoder)
if drop > 0:
self.img_fc = nn.Sequential(FCViewer(),
nn.Dropout(drop),
nn.Linear(img_model.last_linear.in_features, 236))
else:
self.img_fc = nn.Sequential(
FCViewer(),
nn.Linear(img_model.last_linear.in_features, 236)
)
self.cls = nn.Linear(236,9)
def forward(self, x_img):
x_img = self.img_encoder(x_img)
x_img = self.img_fc(x_img)
return x_img
model1=M('densenet201',0,pretrained=True)
print(model1)
print(model1._modules.keys())
feature = torch.nn.Sequential(*list(model1.children())[:-2])#模型的结构
feature1 = torch.nn.Sequential(*list(model1.children())[:])
#print(feature)
#print(feature1)
test_x = Variable(torch.zeros(1, 3, 100, 100))
out=feature(test_x)
print(out.shape)
'''
'''
import torch.nn.functional as F
class LenetNet(nn.Module):
def __init__(self):
super(LenetNet, self).__init__()
self.conv1 = nn.Conv2d(7, 6, 5)
self.conv2 = nn.Conv2d(6, 16, 5)
self.fc1 = nn.Linear(144, 120)
self.fc2 = nn.Linear(120, 84)
self.fc3 = nn.Linear(84, 10)
def forward(self, x):
x = F.max_pool2d(F.relu(self.conv1(x)), (2, 2))
x = F.max_pool2d(F.relu(self.conv2(x)), 2)
x = x.view(x.size()[0], -1)
x = F.relu(self.fc1(x))
x = F.relu(self.fc2(x))
x = self.fc3(x)
return x
model1=LenetNet()
#print(model1)
#print(model1._modules.keys())
feature = torch.nn.Sequential(*list(model1.children())[:-3])#模型的结构
#feature1 = torch.nn.Sequential(*list(model1.children())[:])
print(feature)
#print(feature1)
test_x = Variable(torch.zeros(1, 7, 27, 24))
out=model1(test_x)
print(out.shape)
class FCViewer(nn.Module):
def forward(self, x):
return x.view(x.size(0), -1)
class M(nn.Module):
def __init__(self):
super(M,self).__init__()
img_model =model1
self.img_encoder = list(img_model.children())[:-3]
self.img_encoder.append(nn.AdaptiveAvgPool2d(1))
self.img_encoder = nn.Sequential(*self.img_encoder)
self.img_fc = nn.Sequential(FCViewer(),
nn.Linear(16, 236))
self.cls = nn.Linear(236,9)
def forward(self, x_img):
x_img = self.img_encoder(x_img)
x_img = self.img_fc(x_img)
return x_img
model2=M()
test_x = Variable(torch.zeros(1, 7, 27, 24))
out=model2(test_x)
print(out.shape)
'''
以上这篇pytorch构建多模型实例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持小牛知识库。
类似资料：
-
本文向大家介绍PyTorch搭建多项式回归模型（三），包括了PyTorch搭建多项式回归模型（三）的使用技巧和注意事项，需要的朋友参考一下 PyTorch基础入门三：PyTorch搭建多项式回归模型 1）理论简介 对于一般的线性回归模型，由于该函数拟合出来的是一条直线，所以精度欠佳，我们可以考虑多项式回归来拟合更多的模型。所谓多项式回归，其本质也是线性回归。也就是说，我们采取的方法是，提高每个属
-
本文向大家介绍pytorch构建网络模型的4种方法，包括了pytorch构建网络模型的4种方法的使用技巧和注意事项，需要的朋友参考一下 利用pytorch来构建网络模型有很多种方法，以下简单列出其中的四种。 假设构建一个网络模型如下： 卷积层--》Relu层--》池化层--》全连接层--》Relu层--》全连接层 首先导入几种方法用到的包： 第一种方法 这种方法比较常用，早期的教程通常就是使用这种
-
本文向大家介绍pytorch 求网络模型参数实例，包括了pytorch 求网络模型参数实例的使用技巧和注意事项，需要的朋友参考一下 用pytorch训练一个神经网络时，我们通常会很关心模型的参数总量。下面分别介绍来两种方法求模型参数 一 .求得每一层的模型参数，然后自然的可以计算出总的参数。 1.先初始化一个网络模型model 比如我这里是 model=cliqueNet(里面是些初始化的参数）
-
问题内容： 例如，如果我的数据库中有以下表格，并且“学生和课程”具有多对多关系。 现在，如果我的模型如下 和 所以我的问题是，如果我仅创建这两个bean，我会遇到什么样的问题？我将面对什么样的问题以及在哪种情况下？并请为这么多对多的关系指定正确的bean结构。 问题答案： 您会遇到什么问题： 您将无法看到“学生-课程”关联 您将无法从课程导航到该课程的学生（反之亦然） 如果学生/课程表中有学生/课
-
主要内容：一次函数,构建线性模型本节讲解如何构建线性回归算法中的“线性模型”，所谓“线性”其实就是一条“直线”。因此，本节开篇首先普及一下初中的数学知识“一次函数”。 一次函数 一次函数就是最简单的“线性模型”，其直线方程表达式为 ，其中 k 表示 斜率，b 表示 截距，x 为 自变量，y 表示 因变量。下面展示了 y = 2x + 3 的函数图像： 图1：函数图像y=2x+3 函数中斜率 k 与 截距 b 控制着“直线”的“旋
-
本文向大家介绍PyTorch搭建一维线性回归模型（二），包括了PyTorch搭建一维线性回归模型（二）的使用技巧和注意事项，需要的朋友参考一下 PyTorch基础入门二：PyTorch搭建一维线性回归模型 1）一维线性回归模型的理论基础 给定数据集，线性回归希望能够优化出一个好的函数，使得能够和尽可能接近。 如何才能学习到参数和呢？很简单，只需要确定如何衡量与之间的差别，我们一般通过损失函数（Lo