四、深层对比
前言
随着深度学习的不断发展，从开山之作到VGG，网络结构不断优化，但是在VGG网络研究过程中，人们发现随着网络深度的不断提高，准确率却没有得到提高，如图所示：
人们觉得深度学习到此就停止了，不能继续研究了，但是经过一段时间的发展，残差网络（）解决了这一问题 。
一、
如图所示：简单来说就是保留之前的特征，有时候当图片经过卷积进行特征提取，得到的结果反而没有之前的很好，所以提出保留之前的特征，
这里还需要经过一些处理，在下面代码讲解中将详细介绍 。
二、网络结构
本文将主要介绍
三、 1.导包
import torchimport torchvision.transforms as transimport torchvision as tvimport torch.nn as nnfrom torch.autograd import Variablefrom torch.utils import datafrom torch.optim import lr_scheduler
2.残差模块
这个模块完成的功能如图所示：
class tiao(nn.Module):def __init__(self,shuru,shuchu):super(tiao, self).__init__()self.conv1=nn.Conv2d(in_channels=shuru,out_channels=shuchu,kernel_size=(3,3),padding=(1,1))self.bath=nn.BatchNorm2d(shuchu)self.relu=nn.ReLU()def forward(self,x):x1=self.conv1(x)x2=self.bath(x1)x3=self.relu(x2)x4=self.conv1(x3)x5=self.bath(x4)x6=self.relu(x5)x7=x6+xreturn x7
2.通道数翻倍残差模块
模块完成功能如图所示：

文章插图
在这个模块中，要注意原始图像的通道数要进行翻倍，要不然后面是不能进行相加 。
class tiao2(nn.Module):def __init__(self,shuru):super(tiao2, self).__init__()self.conv1=nn.Conv2d(in_channels=shuru,out_channels=shuru*2,kernel_size=(3,3),stride=(2,2),padding=(1,1))self.conv11=nn.Conv2d(in_channels=shuru,out_channels=shuru*2,kernel_size=(1,1),stride=(2,2))self.batch=nn.BatchNorm2d(shuru*2)self.relu=nn.ReLU()self.conv2=nn.Conv2d(in_channels=shuru*2,out_channels=shuru*2,kernel_size=(3,3),stride=(1,1),padding=(1,1))def forward(self,x):x1=self.conv1(x)x2=self.batch(x1)x3=self.relu(x2)x4=self.conv2(x3)x5=self.batch(x4)x6=self.relu(x5)x11=self.conv11(x)x7=x11+x6return x7
3.模块
class resnet18(nn.Module):def __init__(self):super(resnet18, self).__init__()self.conv1=nn.Conv2d(in_channels=3,out_channels=64,kernel_size=(7,7),stride=(2,2),padding=(3,3))self.bath=nn.BatchNorm2d(64)self.relu=nn.ReLU()self.max=nn.MaxPool2d(2,2)self.tiao1=tiao(64,64)self.tiao2=tiao(64,64)self.tiao3=tiao2(64)self.tiao4=tiao(128,128)self.tiao5=tiao2(128)self.tiao6=tiao(256,256)self.tiao7=tiao2(256)self.tiao8=tiao(512,512)self.a=nn.AdaptiveAvgPool2d(output_size=(1,1))self.l=nn.Linear(512,10)def forward(self,x):x1=self.conv1(x)x2=self.bath(x1)x3=self.relu(x2)x4=self.tiao1(x3)x5=self.tiao2(x4)x6=self.tiao3(x5)x7=self.tiao4(x6)x8=self.tiao5(x7)x9=self.tiao6(x8)x10=self.tiao7(x9)x11=self.tiao8(x10)x12=self.a(x11)x13=x12.view(x12.size()[0],-1)x14=self.l(x13)return x14
这个网络简单来说16层卷积，1层全连接，训练参数相对较少，模型相对来说比较简单 。
4.数据测试
model=resnet18().cuda()input=torch.randn(1,3,64,64).cuda()output=model(input)print(output)
5.损失函数，优化器
损失函数
loss=nn.CrossEntropyLoss()
在优化器中，将学习率进行每10步自动衰减
opt=torch.optim.SGD(model.parameters(),lr=0.001,momentum=0.9)exp_lr=lr_scheduler.StepLR(opt,step_size=10,gamma=0.1)

• 上一页
• 1
• 2
• 下一页

• 五 CNN经典网络模型：ResNet简介及代码实现（PyTorch超详细注释版
• 深度学习_经典网络_ResNet详解及常见问题总结
• 三 深度学习笔记:神经网络之九种激活函数Sigmoid、tanh、ReLU、R
• 干货：10个超经典JavaIDE插件，建议收藏！
• 八 花书读书笔记-卷积网络
• 花书-卷积神经网络
• 大话东游
• 复古装修
• 佳能s3is
• 今年的韩剧排行榜,经典韩剧排行榜