结合Unet和Transformer的遥感图像语义分割方法

本发明属于遥感图像语义分割，特别是涉及一种结合unet和transformer的遥感图像语义分割方法。

背景技术：

1、图像分割是指将图像分成若干具有相似性质的区域的过程，分割的区域不仅包含分类信息，还包含这些类的空间位置的附加信息。图像语义分割是通过对每个像素进行密集预测来实现的细粒度推理，因此每个像素都需要被标记为相应的类，进而在图像上分成不同的区域。

2、更具体的说，图像语义分割技术是将给定图像中的每个像素都贴上对应的一类所代表的内容的标签，最终达到分割图像的目的。因为要对图像进行逐像素的密集预测，图像语义分割技术相比与传统的图像分割技术更具挑战性，一直是计算机视觉(cv)领域的重要研究方向。

3、近年来，随着深度学习的发展，遥感图像语义分割的效果越来越好，但多类别的精细分割仍然是一个难题。主要是遥感图像由于获取方式等的不同，相比于普通自然图像有更多的特殊性，主要表现在以下三个方面：1.自然图像数据集中包含的目标很少，相反在遥感图像中每幅图像中包含的目标很多，并且目标之间排列密集；2.遥感图像具有更高的场景复杂性，主要表现为类间方差小，类内方差大；3.遥感图像数据集中同类目标尺度变化较大，颜色纹理差异较大，且包含很多小目标。由于存在上述特殊性，从分割效果上看，遥感图像的多类别精细分割任务还存在着不同地物边界分类精度低、多尺度目标识别效果差的主要问题。因此，深度语义分割网络还需要加强对全局上下文信息、多尺度信息的理解，以提高遥感图像语义分割的精度。

4、卷积神经网络(cnn)，特别是全卷积神经网络(fcn)是目前遥感图像语义分割的主流技术手段，segnet、deeplab、pspnet、unet、resunet以及unet的更多变体等都在遥感图像语义分割任务中取得了较好的效果。它们大都采用编码器-解码器结构(encoder-decoderarchitecture)，编码器中cnn用于特征提取，随后解码器中利用编码器编码的特征作为输入，解码出最后的分割预测结果。基于全卷积的深度语义分割方法相比于传统的图像分割方法，能够提取高级的语义特征，具有更加精确的分割效果。然而，由于特征提取主要依靠卷积运算，而卷积核的大小一般小于输入图片的大小，所以模型只能利用局部信息理解输入图像，这难免影响到编码器最后提取特征的可区分性，进而导致遥感图像在不同地物边界分类精度低等问题的产生。

5、transformer模型是完全基于自注意力机制的模型，主要应用于计算机自然语言处理(nlp)领域。由于transformer天然就具备从全局的角度去理解上下文信息的能力，也逐渐被应用于计算机视觉领域，vision transformer(vit)是其中的代表之作。visiontransformer打破了nlp与cv的隔离，通过将输入图片token化后组合成序列，将组合后的结果传入自注意力结构进行全局特征提取。虽然vit有强大的全局特征提取能力，但在局部信息的理解上目前来说还远不及cnn。

6、基于上述对遥感图像特点以及语义分割技术的分析，针对遥感图像的语义分割技术还有进一步的改进和优化空间。该研究具有较强的理论研究价值和实际应用价值。因此，本发明设计了一种结合unet和transformer的遥感图像语义分割方法，通过结合两者的优势，以实现更好的语义分割效果。

技术实现思路

1、本发明的目的是为解决目前遥感图像语义分割方法存在不同地物边界分类精度低、多尺度目标识别效果差的问题，而提出了一种结合unet和transformer的遥感图像语义分割方法。

2、一种结合unet和transformer的遥感图像语义分割方法，获取遥感图像数据，利用深度语义分割模型对遥感图像数据进行预测分类；

3、所述的深度语义分割模型是通过以下步骤获得的：

4、s1、获取遥感图像并构建遥感图像数据集，并按比例划分为训练集和验证集；

5、s2、搭建深度语义分割模型，所述的深度语义分割网络包括编码器、解码器和辅助上采样结构，深度语义分割网络整体保留unet的u型结构；

6、所述编码器包括深度卷积模块和transformer模块；输入数据首先进入深度卷积模块，深度卷积模块包括多层子模块，最后一层子模块提取的特征送入transformer模块；

7、所述的transformer模块使用vit-b/16网络结构，并对vit-b/16网络结构进行改进，包括重写embedding模块和删除全连接层；embedding模块重写为直接将输入特征变形为序列，然后将位置信息与特征序列进行求和；

8、编码器提取的高级特征变形后传入辅助上采样结构和解码器；解码器和辅助上采样结构与编码器中深度卷积模块的子模块层数相同；

9、辅助上采样结构中的每层子模块只包含一个上采样单元，上采样单元采用反卷积；每层子模块的上采样单元上采样后与对应的深度卷积模块同层子模块的特征求和，记为add特征；

10、解码器的每层子模块包括一个上采样单元和一个卷积单元；上采样单元上采样后，与同层的add特征进行特征连接，记为concatenation特征；concatenation特征再送入卷积单元处理；

11、解码器最后一层子模块的输出再经过1*1的卷积层得到最终分割结果；

12、s3、将训练样本作为深度语义分割网络的输入数据进行深度语义分割模型的训练，在训练过程中，取在验证集上效果最好的模型为最终的深度语义分割模型。

13、进一步地，加载训练样本的过程中，通过设置固定的batch_size读取训练样本数据。

14、进一步地，加载训练样本的过程中，随机对部分训练样本进行数据增强处理。

15、进一步地，进行深度语义分割模型的训练的过程中，深度语义分割网络采用的损失函数为lov′asz-softmax loss。

16、进一步地，所述深度卷积模块包括四层子模块，每层子模块均包括一个残差单元和一个池化单元，残差单元计算特征后，送入池化单元；残差单元通过跳层连接的形式实现，每层子模块的残差单元都包含两个卷积层，卷积层中使用批量归一化和relu激活函数。

17、进一步地，所述每层子模块中残差单元中的卷积层为步长为1的3*3卷积层，池化单元采用步长为1的2*2最大池化。

18、进一步地，深度卷积模块包括的四层子模块中，第一层子模块的残差单元卷积层通道数为64、64，第二层子模块的残差单元卷积层通道数为128、128，第三层子模块的残差单元卷积层通道数为256、256，第四层子模块的残差单元卷积层通道数为512、512。

19、进一步地，所述解码器每层子模块中的卷积单元包含两个卷积层，卷积层中使用批量归一化和relu激活函数。

20、进一步地，解码器每层子模块中的卷积单元包含的两个卷积层采用步长为1的3*3卷积。

21、进一步地，与编码器中深度卷积模块的子模块层数相同的解码器中，第四层子模块卷积单元的卷积层通道数为512、512，第三层子模块卷积单元的卷积层通道数为256、256，第二层子模块卷积单元的卷积层通道数为128、128，第一层子模块卷积单元的卷积层通道数为64、64。

22、本发明为解决上述技术问题采取的技术方案是：

23、(1)本发明提出了在编码器部分将unet和transformer结合，先通过深度卷积结构主要提取局部特征，再通过transformer结构主要提取全局特征。两者的结合能整合各自优势，使网络在具备强大的局部特征提取能力的同时还能拥有强大的全局特征提取能力。

24、(2)解码器部分在unet解码器基础上在增加了一个只包含上采样单元的辅助上采样结构，通过跳跃连接结构与编码器编码的特征进行求和。这种结构既能建立远程残差连接，又能促进全局上下文信息融合，提高多尺度信息获取能力。

25、因此与现有技术相比，本发明整合了unet和transformer的各自优势，用于遥感图像，能充分利用图像的全局上下文信息，从而有效地提高不同地物边界分类精度，提高多尺度目标识别效果。