一种高光谱图像的任意尺度超分辨率方法

本发明涉及图像处理，具体是涉及一种高光谱图像的任意尺度超分辨率方法。

背景技术：

1、增强高光谱图像分辨率的过程即为高光谱图像的超分辨率，增强高光谱图像的空间分辨率是使用高光谱图像进行目标识别以及场景分类的必然要求。现有技术采用超分辨率模型metasr、图像局部隐式函数、局部隐式自注意力机制等方法增强高光谱图像的空间分辨率。但是现有技术由于忽视了高光谱图像的特性，导致增强空间分辨率之后的高光谱图像的光谱与原光谱不一致。

2、综上所述，现有技术降低了高光谱图像的光谱一致性。

3、因此，现有技术还有待改进和提高。

技术实现思路

1、为解决上述技术问题，本发明提供了一种高光谱图像的任意尺度超分辨率方法，解决了现有技术降低了高光谱图像的光谱一致性的问题。

2、为实现上述目的，本发明采用了以下技术方案：

3、第一方面，本发明提供一种高光谱图像的任意尺度超分辨率方法，其中，包括：

4、提取原高光谱图像的空间光谱联合特征；

5、构建目标标记模板，所述目标标记模板用于设定所述原高光谱图像需达到的目标分辨率；

6、依据所述目标标记模板和所述空间光谱联合特征，增强所述原高光谱图像的空间分辨率至目标分辨率，得到超分辨率高光谱图像。

7、在一种实现方式中，所述提取原高光谱图像的空间光谱联合特征，包括：

8、对所述原高光谱图像应用自注意力机制编解码模型，得到所述原高光谱图像的空间光谱联合特征。

9、在一种实现方式中，所述构建目标标记模板，所述目标标记模板用于设定所述原高光谱图像需达到的目标分辨率，包括：

10、依据所述原高光谱图像的尺寸初始化本征像素，得到所述本征像素所对应的初级标记模板，所述本征像素的低频信息匹配于所述原高光谱图像的低频信息；

11、对所述初级标记模板进行非线性操作，得到目标标记模板。

12、在一种实现方式中，所述依据所述目标标记模板和所述空间光谱联合特征，增强所述原高光谱图像的空间分辨率至目标分辨率，得到超分辨率高光谱图像，包括：

13、依据所述原高光谱图像的尺寸初始化本征像素，得到所述本征像素所对应的初级标记模板，所述本征像素的低频信息匹配于所述原高光谱图像的低频信息；

14、使用所述初级标记模板对所述空间光谱联合特征进行上采样，得到采样特征；

15、设定所述采样特征的尺度标记，所述尺度标记用于表征所述采样特征需放大的倍数；

16、设定所述采样特征的位置标记，所述位置标记用于表征所述采样特征在所述原高光谱图像上的位置与所述采样特征在所述初级标记模板上的位置构成的相对位置；

17、依据所述采样特征和所述尺度标记以及所述位置标记，构造特征标记模板；

18、依据所述目标标记模板和所述特征标记模板，增强所述原高光谱图像的空间分辨率至目标分辨率，得到超分辨率高光谱图像。

19、在一种实现方式中，所述依据所述采样特征和所述尺度标记以及所述位置标记，构造特征标记模板，包括：

20、将所述采样特征和所述尺度标记以及所述位置标记输入至线性整流函数，得到所述线性整流函数输出的特征标记模板，特征标记模板中的每个特征上都设置了对应的尺度标记和位置标记。

21、在一种实现方式中，所述位置标记为正则化之后的位置标记，正则化之后的位置标记的取值范围为[-2,2]。

22、在一种实现方式中，所述依据所述目标标记模板和所述特征标记模板，增强所述原高光谱图像的空间分辨率至目标分辨率，得到超分辨率高光谱图像，包括：

23、对所述目标标记模板和所述特征标记模板应用跨注意力机制，得到所述跨注意力机制输出的目标更新矩阵；

24、对所述目标更新矩阵应用自注意力机制，得到所述自注意力机制输出的目标标记更新模板；

25、对所述目标标记更新模板和所述特征标记模板应用跨注意力机制，进行迭代计算，迭代达到设定次数，得到所述自注意力机制输出的超分辨率高光谱图像，所述设定次数与所述目标分辨率所对应。

26、在一种实现方式中，所述对所述目标标记模板和所述特征标记模板应用跨注意力机制，得到所述跨注意力机制输出的目标更新矩阵，包括：

27、将所述目标标记模板乘以第一设定矩阵，得到目标模板矩阵；

28、将所述特征标记模板乘以第二设定矩阵，得到第一特征模板矩阵；

29、将所述特征标记模板乘以第三设定矩阵，得到第二特征模板矩阵；

30、确定所述第一特征模板矩阵的列数的平方根；

31、将所述目标模板矩阵乘以所述第一特征模板矩阵的转置矩阵除以所述平方根，得到运算结果；

32、将归一化之后的所述运算结果乘以所述第二特征模板矩阵，得到目标更新矩阵。

33、在一种实现方式中，所述对所述目标更新矩阵应用自注意力机制，得到所述自注意力机制输出的目标标记更新模板，包括：

34、将所述目标更新矩阵分别乘以第四设定矩阵、第五设定矩阵、第六设定矩阵，分别得到目标更新第一矩阵、目标更新第二矩阵、目标更新第三矩阵；

35、对所述目标更新第一矩阵、所述目标更新第二矩阵、所述目标更新第三矩阵应用自注意力机制，得到所述自注意力机制输出的目标标记更新模板。

36、在一种实现方式中，所述位置标记的形式为正余弦位置编码。

37、有益效果：本发明首先提取原高光谱图像的空间光谱联合特征，再构建目标标记模板，其中，目标标记模板用于设定原高光谱图像需达到的目标分辨率；最后依据目标标记模板和空间光谱联合特征，增强原高光谱图像的空间分辨率至目标分辨率，得到超分辨率高光谱图像。由于本发明根据目标标记模板与特征标记模板之间的局部空间相关性对特征标记模板进行加权求和，求得目标标记模板中对应位置的光谱特征，避免超分辨率过程中光谱的累积误差，从而使得本发明的超分辨率高光谱图像的光谱与原高光谱图像的光谱具有一致性。

技术特征：

1.一种高光谱图像的任意尺度超分辨率方法，其特征在于，包括：

2.如权利要求1所述的高光谱图像的任意尺度超分辨率方法，其特征在于，所述提取原高光谱图像的空间光谱联合特征，包括：

3.如权利要求1所述的高光谱图像的任意尺度超分辨率方法，其特征在于，所述构建目标标记模板，所述目标标记模板用于设定所述原高光谱图像需达到的目标分辨率，包括：

4.如权利要求1所述的高光谱图像的任意尺度超分辨率方法，其特征在于，所述依据所述目标标记模板和所述空间光谱联合特征，增强所述原高光谱图像的空间分辨率至目标分辨率，得到超分辨率高光谱图像，包括：

5.如权利要求4所述的高光谱图像的任意尺度超分辨率方法，其特征在于，所述依据所述采样特征和所述尺度标记以及所述位置标记，构造特征标记模板，包括：

6.如权利要求4或5所述的高光谱图像的任意尺度超分辨率方法，其特征在于，所述位置标记为正则化之后的位置标记，正则化之后的位置标记的取值范围为[-2,2]。

7.如权利要求4所述的高光谱图像的任意尺度超分辨率方法，其特征在于，所述依据所述目标标记模板和所述特征标记模板，增强所述原高光谱图像的空间分辨率至目标分辨率，得到超分辨率高光谱图像，包括：

8.如权利要求7所述的高光谱图像的任意尺度超分辨率方法，其特征在于，所述对所述目标标记模板和所述特征标记模板应用跨注意力机制，得到所述跨注意力机制输出的目标更新矩阵，包括：

9.如权利要求7所述的高光谱图像的任意尺度超分辨率方法，其特征在于，所述对所述目标更新矩阵应用自注意力机制，得到所述自注意力机制输出的目标标记更新模板，包括：

10.如权利要求4所述的高光谱图像的任意尺度超分辨率方法，其特征在于，所述位置标记的形式为正余弦位置编码。

技术总结
本发明涉及图像处理技术领域，具体是涉及一种高光谱图像的任意尺度超分辨率方法。本发明首先提取原高光谱图像的空间光谱联合特征，再构建目标标记模板，其中，目标标记模板用于设定原高光谱图像需达到的目标分辨率；最后依据目标标记模板和空间光谱联合特征，增强原高光谱图像的空间分辨率至目标分辨率，得到超分辨率高光谱图像。本发明的超分辨率高光谱图像的光谱与原高光谱图像的光谱具有一致性。同时，仅需要训练一个深度学习模型，本发明就可以超分辨率高光谱图像到任意的尺度大小。

技术研发人员：贾森,江树国,徐萌,张书瑜
受保护的技术使用者：深圳大学
技术研发日：
技术公布日：2024/1/16