宝鸡市网站建设_网站建设公司_数据备份_seo优化

我自己的原文哦~https://blog.51cto.com/whaosoft143/14428792

一、CMNFNet

一种面向光学遥感图像显著目标检测的跨模型嵌套融合网络

CMNF-Net 首次将异构的图卷积网络GCN和传统卷积网络CNN，利用嵌套融合机制进行渐进融合，用于光学遥感图像显著目标检测，通过双编码器协同建模有效统一局部细节感知与全局结构理解。该方法在三个主流基准测试的多种评估指标下均达到最优性能。此外，CMNF-Net 在多尺度目标、复杂背景及不同主干网络条件下均表现出优秀的稳定性与泛化能力。

• 论文题目：《Cross-Model Nested Fusion Network for Salient Object Detection in Optical Remote Sensing Images》
• 论文链接：​​https://ieeexplore.ieee.org/document/11163514​​
• 代码链接：​​https://github.com/xumingzhu989/CMNFNet-TCYB​​

01 动机

该研究的核心动机源于光学遥感图像显著目标检测面临的独特挑战。与自然图像不同，遥感图像由高空平台拍摄，通常覆盖广阔区域，导致其包含的目标在尺度、形态和背景上具有高度复杂性。具体表现为：（1）尺度差异大：同一张图像中同时存在极大和极小的显著目标；（2）拓扑结构复杂：目标类别多样（如船舶、建筑、河流），形状不规则，结构多变；（3）背景干扰严重：图像背景通常杂乱且与目标特征相似，造成严重干扰。现有基于单一CNN或Transformer的模型难以同时有效应对这些挑战。

因此，研究者提出跨模型嵌套融合网络，其动机是设计一种能够协同利用局部细节感知与全局结构建模能力的异构双分支架构。通过结合擅长提取局部模式特征的CNN编码器和专门设计的能同时捕获局部与全局上下文关系的图卷积网络编码器，模型得以在统一框架内应对多尺度和复杂结构的检测难题。进一步，通过精心设计的嵌套式融合模块，自适应地整合两种异构特征，在抑制背景噪声的同时，渐进式地提升特征表示的有效性和互补性，最终实现对遥感图像中显著目标的更精准、更完整的检测。

02 概述

本文提出的跨模型嵌套融合网络整体上是一个异构的双编码器-解码器架构，专门用于应对光学遥感图像中显著目标检测的独特挑战。模型的核心结构包含三个关键部分：一个基于经典VGG的CNN编码器、一个新颖设计的图卷积网络编码器，以及一个注意力增强的跨模型嵌套融合模块。

具体而言，CNN编码器负责提取图像局部细节和模式特征。而GCN编码器是其核心创新，它将图像特征映射到图结构空间，并通过并行的局部图与全局图推理分支，分别捕捉小范围区域内的细节关联和大范围内的整体结构关系，从而有效建模多尺度目标和复杂拓扑。最后，来自两个异构编码器不同层次的特征，被送入嵌套融合模块。该模块并非简单拼接或相加，而是通过一种渐进式的、注意力引导的融合策略，逐步筛选和整合互补信息，自适应地抑制背景干扰并增强显著区域的特征表示，最终生成精确的显著图。

03 模块介绍3.1 基于CNN的特征提取器

在特征提取部分，模型采用了一个基于经典VGG-16架构的CNN编码器。与传统用于分类的VGG网络不同，本文移除了最后的全连接分类头，并将其前五个卷积块（依次标记为E-VGG-1至E-VGG-5）的输出作为多层次的侧输出特征图。这些特征图的空间分辨率逐层降低（从256×256至16×16），通道数则相应增加（64, 128, 256, 256, 256）。特别地，为了平衡计算开销，模型在最后两个块的输出后额外添加了卷积层，将通道数从512降至256。该编码器专注于建模图像的局部模式特征，为后续与全局结构特征的融合提供了坚实的细节基础。

3.2 基于GCN的特征提取器

为了有效捕捉遥感图像中显著目标的多尺度特性和复杂拓扑结构，本文设计了一个新颖的基于图卷积网络的特征提取器，即GCN编码器。该编码器由两个初始的卷积块和三个核心的图卷积块串联而成。其核心创新在于将传统的网格状特征图，通过一种基于图像块的学习方法，动态地投影为两种图结构数据：局部图连接同一图像块内的节点，专注于感知小尺度目标或局部细节；全局图则连接所有图像块间的节点，旨在建模大尺度目标及其整体结构关系。

在每个图卷积块中，模型在局部图和全局图上并行执行边门控图卷积操作，以自适应地传递重要信息。随后，通过一个自适应加权图融合机制，评估并整合两种图对当前特征的贡献，从而生成一个统一且丰富的图嵌入表示。最后，通过图重投影操作，将更新后的图结构数据转换回标准的二维特征图格式，以便与CNN特征进行后续融合。这一设计使模型能够在一个统一的框架内，灵活地同时建模目标的长程依赖关系与局部几何结构。

3.3 注意力增强跨模型嵌套融合模块

为了有效融合来自CNN和GCN编码器的异构特征，并克服传统直接融合方法易导致特征相互干扰或信息丢失的问题，本文提出了注意力增强跨模型嵌套融合模块。该模块的核心思想是采用一种渐进式、嵌套的融合策略，而非一次性或简单的串联/相加操作，从而在多个层次上逐步、有序地整合互补信息。

具体而言，该模块由一系列级联的注意力增强解码块构成（如DE-AE2和DE-AE3）。在每一融合阶段，来自两个编码器对应层次及上一融合阶段的多路特征首先被输入。这些特征会经过一个混合通道注意力子模块的处理，该子模块能智能地增强有效前景通道并抑制干扰背景通道；随后再通过一个空间注意力子模块来聚焦于空间上的显著区域。最后，处理后的多路特征被拼接并通过卷积层进行融合，其结果将作为下一阶段融合的输入之一。

这种嵌套式的设计，使得来自CNN的局部细节特征和来自GCN的全局结构特征能够在由浅入深的过程中不断交互与精炼。最终，模型能够自适应地强化显著目标的完整表征，同时最大限度地抑制复杂背景的干扰，从而生成更精确、边界更清晰的显著图。

04 对比实验结果

在对比实验中，本文提出的CMNFNet在三个主流的遥感显著目标检测数据集上，与16种先进方法进行了全面比较。定量分析表明，无论是采用VGG还是ResNet作为CNN主干，我们的方法在绝大多数评估指标（如S-Measure(α), F-Measure(β), E-Measure(ξ)和MAE）上都取得了最佳或次佳的性能。特别是在最具挑战性的ORSI-4199数据集上，我们的模型在β、ξ和MAE指标上均位列第一。PR曲线也显示，我们的方法最接近坐标图的右上角，综合性能最优。

定性可视化结果进一步证实了模型优势。在面对背景干扰、多尺度目标共存以及复杂拓扑结构等挑战性场景时，现有方法容易出现误检、漏检或边界不完整等问题。而我们的方法得益于异构编码器的互补性以及嵌套融合的有效性，能够更完整地检测出不同大小的目标，并更精确地勾勒出具有复杂形状目标的轮廓，对背景干扰表现出更强的鲁棒性。

此外，在场景子属性分析中，我们的模型在九种挑战性属性（如大目标、小目标、窄长目标、多目标等）中的七项上取得了最佳性能，尤其在处理大目标和窄长目标时优势显著。这验证了所设计的GCN编码器与融合模块在捕捉复杂结构和多尺度信息方面的有效性，表明模型能够全面应对遥感场景中的多样化挑战。

05 消融实验结果

消融实验系统验证了模型各核心组件的有效性。

首先，关于局部-全局图分支，实验表明同时使用两者（完整模型）的性能优于仅使用局部图或仅使用全局图的变体。移除任一分支都会导致在所有评估指标上的性能下降，可视化结果显示仅用局部图会丢失大目标的整体结构，而仅用全局图则会忽略小目标的细节，这证明了双分支对于同时建模多尺度目标是必要的。

其次，对于注意力增强解码块，实验分别移除了混合通道注意力模块和空间注意力模块。结果表明，移除HCA模块会导致性能显著下降，特别是背景抑制能力减弱；移除SA模块则会引起轻微的性能损失，其空间聚焦作用得到验证。若将HCA替换为普通的通道注意力，性能同样会降低，这凸显了HCA通过探索反向特征来增强通道表示的独特优势。

最后，关于融合策略与参数配置，实验对比了传统的单流/双流融合与本文提出的嵌套融合。定量与可视化结果一致表明，传统融合策略会导致更严重的误检或漏检，而嵌套式渐进融合能更有效地整合异构信息。此外，对GCN中图像块数量、节点数等参数的消融分析，确定了2×2图像块搭配3个节点为最优配置，为模型的高效设计提供了依据。

06 写到最后

CMNFNet的完整代码已在GitHub上开源（​​https://github.com/xumingzhu989/CMNFNet-TCYB​​），欢迎大家对比讨论！

同时，也向大家推荐该团队的其他相关成果—《Adaptive Edge-aware Semantic Interaction Network for Salient Object Detection in Optical Remote Sensing Images》、《Heterogeneous Feature Collaboration Network for Salient Object Detection in Optical Remote Sensing Images》。

AESINet和HFCNet已分别被TGRS 2023和TGRS 2024正式录用，相关代码及完整的环境配置细节也已同步开放（​​https://github.com/xumingzhu989/AESINet-TGRS）（https://github.com/xumingzhu989/HFCNet-TGRS）​​，欢迎大家对比讨论！

....

二、xxx

....