FastSAM自定义数据集实战指南：从零到精通的完整流程
2025/12/18 0:36:53
文章：Earth-Adapter: Bridge the Geospatial Domain Gaps with Mixture of Frequency Adaptation
代码：https://github.com/VisionXLab/Earth-Adapter
单位：北京理工大学
一、问题背景：视觉AI在遥感领域的“水土不服”
近年来，CLIP、DINOv2等视觉基础模型（VFMs）凭借海量数据预训练，在普通图像任务中表现惊艳。为了让这些大模型快速适配下游任务，参数高效微调（PEFT）方法（如LoRA、VPT）成为主流，既能保留模型原有能力，又能减少计算成本。
但当这些方法应用到遥感图像分割时，却出现了严重的“性能滑坡”：
遥感图像没有明确主体，农田、建筑、道路等多尺度目标混杂，且采用俯视视角，导致“干扰信息”（学术上称为“伪影”）遍布全图；
普通图像的干扰仅围绕前景物体（如人、动物），影响有限，而遥感图像的干扰会严重破坏像素级特征提取，让分割结果漏洞百出；
现有PEFT方法专为自然语言或普通图像设计，无法应对遥感图像的特殊干扰，甚至会越调越差。
二、方法创新：“分而治之”的Earth-Adapter
针对上述痛点，研究团队推出了首个专为遥感图像设计的PEFT方法——Earth-Adapter，核心思路是“拆分干扰、精准治理”，具体分为三步：
1. 频率拆分：用傅里叶变换隔离干扰
通过离散傅里叶变换（DFT），将模型提取的图像特征拆分为两部分：
低频特征：对应图像全局结构（如大片农田、整块建筑区），干扰少、语义清晰；
高频特征：对应局部细节（如道路边缘、小地块边界），也是干扰信息的主要聚集地。 这一步相当于把“有用信息”和“干扰噪音”分离开来，为后续治理打基础。
2. 多适配器优化：针对性“修复”特征
设计了三个专门的“适配器”（可理解为三个精准工具），分别处理不同类型的特征：
空间适配器：优化图像空间布局，让区域划分更精准；
低频适配器：强化全局语义，确保大场景判断不跑偏；
高频适配器：专门清理高频特征中的干扰，同时保留有用细节。
3. 动态融合：智能加权出最优结果
加入一个“动态路由器”，像智能裁判一样，根据图像实际情况给三个适配器的结果分配不同权重，再通过残差连接与原始模型特征融合。既保留了视觉基础模型的强大能力，又通过“去干扰”优化了特征质量。
整个流程参数高效（仅2.6M-9.6M可训练参数），且不改变原始模型结构，适配性极强。
三、实验结果：三大任务全面领先
研究团队在12个主流遥感图像分割基准数据集上，对Earth-Adapter进行了全面测试，涵盖普通语义分割（SS）、跨域自适应（DA）、跨域泛化（DG）三大核心任务，结果亮眼：
1. 普通语义分割（SS）
在Potsdam、Vaihingen等4个数据集上，平均mIoU（分割准确率指标）达到68.8%，比基线模型Rein提升1.2%，在所有PEFT方法中排名第一。
2. 跨域自适应（DA）
面对不同场景（如城市到乡村、A数据集到B数据集）的适配挑战，Earth-Adapter平均mIoU达59.0%，较基线提升9.0%，其中在“城市到乡村（U2R）”任务中，性能提升高达24.0%，彻底解决了跨场景适配难题。
3. 跨域泛化（DG）
在无目标域标签的情况下，模型平均mIoU达56.2%，比基线提升3.1%，展现出极强的通用性，无需重新训练就能适配新场景。
此外，Earth-Adapter在参数规模更小的情况下，训练和推理速度与基线模型基本持平，实现了“性能、效率、通用性”三者兼顾。
四、优势与局限
核心优势
针对性强：首个专门解决遥感图像干扰问题的PEFT方法，直击行业痛点；
高效灵活：仅需少量可训练参数，适配不同规模的视觉基础模型（DINOv2-S/B/L等），且不依赖遥感预训练数据；
场景覆盖广：在普通分割、跨域适配、跨域泛化三大任务中均达SOTA水平，应用场景更全面；
易落地：训练推理速度快，无需大规模算力支持，便于实际业务部署。
现存局限
对参数配置敏感：部分任务中，适配器维度、频率 cutoff 值等参数需要精细调整才能达到最优性能；
高频特征处理仍有优化空间：单独使用高频适配器时性能下降明显，对高频干扰的治理能力可进一步提升；
多模态适配不足：目前仅针对光学遥感图像优化，尚未拓展到SAR、红外等多模态遥感数据。
五、一句话总结
Earth-Adapter通过“频率拆分+多适配器优化+动态融合”的创新思路，攻克了视觉基础模型在遥感图像分割中的干扰难题，以高效、通用的优势成为该领域的SOTA方案，为遥感AI的工程化落地提供了新路径。