小样本机器学习|学术人不容错过的高产赛道!
数据稀缺是AI领域的长期痛点,而小样本学习以“少量数据就能实现高效学习”的核心优势,成为现实应用中不可或缺的技术,同时也成为学术研究的热门方向——技术迭代迅速、创新空间广阔,正处于成果爆发期。
从学界认可度来看,相关研究早已获得顶级期刊和会议的青睐,此前TabPFN模型凭借小样本学习相关成果登上Nature,就是最有力的证明。目前,该领域在模型结构优化、数据增强策略创新、跨领域迁移与泛化能力提升等关键方向,仍有大量未被挖掘的研究空间,对于想快速产出高质量论文的研究者来说,是绝佳的切入时机。
本次整理的22篇前沿论文,覆盖领域核心进展与关键创新思路,均附带可复现代码,助力CV/ML领域的研究者快速掌握领域动态,高效开启研究工作。
Few-shot Class-incremental Learning for Classification and Object Detection: A Survey
本文全面综述了少样本类别增量学习(FSCIL)领域,探讨了问题定义、主要挑战、通用方案及相关问题,并介绍了数据集、评估指标以及分类和目标检测方法。
创新点:
系统梳理了 FSCIL 的问题定义、稳定-可塑性权衡(stability–plasticity dilemma)和经验风险不可靠等关键难点。
从方法、理论和应用三条线给出统一的分类与比较框架,覆盖图像分类、目标检测等多个任务。
2.One-for-all Few-shot Anomaly Detection via Instance-induced Prompt Learning
本文提出了一种基于视觉语言模型辅助的“一劳多得”少样本异常检测方法,通过实例诱导提示学习,实现了在多类场景下的少样本异常检测。
创新点:
提出 IIPAD 框架,用图像实例诱导的文本 prompt,把少量支持样本的信息注入到预训练视觉-语言模型中。
设计“one-for-all”策略,面对多类异常时,无需为每类单独训练检测器,而是共享统一模型。
3.BECLR: Batch Enhanced Contrastive Few-shot Learning
本文提出了一种新的动态聚类内存模块BECLR,用于增强无监督少样本学习中的正采样和减少样本偏差,显著提高了在所有现有无监督少样本学习基准测试中的性能。
创新点:
提出动态聚类记忆模块DyCE,在无标注对比学习中,显式引入“类簇”概念,改善正样本采样质量。
设计基于最优传输的OpTA分布对齐模块,在 few-shot 推理阶段缓解 support / query 分布偏差。
4.Privacy-Preserving In-Context Learning with Differentially Private Few-shot Generation
本文研究了在私有数据集上使用大型语言模型进行上下文学习(ICL)的隐私问题。提出了一种新颖的算法,通过生成具有形式差分隐私(DP)保证的合成少样本示例,解决了LLMs可能泄露或复述提示中私人示例的问题,并通过实验证明该算法可以实现有效的ICL。
创新点:
提出基于差分隐私 (DP) 的合成 few-shot 示例生成算法,在不暴露原始私有数据的情况下支持 in-context learning。
利用私有数据的多个子集驱动 LLM 生成,再通过 DP 聚合保证整体 ε,δ-DP。