在稀疏编码任务中,学习稀疏系数是核心步骤之一。传统的L1正则最小二乘问题(L1LS)可以通过多种方式求解,而Feature-Sign Search算法是一种高效的近似优化方法,它通过主动集策略和符号约束,快速求解带L1正则的二次规划问题。
今天我们来深入探讨一个扩展版本的稀疏系数学习函数,它不仅包含标准的L2重构误差和L1稀疏惩罚,还加入了图正则化项(Graph Regularization),用于保留数据在流形结构上的局部相似性,常用于图像表示、聚类等需要保持样本间关系的场景。
问题形式化
给定基矩阵B(L × M)和数据样本x(L × 1),我们为每个样本独立求解稀疏系数s(M × 1),目标函数如下:
[
\min_s \frac{1}{2} |x - B s|^2 + \frac{\alpha}{2} s^T (L_{ii} s + 2 P) + \gamma |s|_1
]
其中:
第一项是重构误差。
第二项是图正则化项,L是图拉普拉斯矩阵,L(ii)是第i个样本对应的对角元素,P是与邻域系数相关的向量(P = S * L_new,其中L_new是第i行置零后的L列)。
第三项是L1范数,促进稀疏性。
当α=0时,该问题退化为经典的L1正则最小二乘(L1LS)。图正则化项鼓励相似的样本拥有相似的稀疏表示。
Feature-Sign Search算法原理
该算法的