基跟蹤是壹種稀疏已知系數的方法,常用於信號處理中。基跟蹤的基本思想是將優化問題中的L0範數轉化為L1範數。
例如,我最初有壹個優化問題:
Min ||| x || _ 0(即L0範數的最小值)服從y=Ax。
This ||| x || _ 0表示X中有多少個非零元素;然後我們問min ||| x || _ 0,只是為了知道最多包含0個元素的解x是什麽。
然而,L0範數是非凸的且難以求解,因此我們轉向L1範數的優化問題。
然後,基本跟蹤算法改為求解它。
Min ||| x ||| _ 1(即L1範數的最小值)服從| | | y-ax | | | _ 2 = 0(2範數)。
This ||| x || _ 1是x的絕對值;那麽我們要求min ||| x ||| _ 1,也就是絕對值最小的解X是什麽。
更壹般地說,例如,我想要壹個線性方程組。
Ax=b
x是我們需要的未知量。這個A矩陣不是方陣,而是欠定矩陣,這導致這個線性方程組有幾組解。那麽我們要解決哪個群體的問題呢?
壹般來說,如果我們可以直接使用最小二乘法來獲得壹組最小二乘解,則它是X =(a‘a)(-1)a‘b .但是現在我們使用基追蹤來獲得壹組具有最多0元素的解。
那麽為什麽我們希望我們得到的解中的0元素越多越好呢?這就要說到“稀疏”了。所謂稀疏,就是我希望得到的解放全部為零,非零元素稀疏。這樣,在大樣本或高維的情況下,計算速度不會太慢,也不會占用太多的計算機內存。當然,所謂的稀疏解存在壹定的精度誤差。如果妳想提高計算速度,妳將不可避免地損失壹些準確性,這是不可避免的。
妳可以參考:斯蒂芬Byod的