特征工程到底是什麽？

在嵌入式特征選擇中，特征選擇算法本身作為壹個組件嵌入到學習算法中。最典型的就是決策樹算法，比如ID3，C4.5，CART算法。決策樹算法必須在樹生長過程中的每個遞歸步驟選擇壹個特征，並將樣本集分成更小的子集。選擇特征的基礎通常是劃分的子節點的純度。子節點越純，分割效果越好。可見決策樹生成的過程也是特征選擇的過程。過濾特征選擇的評價標準是從數據集本身的內在性質得到的，與具體的學習算法無關，因此具有很好的普適性。通常，選擇與類別高度相關的特征或特征子集。過濾特征選擇的研究者認為，相關性高的特征或特征子集可以獲得更高的分類器準確率。過濾特征選擇有四個評價標準，即距離度量、信息度量、相關性度量和壹致性度量。