在英語中，正則化被定義為修改學習算法以減少泛化錯誤，而不是訓練錯誤。旨在更好地實現模型泛化的補充技術是為了在測試集上獲得更好的性能。是為了防止過擬合，進而增強模型的泛化能力。
正則化的常用方法
1，提前停止方法(提前停止)
提前終止法適用於模型表達能力較強的時候。此時模型的訓練誤差會隨著訓練次數的增加而逐漸減小，但訓練誤差會隨著訓練次數的增加先減小後增大(模型可能開始過擬合)，提前終止的方法是在訓練誤差最低時終止訓練。
2、模型整合(ensemble)
常用的模型集成方法有:裝袋、助推和疊加。
3、輟學
dropoutd的基本步驟是在每次叠代中隨機刪除壹些節點，只訓練剩下的節點。每次叠代都會隨機刪除，每次叠代刪除的節點不壹樣，相當於每次叠代訓練不同的網絡。這樣降低了節點之間的相關性和模型的復雜度，從而達到正則化的效果。