在神經網絡方向上，稀疏特征主要通過嵌入和後續交叉表達（通過模型結構和隱藏層表達）來體現。其優化的方向主要在於如何更好地學習id在系統中的嵌入，使其能夠反映當前領域或不同領域的相似性和特征，提高系統的泛化效果。
底層設計:對於常見的id特征，如果低頻id和高頻id具有相同的嵌入大小（參數數量），則高頻id可能缺乏表達能力（偏差較大），而低頻id則過擬合（方差較大），這兩種情況都會導致泛化誤差增加。此外，這類神經網絡模型的大多數參數都是嵌入的（這提供了模型的大部分自由度），因此優化這壹部分尤為重要。
上層設計:其實上層設計也是相對於線性模型的稀疏特征組成而言的。由於線性模型經常交叉特征，其表達的特征需要在NN的隱藏層中得到反映，因此隱藏層更好地提取和學習特征之間的關系並提取交叉表達式非常重要。
因此，NN部分需要依賴於底層設計（針對高低頻id動態優化嵌入大小本身）和上層設計（提取和表達id之間的關系，例如註意力、CNN、殘差和其他層的設計和應用）* * * *以及優化稀疏特征的學習。
線性模型的特征:
在線性部分，對大規模稀疏交叉特征進行建模，以增強模型記憶和更直接關系的推理能力。
系統級:由於線性部分的主要特征是超高維特征空間和過多的參數空間，因此重點是針對該部分優化當前系統的訓練和估計效率。
特征工程層面:由於線性部分更依賴於特征工程的挖掘，因此需要重視特征工程、特征管理和分析。由於特征工程的需求和更復雜特征的構造。需要考慮壹定的特征篩選和淘汰機制。以便適應更大的訓練叠代。