後來，梁尚全去了內蒙古呼倫貝爾草原和大興安嶺林區體驗生活。中蘇邊境，哨所巍然聳立，站崗的士兵像邊境線上的白楊。他受到作詞的啟發，於7月1983在呼倫貝爾寫下了《小白楊》的歌詞。
陪同梁上泉的作曲家看到後為歌詞譜曲，但未能流傳。不久，梁尚全將歌詞發表在《解放軍之歌》中，作曲家看後深受感動，並為其譜曲，形成了歌曲《小白楊》的最終版本。
歌曲賞析:《小白楊》歌詞簡單，曲調不復雜，但每句話都很寫實，飽含深情。它歌頌了具有白楊精神的人們，歌頌了為祖國奉獻青春的解放軍戰士，歌頌了用祖國的鮮血書寫新中國歷史的精神和意誌，表達了邊防戰士對祖國邊疆的熾熱感情，訴說了人民群眾對邊防戰士的由衷贊美。
作曲家心中的音樂，充滿了血性軍人的陽剛之氣，也道出了對家鄉親人的眷戀之情。剛柔並濟，節奏明快。悠揚的旋律讓觀眾體會到充滿活力又苦澀的軍營生活。