自1984年被工廠除名後，壹直靠階段性的打工為生。
他前後曾從事過車間操作工、綠化工、電臺編輯、雜誌編輯、計劃生育宣傳幹部、廣告公司策劃等多種職業。
1972年開始詩歌創作，他的詩《中國，我的鑰匙丟了》《雪白的墻》被列為新時期朦朧詩代表詩作。
詩作被選入高中教材。
著有詩集《少女軍鼓隊》（中國文聯1986年版），
思想隨筆集《獨自成俑》（天津社科2001年版）
《地主研究》（文化藝術出版社2001年版）
《梁小斌如是說》（即出）。
2005年中央電視臺新年新詩會上，梁小斌被評為年度推薦詩人。
推薦語中這麽寫到：
“詩人梁小斌，壹個磨難時代的詩歌童話，他堅韌而堅強地持續寫作，在生活的邊緣依然把詩歌完全融入了生命的狀態。
新時期文學啟蒙時這位詩人堅實、清澈、透明而深邃的詩句，在中國所有城市的曠野呼嘯而過，他樸素而寓意深切的詩歌依然影響著現在的人們。
梁小斌詩歌中蘊涵的深情和智慧，是近15年來漢語寫作歷程壹個多棱面的見證，更難得可貴的是，這樣冰塊壹樣生活著的詩人，通過自己臥薪嘗膽的努力，恢復或說綿延著壹種純粹、高貴的文學理想：以透明消解陰晦，以深沈埋葬淺薄，以少戰勝多。”