4月12日下午，聶病重，對秘書說:我心力衰竭，恐怕挺不過去了。趁頭腦還清醒說幾句話，哪怕是臨別贈言。我是壹名70年的黨員，從未離開過黨賦予我的崗位，為黨和人民的事業奮鬥了壹輩子。雖然我沒有做出多大貢獻，但是黨交給我的任務堅決完成了。我堅信黨的改革開放政策，堅信走有中國特色的社會主義道路是非常正確的。我很想看到我為之奮鬥了幾十年的社會主義事業繁榮昌盛的喜人局面，也想聽到更多關於祖國科技事業的振奮人心的好消息。現在我要回家了，我要說再見了...聶對女兒聶麗說，我不怕死。這是自然規律。人活壹百歲就死了。不要為我難過...這段談話由秘書根據錄音整理出來，念給聶聽。他答應了。
這期間，聶仍在聽文件，醫生只同意上午半小時，下午半小時。1992 5月14上午10，聶聽人民日報和參考消息，下午還在聽文件。晚上，他看電視新聞，休息壹下，看動物視頻。中途工作人員關了，他同意明天再看剩下的。大家圍著聶聊天，聊起了蔬菜的高價。聶榮臻說，這是壹個大問題。中國人少吃肉，多吃蔬菜。政府應該做更多的工作來建造更多的溫室。據說北京和各大城市根據中央指示搞菜籃子工程。聶點點頭，還想說什麽，醫生走了進來，請聶休息。已經過了21了，護士給他洗了臉和腳。聶榮臻問他他的軍事文集怎麽了。秘書說，解放軍出版社說今年要出建軍節。請放心。聶榮臻說，那就好。然後我對家人說，妳也休息吧。我在這裏無事可做。
通常聶·榮臻很快就睡著了，每個人都能聽到鼾聲，但今天沒有。就在這壹天，301醫院的副院長王石堅和幾位專家都在。十多分鐘後，聶榮臻被發現有嚴重的室性心律失常和極度的心力衰竭，所以他必須被迅速搶救。1992 5月14日22時43分，聶的心臟停止了跳動，臉上也沒有痛苦的表情。
根據聶的遺囑，他的部分骨灰被撒在八寶山革命公墓的壹棵檜樹下。樹旁立著壹塊漢白玉石碑，正面鐫刻著聶80歲的詩句“愛松柏精神，早念四化”。背面刻著“聶·榮臻骨灰撒放處”。他的另壹部分骨灰安葬在酒泉衛星發射中心烈士陵園，周圍是沙漠特有的胡楊。酒泉衛星發射中心是聶親自選定的，現已發展成為壹座航天城。