嘉慶十三年(1808)秋，因代替巡撫阮元監考室，對考生徐“偏心”，觸犯刑律，於十月被發配黑龍江。
劉被派往黑龍江後，被安置在齊齊哈爾。因早年成名，從賓敬將軍到普通官員、士兵，“賢賓敬他”。它與司庫、滿族學者秦熙關系密切。嘉慶十五年(1810)，西青撰寫《黑龍江提綱》，劉作序，指出該書“見大事，取要旨，不做無益之事。”他還與、戴等人關系密切，並以詩詠酒。
嘉慶十七年夏秋之交，劉代賓景題寫了《秦賜禦南苑閱詩》。嘉慶帝細讀謝哲，斷定不是賓敬的筆跡。他對近臣說:“這是劉的筆。”並說:“他的文筆越比以前好，可以說是在貧困中開始工作的！”
嘉慶十八年初，劉受賓敬之命，辦理摩爾根城移奴武裝起義壹案，因摩爾根副總司令被委以“以教自白”之職。但清廷派員審查，發現陳峰大公無私，沒有處罰，同年5月被赦免。
劉回到家鄉後，在嘉慶二十三年，被用為編修。道光元年(1821)，因眼疾去揚州養他。道光十年(1830)，二月二日病逝於揚州，享年70歲。他的著作極其豐富，但卻很零散。今有《悔齋集》32卷，還有《五代史補》，是彭20年未竟之業後所作。詩寫塞外，“豪蕩奇起，依山傍水而建。”塞外的風光、民俗、物產、古跡，都在他的詩中有所體現。嘉慶五年(1800)，布撒出土了許多魏延銅印。其他作品，如《康五十韻》、《黃豆瓣兒歌》、《飛鷹》、《龍江雜詩》、《邊塞雜詩》、《蒙古宴飲賦》等，都是對當地物產、風土人情、歷史地理的記錄，是邊檢人員必須獲得的“史詩”，也是研究黑龍江歷史乃至東北歷史的珍貴文獻。