辛棄疾被貶謫後,退居江西信州(今上饒)湖邊,過著耕田種地、濱水垂釣的生活,並自號稼軒。意思是,要想豐衣足食,就得自己動手。這期間,辛棄疾最不能忘記的壹件事,仍然是中原復辟。直到十壹年後的邵熙三年(1192),53歲的辛棄疾才被作為福建的監獄。
然而兩年後,諫官黃艾彈劾他“殘暴貪婪,臭名昭著”,朝廷勒令他不要辯解,卷起行李走人。但是,朝廷沒有那麽霸道。如果不讓他為自己辯護,當然會輕判,讓他去建寧府武夷山崇佑觀沖鋒陷陣。就是這樣壹個小官,壹年後,在禦史中被程赫連彈劾,彈劾理由依然是“殘暴貪婪,奸淫惡名”。辛棄疾沒有找任何借口,而是去了江西鉛山縣思齊市瓜山,在那裏住了八年。
然後是嘉泰三年的夏天(1203)。六十四歲,任紹興太守兼浙江東路使。然而,壹年後,他再次被降職。禧元年(1205)六月,任龍興府(今江西南昌)。剛到任壹個月,就有人誣陷他“好色貪財,好色刑斂”,將他免職,宣揚忠義觀念。