開慶元年(1259)，蒙古軍隊攻打鄂州(今湖北武昌)，宦官董主張遷都。他要求將董斬首，他的禦敵建議沒有被采納。之後，他先後中書，擔任寧水師按察使官、刑部郎官、江西郎官、尚書郎官、湖南靈官、贛州壹級。
宋恭帝德佑元年(1275)，元兵渡江，文天祥窮盡所有家當，招賢納士，揭竿而起，為王賣命，組織起義軍三萬，以“正義在我，壹切皆可成；“很多人都能成功”的口號被用來對抗人民幣。但是最後因為孤立無援，鬥爭失敗，最後只剩下六個人。次年，他出任右丞相，赴袁穎談判，希望通過談判刺探蒙古軍事情報。談判中，文天祥據理力爭，痛斥伯顏，但與此同時，南宋朝廷派人到文天祥軍營，宣布解散文天祥的軍隊。伯顏得知文天祥的軍隊已經被解散，於是下令將他逮捕並押解到北方。文天祥被押解到鎮江時，還得當地義士救助。之後，他試圖恢復，搬到了東南部。此時南宋朝廷已經投降，恭帝被押往元大都，盧秀福等七子宋端宗在福州即位。文天祥被召至福州，擔任唐朝使節，同時兼任各路兵馬總司令。他在南澗府(今福建南平)設都督府，派人到各地募兵出錢，繼續元戰。秋天，元軍入侵福建，端宗被迫逃到海上，乘船漂流在廣東。
文天祥與當時的朝臣張士傑、陳意見不合，於是離開南宋，在南澗府(今福建南平)另起爐竈，任大都督，指揮抗元。1277年，文天祥領兵移師龍巖、梅州，入侵江西。在杜愚(今江西南部)大敗元軍，攻占興國，收復贛州十郡、冀州四郡，振奮人心，抗元形勢好轉。然而好景不長。元軍主力進攻文天祥興國營，文天祥寡不敵眾。他率軍北撤，退到廬陵、賀州(今福建長汀)，損失慘重。他的妻兒也被元軍抓走了。