白居易當過兩年杭州刺史，後來又當過壹年多蘇州刺史。年輕時，他浪跡江南，曾在蘇杭生活。他對江南了如指掌，因此印象深刻。他在病退蘇州刺史回到洛陽十余年時，寫下了這三首《憶江南》。
寫歌詞的具體時間歷來說法不壹，但並無依據。劉禹錫曾經寫過幾首《憶江南》的詩，和白居易壹起唱過。序中說“和樂天春詩，是以《憶江南》為題的句子。”此詞寫於唐文宗二年(837年)初夏洛陽，因此可以推斷白居易的這三首詞也應寫於二年初夏。