揚州，亦稱廣陵，位於長江北岸，大運河畔，是古代長江下遊的政治、經濟和軍事重鎮。它地處南北要沖，農桑紡織業發達，商賈雲集，唐代曾有“揚壹益二”之說，可見其經濟地位之高、影響之大。唐代詩人有詩句描寫揚州當年的繁華，令人嘆為觀止：張祜《縱遊揚州》中的“十裏長街市井連”，王建《夜看揚州市》的“夜市千燈照碧雲”，杜牧《贈別》的“春風十裏揚州路”。
但是，揚州又是兵家必爭之地，國家分裂的時期尤其如此。六朝之際，揚州即屢遭兵燹，幾度興廢，南朝詩人鮑照曾寫過《蕪城賦》，內中有這樣的句子，“澤葵依井，荒葛羒塗。壇羅虺蜮，階鬥麏鼯。木魅山鬼，野鼠城狐。……孤蓬自振，驚沙坐飛”，壹派肅殺淒涼的景象。
然而，對南宋人而言，南宋建炎三年（1129年）和紹興三十壹年(1161)，金軍兩次南下，使揚州壁斷垣殘，草木森森，變成了壹座蕪城，讓他們飽嘗“黍離之悲”，在民族心理上印下了重重的陰影，揮之不去。
靖康之變後，康王趙構趙構於應天府（今河南商丘）登基，改元建炎，重建宋王朝，是為南宋。他設禦營使司以“總齊行在軍中之政”，統壹指揮各路軍馬，精簡機構，裁撤冗員，懲治叛徒，壹度讓人看到了光復的希望。但後來，他罷免了任職僅七十五天的宰相李綱，啟用投降派黃潛善、汪伯彥，放棄了黃河壹帶的防線，步步南撤，狂奔至江淮壹帶，抗戰形勢急轉直下。
建炎元年冬，金軍大舉南下，占領了華北和山東大部，妄圖畢其功於壹役，活捉宋高宗，摧毀南宋小朝廷。趙構則放棄了還都汴京的念頭，於建炎元年十月南遷至揚州，而這兩年裏敵人的追擊壹刻也沒有放松。建炎三年正月，粘罕率兵攻占徐州，同時又派五千輕騎突襲揚州，企圖借此活捉宋高宗。不久，金兵逼近揚州。二月三日，宋高宗倉皇出逃，身邊僅帶幾位侍衛。群龍無首，城中大亂，被宋高宗拋棄的軍民紛紛出逃至長江邊，慌亂擁擠中，死者有數萬之多。金兵進城，燒殺搶掠，百姓血流成河，橫屍遍野，北撤前，金兵又縱火焚城，百姓劫後余生者僅幾千人，揚州又壹次毀於蠻夷之手——這是姜夔所說的“胡馬窺江”，這壹次發生在姜夔出生之前。
紹興三十壹年九月，金主完顏亮親自率兵南侵，後人戲稱他是讀了柳永的《望海潮》後，垂涎於詞中“有三秋桂子，十裏荷花”的畫境而決意發兵，但長江下遊地區豐富的物產資源才是他真正覬覦的，當然還包括壹統天下的桂冠。這壹次，敵寇的進擊依然順利。雖有名將劉锜指揮，宋軍還是節節敗退，軍民們被迫撤出揚州，揚州又壹次毀於戰火，此次毀掉的是20多年恢復發展休養生息的果實——這是姜夔所說的“胡馬窺江”，這壹次發生於姜夔出生以後。
這兩次“胡馬窺江”，是民族的災難，是恥辱的歷史回憶。