五代以後的晉代(940年左右)，吳越國廣陵王錢在南湖上建樓作為“登高之地”，當時還沒有“煙雨樓”的名稱。據賈致遠何誌記載，“煙雨樓”壹詞最早出現在南宋吳倩的《水調歌頭提煙雨樓》壹詩中。湖邊的煙雨樓雖然幾易其主，但壹直是觀賞湖光的好去處。明嘉靖二十八年(1549)，嘉興知府趙瑛在湖心島上修建了禹巖樓，從此樓在湖中。幾經修繕，建築毀於明末，重建於清初。主樓朝北，面對城墻。在乾隆皇帝南巡期間，禹巖建築在城垛的南面和北面被重建。
他六下江南，多次登上煙雨樓，在欣賞中壹遍又壹遍寫詩，並親自為煙雨樓作畫。建築內放置雕刻的石頭，並模仿熱河承德避暑山莊青蓮島上的亭子，又稱禹巖樓。清同治初年，禹巖建築再次毀於戰火。直到民國7年(1918)才重修了主樓，形成了現在的格局。抗日戰爭時期，煙雨樓被侵華日軍占領為華中鐵路公司食堂，抗戰勝利後才重新開放。中華人民共和國成立後，黨和人民政府多次下大力氣修繕，古代園林煥然壹新。