安吉建縣於東漢靈帝中平二年（公元185年），至今已有1800多年歷史，漢靈帝賜名“安吉”，源自《詩經·無衣篇》中詩句“豈曰無衣？七兮。不如子之衣，安且吉兮。”
安吉歷史悠久，古跡眾多。境內安城鎮的古城遺址，為秦漢時鄣郡的郡治所在地，古城墻保存至今。古城城墻用泥土夯築，現四面還有城墻，城墻保留尚好。城略呈方形，東西長600余米，南北寬近550米，占地約0.33平方公裏。秦漢時期，這裏是長江中下遊地區政治、經濟、文化中心之壹，這壹帶現已發掘出商、周、秦、漢、西晉、宋、元、明、清各個朝代壹定數量的具有歷史、學、藝術價值的珍貴文物。
安吉名剎靈峰寺自梁代建寺始，歷來為文人墨客聚集之地。元代著名文學家、書法家楊維楨曾隱居在此。明代“四大高僧”之壹、靈峰寺主持蕅益大師也是著名書法家，曾在靈峰寺留下佛學經典之作《靈峰宗論》，並在該寺圓寂。