河源城像壹只竹筏，三面環水，新豐江而建，像壹座水中之城，所以人們稱河源為茶城。此外，由於東江與新豐江東北側匯合，形成壹條“丫”字形的河道水流，故當地百姓稱這壹段東江為“丫河”，“丫”與“茶”相合，又稱為“茶河”，故該市又稱“茶市”。
自南齊永明元年(483年)河源縣設立以來，該市曾多次升廢。據舊《縣誌》記載，該城為自建縣始至元末的城。這是壹座用土坯建造的泥石城。元末，兵荒馬亂，城墻破敗。明朝洪武二年(1368)，縣令鐘毅為避盜擾，在中下國之間的江邊地區修建了壹座樓房。城的周長是429英尺，墻高是1.2英尺。弘治五年(1492)，祭司袁在城隍拜上加了3尺，增至1.5尺。城周長450尺，東北有門，上有鼓樓，池深7尺。嘉靖三十三年(1554)，盜入縣庫，祭司龍應城拜3尺。因為下城面臨江邊，地勢低窪，經常遭受水災。隆慶五年(1571)，農歷五月初壹，河水壹夜之間突然上漲3尺，城池被水打破，100多名居民被淹死。洪水過後，100多人病死。當時的副史王華聰和市井先生李雪燕商議修復古城的事宜。超過65，438+080人從當地的沈鎮捐款幫助重建古城。縣長林大夫和他的妻子首先建造了四門塔和北坦65，438+000英尺的塔。萬歷六年(1578)，縣令曾守玉繼續築城700尺，高1.4尺。萬歷十年(1582)，水患嚴重，縣令湯敏隨居民遷入新城(上城)。從那時起，這兩個城市就毗鄰而居。東江上地勢低，叫下城，也叫老城，西邊地勢上城，也叫新城。事實上，新城是最古老的城市基地。
清乾隆七年(1752)五月，知縣陳與君子鄉商議改東門樓，將下城西門辟為鼓樓，建下城東門。塔改名為東門，從上城東門到下城鼓樓修築道路、橋梁、堤防和雙城。上城為廣東之廳，下城為門戶，兩城共治，合稱“茶城”。