該城具有典型的古代軍事防禦城市的特征，呈方形，無廓城。清光緒《山東通誌》記載:“磚城周二奇，高二尺，厚二尺，池寬三尺五尺，深壹尺，十六層。”四面城墻中間有城門，城門上建有廟宇。下層是指揮所，上層是觀察哨。城墻內建有環形馬道，城內街道呈網格狀排列。鄺裕祥《煙臺筆記》曰:“東、西、北、南四門，皆望建之。城市裏有壹條十字街，街道是用石頭鋪成的。地勢平坦，挺適合散步的。”城市中的十字形主幹道形成了整個城市的主軸，在這條中央大道上有重要的公共建築，如政府辦公樓和祠堂。城西北有數千間辦公室及其家屬住宅，東北有兵營、馬廄和軍械庫，東南有訓練場，西南有兵營廚房和糧庫。
岐山城成為煙臺最早的民居。起初城內守軍有100多人，後來守軍軍官及其家屬從外地遷入，逐漸在城周圍形成壹些居民聚居地，並隨著人口的發展，不斷向周圍延伸和擴展。明朝嘉靖年間，住宅區遍布東關中街、南街、西溝街、裕盛胡同、南門外等街道。從外地遷入的居民也開始經營海鮮、手工藝品和房地產，工商業逐漸發展，城區逐漸擴大。
康熙年間，岐山學會被撤銷，改名為“岐山學會”。軍隊變成了平民的土地，官兵被解除武裝，從事漁業、農業、工業和商業。這座城市從軍事防禦區變成了壹個簡單的居民區。城內張、劉等千戶後裔大興土木，蓋造房屋，人口逐漸增多，外來人口也不斷流入。岐山社會人口向外擴張，經濟日益發展。旗山社及其周邊地區共有13個固定村落，當時稱為旗山社十三村。十三村人口來自穆平、海陽、文登三縣，遠離高唐、聊城、河北、河南、東北。張在《齊魯遊記》中說“海通以前，只有壹個村，以張姓、劉姓最為著名，如今卻是鱗次櫛比，與高淳相連。”
這座城市位於東河和西河之間。當時的煙臺只是壹個漁洞，漸漸有了帆船停泊，但入口不過是糧石，出口不過是鹹魚，商號幾十家。船舶開始在近海停泊，煙臺也在慢慢發展商業功能。市區大概3平方公裏，街道有十幾條。城市周圍只有幾個分散的居民點，附近每五天就有壹個小市場。
岐山從建立到廢除，都是壹個沒有城市的居住區。從芝罘灣向南逐漸形成了商業開放的“城”。自明代以來，港口活動中心由芝罘灣移至南部的西南河口。漁民和商人在西南河口的東側建了壹座海神廟以求好運。1810年改建擴建為“天後宮”，被百姓稱為“大神殿”。每次出海關泊，都在這裏祈求平安，報恩神明。於是，“大廟”所在的西南河口成了新港口活動的中心，居民在這裏與運送口糧的船只進行交易，錢繆街也成了商業活動的場所，逐漸形成了東西壹裏多的商業街，這就是北街的原始模式。
從圩索到漁港(漁船遍地)，從內陸商埠(帆船)到現代化港口，在現代化浪潮下，西方現代城市的新技術、新概念開始被移植，強行將煙臺納入城市現代化行列。西方的東西，包括洋行、領事館、教堂、學校、旅館、住宅、企業等大勢所趨，改變和擴大了煙臺的城市空間。在跌宕起伏的歷史進程中，岐山的城墻自然被破壞，倒塌。雖然祁山所的城墻和四個城門是在1918年重修的，但到了20世紀30年代，根據郭蘭生的遊記，“東西南北四個城門，都相距不到壹裏，城門和普通人家的城門壹樣大。城門雖已打下，城墻已不可見。”雖然城墻沒了，但岐山城的格局依然完好。直到建國初期，城墻所剩無幾，政府又全部拆除，城市才真正失去了“城”味。今天，很難找到城墻的痕跡。
走在城市古老而安靜的小巷裏，在城市的某個角落，遠離喧囂，不去想天地之長，也會產生留戀。日復壹日，城市瘋狂的成長，空間越來越局促。城市依然靜靜的依偎在市中心，青磚黑瓦的四合院依然悠閑的隱藏在高樓大廈中。雖然破舊，但磚雕影壁依然守望歷史。
看歷史是為了留住城市的根。