玄武的本意就是玄冥，武、冥古音是相通的。玄，是黑的意思；冥，就是陰的意思。玄冥起初是對龜蔔的形容：龜背是黑色的，龜蔔就是請龜到冥間去詣問袓先，將答案帶回來，以蔔兆的形式顯給世人。因此，最早的玄武就是烏龜。以後，玄冥的含義不斷地擴大。龜生活在江河湖海（包括海龜），因而玄冥成了水神；烏龜長壽，玄冥成了長生不老的象征；最初的冥間在北方，殷商的甲骨占蔔即‘其蔔必北向’，所以玄冥又成了北方神。
它和其他三靈壹樣，玄武也由天下二十八星宿變成的：鬥、牛、女、虛、危、室、壁。而古時後的人對玄武它的解釋有以下的數種，‘玄武’即龜。”。《太上黃箓齋儀》卷四十四稱北方玄武星君為：“鬥宿天廟星君，牛宿天機星君，女宿天女星君，虛宿天卿星君，危宿天錢星君，室宿天廩星君，壁宿天市星君。”至於其形象，《道門通教必用集》卷七雲：“北方玄武，太陰化生，虛危表質，龜蛇臺形，盤遊九地，統攝萬靈，來從吾右。”同時，道教也將其用於煉丹術語，如《雲笈七羲》卷七十二引《古經》四神之丹稱：“玄武者，北方壬癸水黑汞也，能柔能剛。”《經》雲：上菩若水。非鉛非錫非眾石之類，水乃河東神水，生乎天地之先，至藥不可暫舍，能養育萬物，故稱玄武也。
玄武在宋代身價培增，並被人格化。這與宋代各帝推波助瀾分不開。宋初太祖時，即有真武、天蓬等為天之大將的傳說。未真宗天禧元年，在軍營中發生了壹件事。在《事物紀原》卷七載：‘營卒有見蛇者，軍士因其建真武堂。二年閏四月，泉湧堂側，汲不竭，民疾疫者，飲之多愈。’真宗聽說此事，下詔就地建觀，賜名‘祥源’。這大約是中國最早的真武廟。
真武大帝的身世，後人多說是在隋煬帝時，玉帝將自己的三魂之壹，化身投胎於掙樂國皇後，厭惡塵世，舍位入武當山上修行，成功飛升，鎮守北方，號曰：玄武。