公元前121年至公元前107年間，西漢的第五位皇帝漢武帝下令修建兩關，即陽關和玉門關。關於漢代玉門關的情況，據史書《漢書?地理誌》記載，漢代的玉門關與另壹重要關隘陽關，均位於敦煌郡龍勒縣境，皆為都尉治所，為重要的屯兵之地。在當時，玉門關與陽關戰略位置十分重要，中原與西域交通必須取道兩關。在王莽末年，中原與西域斷絕了來往，玉門關也隨之關閉。東漢初期，西域大道北移，玉門關的關城再未復建。對於漢玉門關的關址，唐宋時期的壹些古籍，如《括地誌》《元和郡縣圖誌》等，均認為漢代玉門關的關址在唐壽昌縣西北59千米處。唐代的壽昌縣，就是後來敦煌南湖的壽昌故城址。而敦煌遺書《沙州圖經》《沙州城土鏡》《壽昌縣地境》等則都認為，漢玉門關的關址在唐壽昌縣北的80千米處。還有人認為，最早的漢玉門關在敦煌之東，即玉門縣，就是後來玉門赤金附近。公元前103年，漢將李廣利伐大宛後才遷到敦煌西北。後來，人們依據敦煌馬圈灣等地烽燧遺址所出的漢簡，以及對當地地形、驛道相關位置等考證得出結論認為，玉門關應位於臨要燧東側，玉門侯官燧西側，似在小方盤城西11千米的馬圈灣遺址西南6千米處，通往西域的古驛道就從此高地中間穿過。根據記錄我國古代佛教法相唯識宗的創始人玄奘所著《大慈恩寺三藏法師傳》的記載，當年玄奘法師西行求經，於629年的秋天抵達瓜州晉昌城，也就是後來的甘肅省安西鎖陽城。玄奘渡過葫蘆河，通過了河上的玉門關。據此，人們普遍認為，隋唐時期的玉門關位於鎖陽城北30千米處，也就是安西縣城東50千米處的疏勒河岸雙塔堡附近。隋唐時期的玉門關地址後來移至距離漢玉門關東240千米之處，這裏正處於交通的樞紐地位，東通酒泉，西抵敦煌，南接瓜州，西北與伊州相鄰。而且傍山帶河，地勢險要。其四周有山頂、路口、河口要隘，還保存有古烽燧11座，如苜蓿烽、亂山子烽等。
隋唐時期的玉門關是夯築，殘寬3.5米至4米，殘高0.3米至0.75米，南北160米，東西155米，開東、西兩門，四周環以護城河。關墻內外散落著大量素面灰陶片、碎磚塊、花崗巖石條、殘石磨等。後來，五代宋初的時候，玉門關的地址又移動到了肅州城西35千米至50千米之處，也就是距離隋唐玉門關東邊200千米壹個叫“石關峽”的地方。