關於漢玉門關的遺址，歷來有不同的看法。唐宋時期的壹些古籍，如《廓誌》、《元和縣誌》等，被認為位於唐壽昌縣城西北(今敦煌市南湖鄉壽昌故城遺址)118處。敦煌遺書《沙州圖》、《沙州市地鏡》、《壽昌縣地》等，據信位於唐壽昌縣城北160處。本世紀以來，根據敦煌西北約80公裏處的小房城所寫的《玉門杜威》等漢簡，許多學者認為這座城就是漢代的玉門關。也有人認為，最早的玉門關位於敦煌東部，或在漢禹門縣(今玉門市金池鎮)附近，太初二年(公元前103年)李廣利伐大灣後移至敦煌西北。近年來，甘肅省博物館和敦煌博物館根據敦煌、馬泉灣等地烽火臺遺址出土的漢簡，以及當地的地形和驛道的相關位置，證明玉門關應位於林窯巷以東，玉門後關巷(馬泉灣)以西，似乎在馬泉灣遺址西南0.6公裏，潘曉芳以西11公裏處。但關城遺址壹直沒有找到，或者說已經被破壞了。以上觀點雖有不同，但都認為漢代玉門關位於敦煌西北，漢末至今未變。敦煌長城沿線烽火臺出土的大量簡牘也證明了這壹點。
此外，滎陽市泗水鎮西北的泗河進入黃河口。因古城高城北門玉門而得名。它位於大岱山和光霧山之間，古泗水從灌口以北流入黃河。前203年，為了躲避項羽，劉邦從槁城到玉門關，渡過黃河到修武。《水經註·五河》:“南臨玉門。”就是這樣。是大江南北交通的咽喉。所以《泗水縣誌》記載:“虎牢為東西之樞紐，玉門為南北之咽喉。”