右玉縣古稱山原縣。據《山西概況》記載，秦代山原縣屬雁門縣。西漢采用秦制，東漢雁門郡南遷後，由定襄郡統治。漢末，所有郡縣都被廢除，北魏重新設立山原郡，後被廢除。唐朝以後，這裏是雲中郡的所在地。明洪武25年設邊防軍，永樂七年(公元1409年)將邊防軍外的榆林衛並入右衛，改稱右衛林衛，隸屬大同府。清初定名為遊余偉，雍正三年(公元1725年)升為縣稱遊魚縣，歸朔平府，府設遊魚。民國元年(公元1912)，廢府留郡，歸燕北路。建國初屬察哈爾省，仍屬雁北區。1958年與左雲縣合並，稱為左雲縣。1961年，復縣。1972，縣城遺址由老城區遷至梁家油坊。
右玉縣歷史悠久，文化繁榮。是山西省文化強縣，省博物館收藏文物100余件。在這片古老而文明的土地上，出現過許多名人和仁人誌士。比如北齊的高，在古代就是壹個驃騎將軍，戰功卓著，官職在錦州。明朝的孫祥、何廷魁、馬圭、馬、馬承玄、馬承宗，史書上都是將軍，官職在總兵之上。尤其是馬圭更是出類拔萃。他是從官方到右翼的統帥，與李是壹星。當時，人們稱之為東馬。清代也有五位文武狀元擔任知府、知府。解放後，被譽為中國“裝甲兵之父”的耿，愛國將領，著名內科醫生，著名學者、教授，都是右玉縣的傑出人物。解放以來，在黨和國家的領導下，全縣宣傳文化事業在繼承中創新，取得了長足發展。縣委宣傳部、縣文體局，以及文化館、博物館、圖書館等。多次受到國家、省市表彰；縣道情劇團在全省文藝匯演中多次獲獎；縣文聯原主席傅品的小說《借個姑娘》，被中央電視臺改編成電視劇，獲得趙樹理文學獎三等獎和山西省文藝創作銅獎。