唐代玉山縣被上饒縣所分,因懷玉山脈而得名。玉山縣有1300多年的歷史。始建於唐(周朝)元年(公元695年),在饒州分為胥江縣(今浙江省江山市)、常山縣、宜陽縣,劃歸江南衢州。因懷玉山得名,相傳是天帝遺風。