遂溪縣歷史悠久，最早可追溯到新石器時代中期。
公元前355年，隸屬楚國，後為百越邊境。秦始皇三十三年（公元前214年）歸屬象郡。秦末漢初，遂溪以至雷州半島為南越之地。
西漢元鼎六年（公元前111年），伏波將軍路博德領兵平南越，置合浦郡徐聞縣，遂溪屬徐聞縣。三國時遂溪初屬蜀，蜀失荊州後歸屬吳國珠官郡（後為珠崖郡）。
隋文帝開皇九年（公元589年）稱合州。開皇十年設置鐵杷縣。開皇十八年改椹縣為椹川縣。大業初改合州為合浦郡，椹川縣並入扇沙縣。
唐武德初又再設椹川縣，改合浦郡為南合州。唐太宗貞觀元年（627年）更名為東合州，將椹川、扇沙並入鐵杷縣，歸屬東合州。貞觀八年（634年），雷州刺史陳文玉奏請朝廷批準，把東合州更名為雷州，雷州同此而得名。天寶元年（742年）改雷州為海康郡。 唐天寶二年（743年）改鐵杷縣為遂溪縣，意取“溪水合流，民利遂之”。遂溪縣屬海康郡，縣治設今湛江市郊舊縣村，此為遂溪得名之始。唐肅宗乾元元年（758年）恢復海康郡為雷州。
北宋太祖開寶四年（971年）改雷州為雷州軍，將遂溪並入海康縣。五年，又恢復雷州。南宋紹興十九年（1149年）又再設置遂溪縣，縣治設在現今遂城。
元至元十五年（1278年）為雷州路。
明太祖洪武元年（1368年）更名為雷州府。
清承襲明代的體制，仍為雷州府，轄遂溪等縣。
民國二年（1913年），遂溪屬高雷道，十五年屬南路行政委員會，二十壹年屬南區綏靖公署，二十五年屬第八行政區督察專員公署，三十八年屬第十四區公署。
1949年11月遂溪縣解放。1957年11月遂溪與廉江、海康南渡河北合稱雷北縣，麻章劃歸湛江市管轄。1960年改為雷州縣。1961年分縣，恢復遂溪縣建制。屬湛江專區（後改湛江地區）管轄。1983年9月屬湛江市管轄。