唐代為加強對少數民族的統治，在西南地區設置大量羈糜州，在今赤水地域內設置有淅州、藺州、能州等。到北宋大觀三年（1109年），赤水正式用行政建置，時屬滋州仁懷縣，縣城在今復興鎮。宣和三年（1121年），撤滋州，降仁懷縣為堡，改隸瀘州合江縣。南宋端平二年（1235年），仁懷堡改屬播州宣慰司管理。
元代，播州宣慰司長官楊邦憲降元，並仁懷堡、武都城（今習水土城）為仁懷、古磁等處（等處為元代行政建制名稱之壹，派巡檢駐原仁懷堡管轄。元末，明玉珍在重慶建立“夏朝”，改仁懷、古磁等處為懷陽縣。
明朝初年，朱元璋滅夏，懷陽縣廢，其屬歸還播州宣慰使司管轄。明洪武十四年（1381年），明王朝在全國編造賦役黃冊、整頓設置裏甲，今赤水地區屬播州五十四裏之仁懷裏、龍門裏（亦稱下赤水裏）和上赤水裏部分，萬歷二十九年平播後，實行“改土歸流”，以仁懷裏、龍門裏、上赤水裏、丁山裏、小溪裏等設仁懷縣，隸四川行省之遵義軍民府。因原仁懷縣治所早年荒廢，首任知縣曹壹科擬將新縣城設於赤水河中遊的土城，但因當地豪姓作梗，只得建成於赤水下遊的留元壩（亦稱犁轅壩，即今赤水市治所所在地），隔河與瀘州合江縣相鄰。
清朝仍襲明朝建置，雍正六年（1728年），隨遵義府改隸貴州。雍正九年（1728年），知縣杜詮以縣城居仁懷縣邊界，“河以南天尺土”，“不便於官，不便於民”，請準移治所於仁懷縣南的李博裏，仁懷縣城由留元壩遷生界，原縣城改由遵義府通判駐守管理。乾隆三年（1738年），經吏部議奏，撥仁懷縣之仁懷、河西、土城三裏歸舊城通判管領，亦稱遵義分府。
乾隆十年（1745年）十月，貴州總督張廣泗請準疏通赤水河，以便於鉛銅入京和川鹽入黔，次年竣工。從此赤水河成為川鹽入黔重要通道，各地商賈營集赤水，大量流民湧入燒炭、種靛，以鹽運、竹木為主的經濟迅速發展。乾隆十三年（1748年），改遵義分府為遵義廳，亦稱仁懷廳。
乾隆四十壹年（1776年），改遵義廳為仁懷直隸廳，歸貴州糧儲道管理。鹽運的發展，吸引了四鄉農民加入鹽運工人行列，形成了赤水地區的最早無產者，他們深受船主剝削壓迫，生活十分困難，為改善自己的生活條件，提高待遇，嘉慶十七年（1812年），鹽運工人自發組織起來，要求提高運輸價格，給船主以沈重打擊，清朝統治者以擾亂鹽運秩序為由，誣蔑船工為無賴之徒鬧事，將鹽運工人的組織者抓捕入獄，將赤水地區第壹次工人自發運動鎮壓下去，但以後的船主對工人工資也稍作提高。
清鹹同貴州大起義時期，赤水雖地處起義中心較遠，但仍有小股起義發生，均由人少力薄被鎮壓下去。同治元年（1862年），石達開率領太平軍先後兩次入境而過，在旺隆、七裏坎、復興、鹽井溪、牛鼻擂、孔灘橋、元厚、石牛岡、官渡等地與地主武裝團練和清軍激戰。同治二年至三年，號軍數次進入赤水地區，先後在猿猴、小金驛、大金沙、崇盤、旺隆、石堡等地與清軍團練展開激戰。
光緒四年（1878年），四川總督丁寶楨請準對川鹽入黔四大口岸的航道進行整治，到光緒六年，赤水河茅臺至合江段30多次險灘得以整治，上下船只載重量普遍增加。
光緒三十四年（1908年），隨著貴州糧儲道裁撤，又因仁懷直隸廳與仁懷縣同名，改仁懷直隸廳為赤水廳，隸遵義府管轄。
1911年辛亥革命爆發，駐防廳城的新軍返築，赤水廳官員宣布下野，地方士紳籌建起大漢赤水軍政府。次年，軍政府權力再度交原赤水廳同知掌管，激起境內同誌會的強烈反對，以姚成武為首的同誌會聚眾千余人開赴赤水廳城，要求滿清官員交出政權，後因大軍壓境而失敗，姚成武等人被殺害。
1914年，撤銷赤水廳，建立赤水縣。
1916年，護國戰爭爆發，駐防赤水的和繼聖團奉令到桐梓加入護國軍北出綦江，城內防守空虛，僅省縣保衛團擔負防務。當北洋軍先頭部隊抵達鰱魚溪，赤水保衛團立即前往抗擊，擊潰北洋軍進攻，迫使退回先市壹帶。同時，組織糧餉支援蔡鍔將軍領導的護國聯軍，為護國戰爭的勝利作出了貢獻。
1924年，周西城率黔軍第三師由四川進駐赤水，並以赤水作為擴張勢力的基地，先後在赤水創辦崇武軍官學校、兵工廠、造幣廠、福國工廠、電燈廠等，為桐梓系軍閥集團的發展打下堅實基礎。1925年，周西城由赤水赴貴陽任貴州省省長。
1929年，以***產黨員梁業廣為首的壹批***產黨員來到赤水活動，通過開辦平民夜課學校，在廣大青年和兵工廠工人中發展了壹批黨員，建立起貴州省最早的中國***產黨組織——中***赤合特別支部，梁業廣任書記。中***赤合特支成立後，在赤水地區先後領導了兵工廠工人罷工、反對修建教堂、抵制日貨、農民“吃大戶”和破產分糧等影響較大活動，在廣大勞苦大眾中得到支持與愛護。1934年秋，赤水特支遭到破壞，大部分黨員被捕，少數轉移外地。
1935年1月，中國工農紅軍長征到達赤水，揭開“四渡赤水”戰役和序幕，在境內與數倍於己的川黔軍進行浴血奮戰，分別從土城、元厚等地第壹次渡過赤水河，甩開敵人，進入川南，迎得了戰役主動權。此後，中***瀘縣中心縣委又在赤合邊界的石頂山發動起義，建立起川滇區邊工農紅軍遊擊隊，以側應中央紅軍的行動，起義在給予敵人沈重打擊後，被鎮壓下去。
抗日戰爭爆發後，成立起抗敵後援會赤水分會，全縣人民投入支援抗戰洪流中，壹大批血性男兒參軍抗日，將熱血灑在抗日戰場。1938年，中***赤水特支成立，通過開展統壹戰線工作，以推動抗日救亡運動的發展。1941年，中***赤水特支遭破壞，特支書記被敵人殺害，支部成員轉移外地。
1947年，中***川南工委遷元厚陛詔。1948年因敵特破壞轉移到四川榮縣。
1949年，縣內各級黨組織發展到600余人，建立起兩個區臨委，7個支部。同年5月建立起臨工委。
1949年12月1日，赤水解放，建立起縣人民委員會和治安總隊。1950年2月，赤水縣人民政府成立，正式接管原赤水縣政府權力。隨即在中***赤水縣委領導下，開展了征糧運動、剿匪及禁煙運動。匪風平定後，進行了減租退押，廢除農民債務，開展查田評戶，全面開展土地改革運動，使全縣無地少地農民分得土地15萬多畝，基本滿足了貧農、雇農對土地的要求。
1952年到1953年開展水上民主改革運動，清除了航運業中的反動封建勢力，建立工人當家作主的新秩序。
1955年開始私營工商業者進行社會主義改造。
1990年12月，撤銷赤水縣建設赤水市。1991年7月，對縣以下行政區劃進行調整，撤調原六區壹鎮36個鄉（鎮），新建9鎮5鄉和3個街道辦事處。1997年6月，因撤遵義地區設遵義市，赤水市改為省直轄，後貴州省人民政府委托遵義市代管。