安徽建省始於清康熙六年七月甲寅（1667年8月30日），由江南省分治而建，安徽省名由明清時期的安慶、徽州兩個府的首字合成。簡稱“皖”，以古皖國為名。
古代
在原始社會末期，安徽境內的淮北、江淮地區為淮夷方國及南下部落所建方國的領地，江南地區則為吳越文化地區。尤其是舜、禹時代掌管刑法等大權的東方部落首領臯陶的後人被封於英、六，為東方偃姓部落所建方國及封國的始祖。春秋戰國時期，眾多的方國、封國為北方大國和南方的吳、越、楚等北上的大國所兼並。有的成為最早的郡、縣，都邑也成為治所。
秦推行郡縣制，安徽境內所設縣邑先後為九江、泗水、碭郡、陳郡、會稽（吳）郡等壹級地方行政區劃所分領。秦末至楚漢相爭期間，又增置鄣郡、衡山、廬江郡，並為九江、西楚、衡山等諸侯國分領，可考的縣在皖境內有25個縣。
漢初，安徽境內仍為楚、淮南等異姓王封地，後為劉邦改封的同姓王淮南（後分為淮南、廬江、衡山國，後又從九江郡分設六安國）、荊（吳國，後又為江都等王國）、淮陽、梁國等分領。後大部恢復為郡、縣，並仍以郡（含王國）為壹級行政區劃，縣（含邑、侯國）為二級行政區劃。元封五年（前106年）四月，設十三部州刺史作為中央的派出機構，安徽地區分屬豫、徐、揚3個州。3個州分領省境內所置74個縣（國）。[3]
東漢實行州、郡、縣三級管理體制，今省境內仍為揚、豫、徐3個州分領。其中，揚州涉及與安徽境內有關的丹陽（含宣城郡）、九江（含阜陵王國）、廬江（含六安王國）3個郡；豫州涉及汝南（含王國）1個郡和沛、梁（曾為碭郡）、陳國3個王國；徐州涉及彭城（先後為楚國、彭城郡、國）、下邳（先後為臨淮郡、下邳郡）2個王國。3個壹級行政區域涉及安徽境內8個郡（國），***置69個縣（國）。
三國時期，安徽境內分別為魏、吳國所設揚州及魏國徐、豫4個州分領。吳國揚州涉及安徽境內新都、廬江、丹陽3個郡在江淮南部及江南地區所設19個縣。兩晉南北朝時期，仍實行東漢以來的州、郡、縣三級管理體制。
西晉仍為揚、豫、徐3個州，分管安徽境內的74個縣。其中，揚州涉及淮南、廬江、丹陽、宣城、新安及西晉末年新置的歷陽***6個郡所設45個縣；徐州涉及臨淮、彭城、下邳3個王國所設6個縣；豫州涉及汝陰、安豐2個郡及沛、譙、梁3個王國所設的23個縣。
東晉時期，淮北地區先後為“五胡十六國”中的劉漢、後趙（含冉魏）、前燕、前秦、後秦、後燕等國先後占領，常守舊制，仍為徐、豫（含東豫）2個州分領。東晉收復淮北地區，徐、豫2個州仍為常制，但東晉時期主要仍為揚、徐、豫3個州分領。
南北朝時期，宋、齊、梁、陳均先後收復過淮北地區，領有江南地區，並長期以江淮地區為南北紛爭的戰場。陳朝後期則以長江為限，江淮及以北地區為北齊、北周先後占有。在南朝淪喪北方領土期間，安徽北境則先後為北朝的北魏、東魏、北齊、北周據有。
隋前期廢郡，整飭各級區劃和管理體制，實行州、縣二級管理體制。今安徽境內設55個縣，涉及潁、亳、宋、陳、徐、宋、仁、壽、廬、熙、和、濠、滁、揚、蔣、宣、歙17個州。大業初，改州為郡，實行郡、縣二級管理體制，並恢復漢州刺史分巡制度。今省境內設50個縣，涉及3個部州15個郡。
唐前期，廢郡改州，實行州、縣二級管理體制。貞觀初，今安徽境內初設85個縣，涉及33個州。貞觀元年（627年），撤並渦、沈、信、成、文、譙、仁、譙（又稱北譙）、化、方、巢、蓼、霍、嚴、高（智）、南豫、猷（含南徐）、桃、池19個州41個縣，保留調整為44個縣，涉及15個州，涉及河南、淮南、江南3個道。中唐時期，道正式成為壹級地方行政區劃，實行道、州、縣三級管理體制。天寶年間，改州為郡，則實行道、郡、縣三級管理體制。不久，復郡為州。晚唐時期，今境內仍設55個縣，涉及15個州（不含朱溫所設輝州），為4個節鎮分領。
五代十國時期，淮北地區先後為後梁、後唐、後晉、後漢、後周5個短命的小王朝分領，南方（含江淮、江南地區）先後為吳國和南唐國所據有。五代中期至後周前期，淮北地區設13個縣，後周據有江淮地區後，設25個縣1個軍，吳國據有江淮、江南地區，在今境內設41個縣，涉及10個府、州，為德勝、清淮、寧國3個軍及江都府分領。
北宋時期，實行路、府（州、軍、監）、縣（不帶縣的軍、監）三級管理體制。今安徽境內先後設64個三級行政區劃（62個縣2個監），先後涉及4個府13個州8個軍，計25個二級行政區劃，分屬5個路。宋、金對峙期間，南宋初領全省，後以淮河為限與金國對峙，江淮地區常為戰場，北方先後為金國（含偽楚、偽齊）、蒙古汗國和元朝所據。南宋先後在省境內設51個縣2個監，涉及3個府8個州7個軍，計18個二級行政區劃，為淮南東、淮南西、江南西3個路分領。早期，南宋還領有淮北地區的順昌府、宿州等二級政區。金國（含偽楚、偽齊及金亡後的蒙古汗國）在安徽境內設16個縣，涉及7個州，為2個路分領。
元朝實行行省、路（府、州）、散府（州、軍）、州（縣）四級管理體制。今安徽境內設60個縣，涉及11個路2個府10個州，分屬3個行省。
明朝實行三級管理體制。其中，南北兩直隸及十三布政使司為壹級行政區劃，府、直隸州（廳）為二級行政區劃，散州和縣（廳）為三級行政區劃。今省境為南直隸西部地區，設49個縣7個散州，涉及鳳陽、廬州、安慶、太平、池州、寧國、徽州7府及徐州、滁州、和州、廣德4個直隸州，計11個二級行政區劃，其中鳳陽府為明朝的陪都稱明中都。
清初承明制，改直隸南京為江南省，今安徽境內屬江南省西部地區，仍設56個散州和縣（不含已劃出的盱眙、英山、婺源3個縣，但含蕭、碭山2個縣），涉及安慶、徽州、寧國、池州、太平、廬州、鳳陽7個府及徐州、廣德、和州、滁州4個直隸州，計11個二級地方行政區劃。
近代
清代實行道、府（直隸州、廳）、縣（散州、廳）三級管理體制。省境內***設54個州縣（4個散州，50個縣），除碭山、蕭縣屬江蘇省淮徐道直隸徐州（後升為徐州府）外，其余分屬皖北道的有鳳陽、廬州、潁州3個府及六安、泗州、滁州、和州4個直隸州；屬皖南道的有安慶、徽州、寧國、太平、池州5個府及廣德1個直隸州；計涉及2個省9個府5個直隸州。太平天國在安徽境內占領區建政是采取省、郡（州）、縣三級管理體制，改清代的府為郡。
中華民國成立後，廢府、州、道，北京政府初期實行省、縣二級管理，今安徽境內碭山、蕭縣仍屬江蘇省，其余60個縣（含南京政府時期分別劃入江西、湖北省的婺源、英山縣及建國後劃入江蘇省的盱眙縣）仍屬安徽省。民國3年（1914年）6月2日，全國實行省、道、縣三級管理體制，碭山、蕭縣屬江蘇省徐海道；皖屬淮北地區及部分淮南地區屬淮泗道（鳳陽），江淮地區屬安慶道，江南地區屬蕪湖道。
南京政府初期實行省、縣二級管理體制。民國21年（1932年）4月2日，實行首縣制；10月10日，實行行政專員督察區（專區）制。民國26年（1937年）11月20日，國民政府宣布，遷駐陪都重慶。此後，國民政府因日本侵略軍占領長江流域重要城鎮，南北受阻，權置皖南、皖北行署區，行使省的權力，但規格比省低，後期又復置皖南行署，均為臨時省級設置。民國南京政府前期，安徽境內有中國***產黨創立的鄂豫皖蘇區，相當於省的建置，其下又有特區、道、專區之設，再下始為縣級基層政權。
抗日戰爭期間，除國統區外，由中國***產黨領導的抗日民主根據地，省境建政完善的根據地***有皖中（江）、淮北、淮南3塊，其邊區政府（又稱行政公署）相當於省級，其下為專區，再下為市、縣。此外，日偽、汪偽政權也在淪陷區建省，今省境分屬淮海、安徽2個省，下設專區，再下為市、縣。安徽境內在中華民國後期***設62個縣1個市，計63個二級地方行政區劃。
解放初期，皖北地區分屬皖西、江淮、豫皖蘇邊區3個行政公署，下設專區，再下為縣、市。1938年4月3日，華東局電請中央批準成立皖北人民行政公署。經中央批準，15日，撤銷3個行政公署，成立皖北人民行政公署。4月15日，皖北人民行政公署頒發第壹號通知，公布皖北行署統轄的專區、市、縣。5月13日發第壹號通知，公布皖南行署統轄調整後的專區、市縣。皖南、皖北2個行署行使省的權力，但比省的規格要小。行署下轄直轄市、專區，再下為縣及專轄市。
1952年8月7日，撤銷皖南、皖北人民行政公署，合並成立安徽省。8月25日，安徽省人民政府正式成立，仍實行省、省轄市（專區，後稱行署）、縣（專轄市）又稱縣級市三級管理體制。