“安”指安慶(安徽省原省會)，“徽”指徽州(今黃山市)，故名安徽。
安徽省的建立始於清康熙六年七月甲寅(1667年8月30日)，由江南省分治而成。安徽省的名稱是由明清時期安慶和徽州的首字母合成的。簡稱“皖”，因古安徽國而得名。
古代
原始社會末期，安徽的兩淮和江淮地區是和南方部落建立的方國的疆域，而江南地區則是吳越文化區。特別是舜、禹時期掌管刑法等大權的東晉部落首領臯陶的後裔，被封為英、六國，是方國和東晉部落的封祖。春秋戰國時期，很多國家被北方列強和南方的吳、越、楚等北方強國吞並。壹些成為最早的縣和縣，杜毅也成為執政的地方。
秦實行郡縣制，安徽設立的縣市先後被九江、泗水、、陳郡、會稽(吳)等壹級地方行政區劃分割。秦末至楚漢之爭期間，又增燕、衡山、廬江三郡，分九江、西楚、衡山。安徽省有25個縣可以考。
漢初安徽還是楚、淮南等不同姓氏君王的封地，後分為淮南、廬江、衡山三國，再由九江郡分為六安國、荊(吳，後為江都等國)、淮陽、梁國。
之後大部分恢復為郡，郡(包括王國)仍為壹級行政區劃，郡(包括市、侯州)為二級行政區劃。元豐五年(前106)四月，設十三州刺史府，安徽分屬豫、徐、陽三州。三個州分為位於全省的74個縣(國)。