關於汾河的最早文字記載是《山海經》：“管涔之山，汾水出焉。”之後，《水經註》：“汾水出太原汾陽北管涔山。”《漢書·地理誌》汾陽：“北山，汾水所出。”《括地誌》：“汾水源出嵐州靜樂縣北三十裏管涔山。”可見，古籍中多有汾河源頭記載，均指向山西省北中部的管涔山，但具體位置語焉不詳。
汾河的開發歷史很早，西周、春秋時期，汾河上航運就開始了，公元前647年，晉國發生饑荒，秦國用可載數萬斤糧的木船從關中出發，沿渭水、黃河、汾河向晉國源源不斷地輸運了大批糧食。
戰國、秦漢時期，汾河流域的水利灌溉事業和墾植業受到重視，漢武帝時，為了發展河東的農業生產來避免三門峽以東漕運的艱難，河東郡太守番系建議“穿渠引汾溉皮氏（今河津）汾陰下“，後來，按照番系的建議，發卒數萬人作渠，渠成後有所收益。東漢明帝永平年間（公元58壹75年）曾計劃在滹沱河之間修壹條東西向的運河，以“轉山東之漕，用實秦晉”，其路線據清代地理學家楊守敬考證“當自交城，太原北山，絕汾，經陽曲。忻州之北至定襄會滹沱。
隋唐兩代，是汾河漕運和灌漉事業興盛發達時期，隋開皇三年（公元583年）長安倉儲空虛，詔漕汾晉之粟以給京師，“漕舟由渭（水〉入河，由河入汾，以漕汾晉”（《晉乘·略》卷十四），唐開元年間，裴耀卿“益漕晉，絳……之租輸諸倉，轉而入渭，凡三歲，溜七百萬石，省陸運庸錢三十萬緡”。（《新唐書·食貨誌》）、可見，汾河通航能力很高，漕運量極大。
宋元時代，由於都城的遷移和宋初多次引汾河與晉水灌太原，人為地破壞了汾河在太原段的堤防。因之，汾河航運較前急劇低落，長時期內沒有漕運的記載，僅有少量的行船活動。
據文獻記載，唐代中葉以後，秦嶺、隴山壹帶的樹木已砍伐殆盡，不能夠滿足建築宮殿的需要“近山無巨木，求之嵐勝間”，（《新唐書》卷137《裴延齡傳》）。呂梁山又成了采伐術材的壹個重點地區，因為它距離開封、洛陽、北京較近兼有黃河、汾河及陸運之便，在諸都城附近砍伐完後，必取諸山西“晉之北山有異材，梓匠工師為宮室求木者，天下皆歸”（柳宗元《晉問》）。到北宋大中祥年間（公元1010-1016年）為修築宮殿，在嵐縣、離石、汾陽壹帶采伐柏木，伐木工多達三四萬人，砍伐的大量木材，“先沿支流漂入汾河，後束為木筏順汾河而下，至河津入黃河，沿河東下至於開封”（史念海《歷史時期黃河中遊的森林》《河山集》二集三聯書店1981年版〉。因此，當時就出現了萬筏下河汾的情景。汾河流域歷經唐宋金元各代墾殖、采伐，以前林草茂密的青山綠水變成了滿目荒蕪的光山禿嶺，水量大減，水土流失加劇。灌溉航運便利的汾河逐漸變成了旱澇無定，水源日漸枯縮，赤足可涉的小川濁流。
到光緒三年大旱前，由於人口的壓力，亂采濫伐森林，墾荒屯植的現象有增無減，水土流失日益劇烈，汾河水量大減。到明代，河上只能“秋夏置船，冬春以土橋為渡”，而到清代，雖曾有人設想“通舟於汾，制船如南式”，但汾河已無航運之可能了。