公元前486年，吳利用江淮之間湖泊密集的自然條件，實地丈量，就地挖掘，將幾個湖泊連接起來，長江和淮河從此相連。運河起於南端的漢古城，故稱“漢溝”。韓溝的發掘是歷史上記載的中國最早的壹段大運河，被認為是中國大運河的開端。揚州和淮安兩座歷史文化名城，都是因為這條溝渠的開鑿而誕生的。韓溝也是淮揚運河的前身，此後壹直是中國大運河的重要組成部分，至今仍是主要水道。
與此同時，浙東運河的前身殷珊老運河基本形成，可以說是中國歷史上最早的人工運河之壹，至今仍保存完好。統壹天下後，隋朝作出貫通南北運河的決定，其動機超過了軍事目的。這個時候，天下統壹了。隋朝開鑿運河有其經濟動機。中國古代很長壹段時間，經濟重心壹直在黃河流域，北方經濟比南方先進。但是到了魏晉南北朝，社會發生了深刻的變化。400多年的混亂嚴重沖擊了北方經濟。與此相比，南方經濟發展迅速，成為全國經濟中心。全國統壹後，隋對這壹地區特別重視，但隋朝首都長安的政治中心並沒有隨著經濟中心的發展變化而南遷。因此，國家需要加強對南方的管理，長安需要與富庶的經濟區聯系，需要南方的糧食和物資來供應北方，無論是中央朝廷、官僚貴族還是北方邊境。同時，長期的分治阻礙了南北之間的經濟交流，隨著生產力水平的提高，經濟發展迫切要求加強南北之間的經濟聯系。
公元605年，楊迪招募了數百萬民工修建同濟運河。同年，韓構被重建，這被稱為楊珊褻瀆。608年，招募黃河以北百萬民工開鑿永濟運河。610年溝通長江。至此，開鑿大運河的工程完成，隋唐大運河基本形成。唐朝時，對運河進行了壹些修復。比如公元742年，在三門峽東部，人們曾經在巖石中挖了壹條通道，叫做“天寶河”。
楊迪開鑿大運河的條件:①南朝以來，江南的經濟地位不斷提高，而隋朝的政治中心在北方。因此，開渠勢在必行；②隋朝統壹，社會秩序逐漸穩定；(3)社會經濟得到初步恢復和發展，為開鑿大運河創造了物質條件；(4)集權加強，可以組織大規模的人力物力進行挖掘。
楊迪開鑿大運河的主觀動機有:①加強南北交通，鞏固全國統治；(2)加強江南經濟建設；(3)江南漕運；因為在隋朝之前，江南的經濟已經趕上了北方，那麽隋朝開鑿運河就和江南經濟地位的提高有關。
楊迪開鑿大運河的客觀效果:①運河的開通產生了長期而積極的影響。為後世所用，成為南北交通的大動脈，促進了南北經濟文化交流，壹直沿用至今；它在鞏固團結和社會經濟發展方面發揮了重要作用。(2)挖渠必然帶來沈重的徭役負擔，導致階級矛盾激化，這也是隋朝暴政的內容之壹；同時，楊迪利用大運河組織巡遊江南，進壹步加劇了當時的階級矛盾，成為隋朝滅亡的原因之壹。
隋唐大運河促成了沿線城市的繁榮。揚州、蘇州、杭州、滁州(今淮安)、泗州(今江蘇盱眙)都是繁榮的商業城市。
浙東運河也是在這個時期發展起來的。隨著水路和浙東運河通過余姚和曹娥連接寧波和杭州，寧波實際上成為了大運河的南端。在宋代，浙東運河是國家的主要水道。元朝以前，中國的行政中心長期設在洛陽和開封，江南漕運北上需要繞道河南。元朝至元朝18年(1218)，忽必烈決定將運河彎直，下令開鑿濟州河，然後召開會議將這條河與通惠河連接起來。從此，運河從江蘇淮安經宿遷、徐州到達北京。至此，現在意義上的京杭大運河誕生了。
明清時期，中央政府非常重視運河水運，設立了運河水運總督和河道總督，分別負責運河水運管理和運河水利管理。運河沿岸的城市也因為水運而繁榮。北方的天津、德州、滄州、臨清等城市發展迅速，東南的淮安、揚州、蘇杭也成為繁華都市，被稱為運河沿岸的“四大都市”、“東南四都”。
浙東運河在明清時期也很興盛。清乾隆五十五年(1790)前後，朝廷制作了完整的大運河地圖，第二部繪制了紹興至北京的大運河，詳細反映了運河沿線各縣周邊的水道、湖泊、山川、河流之間的交流和經濟關系，證明浙東運河是中國大運河的南起點。