公元前486年，吳王夫差首先在揚州開鑿溝渠，連接長江和淮河。大業元年(605年)，楊迪從江南、兩淮招募民工1萬余人，在北方修築經濟運河，東起洛陽西苑，西至淮河上的楊珊(今江蘇淮安)。大業四年(608)，招募河北民工1萬余人，開辟永濟運河。大業六年(610)，在長江以南開辟了壹條江南河道，把京口(今江蘇鎮江)的水，通過太湖流域，直接引到錢塘江上的余杭(今浙江杭州)。前後用了不到6年時間，大運河整個工程完工。到13世紀的元朝，相繼開鑿了北京到通縣的通惠河、山東臨清到東平的惠通河、東平到濟寧的濟州河。運河改為直線後，比隋代的京杭運河縮短了900多公裏。
隨著19世紀航運的興起和津浦鐵路的開通，京杭運河的作用逐漸降低。但黃河改道後，山東省水資源不足，南北通航中斷，逐漸淤塞到地面。解放後，政府拓寬和加深了大運河的壹些路段，航運條件有所改善。季節性通航裏程達到1100公裏以上。古老的京杭大運河，未來將成為南水北調的輸水渠道，在歷史上續寫自己的傳奇。