大興城(今陜西省Xi市)是隋朝的首都。關中雖有沃野之稱，但地狹人多，產量不夠京師使用，全靠東部各州(縣)的賦稅。隋文帝隋文帝因渭河大小無常，沙淺流深，常阻水運。於是，在開皇四年(584)，他命令宇文愷帶領壹名水利工程師另開壹條水道。渭河從傲慢的興城西北引出，略循漢代曹運河故道，在潼關匯入黃河，全長三百余裏，名曰廣通運河。自此水運有利，關中倚仗，故又稱富民渠。仁壽四年(604)，改稱永通渠。
隋七年，為做準備，開瀆，北起(今江蘇淮安)，東南經射陽湖與韓溝相連。從而溝通了楊珊與江都(今江蘇揚州)之間從淮河到長江的交通要道。
大業元年(605年)，楊迪楊光修建東京(今河南洛陽)，從河南、淮北兩縣招募男女壹百多萬人開鑿通濟渠。通濟渠西段從東京西苑引谷水、洛水，沿東漢陽曲古河道向東流，在偃師東南入洛河，從洛河入河。東段黃河自斑竹(今河南滎陽睢水鎮東北牛口峪附近)向東，循汴水舊路至均邑(今河南開封)以東，轉向東南，經陳留、邱勇(今河南杞縣)、香邑(今河南睢縣)、寧陵(今河南寧陵東南)至宋城(今河南商丘以南)。同年招募十余萬淮南民工疏浚，改造春秋末期吳王夫差開鑿的溝通江淮的漢溝，取代楊珊。通濟渠和韓溝是隋朝開鑿的最重要的兩段運河。這條運河有40步寬。楊迪多次乘坐高大的龍舟，率領龐大的船隊往來於東都洛陽和揚州的江都宮之間。
大業四年，招募河北各縣男女百萬余人，開永濟渠，引至沁水南通黃河，再於沁水下遊東岸挖渠接青、齊水，循白溝、清河舊路東北至德州(內黃至武城，渠在渭河之西；武城至德州，運河在渭河以東)，沿現在的南運河到達今天的天津，再用水谷連接桑幹水(即天津至武清的白河和武清至北京西南郊區的永定河)至卓君(今北京)，全長兩千多裏。大業七年，煬帝準備親征朝鮮，乘船從江都經韓溝、通濟運河，渡黃河入永濟運河，直抵卓君。以及“蔣發、淮河以南的民夫和溧陽、濼口的倉庫，運到卓君縣，壹千多裏”。
大業六年，楊迪欲東征江都，開鑿京口至余杭(今浙江杭州)的江南河道，溝通長江與浙江的航運。大致用六朝以來的古運河來疏導，與今天的大運河江南段略有相同，只是崇德以南段在今天的大運河以南。它有800多英裏長，10多英尺寬，可以通過龍舟。但“東遊會”的計劃並未實施。
運河兩岸，是寬闊的禦道，種著壹排排柳樹。從長安到江都，建了四十多座離宮。此外，運河沿岸還修建了許多糧倉，作為轉運或儲存糧食的地方。其中有著名的溧陽溧陽倉(今河南浚縣東南達賚山腳下)、洛陽羅興倉(後改名洛口倉，今河南珙縣東北，方圓二十余裏，有3000個坑，每個坑可裝糧食8000石)、羅惠倉(隋唐時曾在洛陽以北七裏，周圍有300個坑)、 以及河陽的倉(隋唐)河陽倉(今河南省孟縣南，黃河北岸)、單縣的長倉倉(今河南省三門峽西南)、華陰的廣通倉(後改名永豐倉，今渭河入黃河)、京師大興城的太倉、楊珊的楊珊倉(今江蘇省淮安市西北運河以東，儲糧壹百多萬石)。 隋朝末年，到處鬧饑荒，餓死的人不計其數，但這些倉庫裏都是糧食。
隋朝開鑿的這壹系列運河西起京城大興城，北至卓君縣，南至余杭，全長四五千裏。它連接海河、黃河、淮河、長江、錢塘江，把史靜、杜東、卓君(幽州)、均益(汴州)、梁軍(嵊州)、楊珊(滁州)、江都(揚州)、吳軍(蘇州)、余杭(杭州)相互連接起來。當時運河上有“絡繹不絕的商旅和船只”，促進了隋唐時期南北的經濟文化交流，維護了國家統壹和中央集權。
從隋朝到唐朝，所有的運河都叫漕渠或漕河，而通濟渠的東段叫汴渠、汴河或汴水，漢溝、江南叫關河。永濟運河名稱不變，但已與沁水隔絕，源頭為清、齊。在所有路段中，連接長安、洛陽和江淮地區的漕渠、汴河和淮南漕渠仍然是最重要的，構成了唐朝的生命線。漢高祖和唐太宗統治時期，每年從江淮地區運到長安的糧食約為20萬萬石。自高宗皇帝以來，國家的使用日益增加，每年運輸的大米已達250萬石。肅宗以後，中原被破，政府財政收入主要靠江南。所以這條運河的通行直接關系到帝國王朝的存亡。永濟運河仍是河北省的主要交通幹線。衛州(今河北省東北)沿運河在開元城西建百余棟，“以儲江淮之貨”，周貝(今河北清河西北)在天寶被稱為“天下北庫”。
隋唐運河長期不能順利通航。除了受到戰爭的阻礙，自然因素也給航運造成了許多困難。比如關中的運河，唐初就淤塞廢棄了。漕運由渭水改為長安。洛口西至關中，以黃河為交通要道，中間三足鼎立，經常發生沈船翻船事故。所以洛陽到陜西的這段路，有時候要走陸路運輸，勞動強度極大。邊渠和淮南草渠經常因淤積影響水運。同時，運河運距長，運河沿線氣候不壹致，或多雨或少雨，水運常因運河水淺、黃河浪高而停航。
為解決長安糧食和國家用糧危機，玄宗時，裴耀慶提出將杜東至陜州的陸路運輸改為水路運輸，並在黃河三門山北岸開辟壹條十余裏長的山路，供短途車輛運輸繞過險路。當汴河進入黃河口時，將處置壹個倉庫。江淮大米納入這個倉庫後，會發放到江淮。從這個倉庫進入黃河洛水，由政府雇船運載。在三門，山東設壹個倉庫，西部設壹個倉庫。大米用船運到東倉，再用陸路運到西倉，再用船運到關中的倉庫。水流時運，天晴時停，不浪費時間，減少損失。開元二十二年(734年)八月，玄宗采納他的建議，下令在汴河口(今河南滎陽東北，印盒故城西李三)設印盒倉，在山東三門設金吉倉，在山西三門設鹽倉；三門山以北，十裏山路開通陸路運輸。從江淮運來的糧食全部帶入印盒倉庫；從印盒倉到杜東倉，再納入嘉倉，送到關中太原倉(即遂昌倉)，再運到永豐倉(即遂廣倉)、渭南倉、太倉。姚慶被任命為江淮、河南轉運使，三年運送了七百萬萬石，節省了四十萬元的陸路運費。但在三門峽中部，用汽車代替船還是很困難的，峽谷兩端都要卸貨搬家。天寶元年(742年)二十九年，陜縣太守裏奇在三門峽仁門以東的巖石中開鑿人工水道，史稱三門運河或“開元新河”、“天寶河”。在山頂上開鑿壹條纖維路等待河水上漲，讓纖夫拉船通過河道，從而打造了壹個從江淮到關中的整體水運局。然而，這條通道很快就因為巖石崩塌而被廢棄。天寶元年，魏健作為水陸交通的使者，在關中開辟運河，從元西(今鹹陽西南)築起堰來分流渭水，攔截溺水者和遊泳者，順著隋漕運河舊路向東，到達永豐倉與渭水交界處。在長安城東，還開鑿了廣運潭(隋唐長安城東北九裏)，認為是曹船只的停泊處。於是江淮油輪直接到達長安，裝載了四百萬萬石等錢物，為唐代之最。