高祖平定京師，秦王引薦他做府兵曹參軍，後調任陜州總管府長史。時官府屬官很多外調，秦王很擔心。房玄齡曰：“離開的人固然多，但都不值得吝惜，但杜如晦是輔佐您的大人才。大王假如終極只是守住封地，不幹大事（就罷）；假如您壹定要治理天下，除了杜如晦沒有誰和您壹起成就功業的。”秦王驚奇地說：“不是您
這樣說，我幾乎失往了他！”於是發文把它留在幕府。（杜如晦）跟從秦王征伐，常參與高層機密。那時天下正多事，他判定處理毫無保存，同事、下屬都以為他有才幹，沒有誰見到他才能的極限。天策府建成後，他做中郎。王做皇太子，（杜如晦）與玄與玄齡壹起治理朝政，引薦賢才，將品行不好的降職，讓他們都得到恰當的職位。監察禦史陳師合奏上《拔士論》，說壹個人不可擔任幾個職務，暗中諷喻杜如晦等。天子說：“房玄齡、杜如晦沒有憑借什麽老本出來做官，只是他們的才幹可以參與治理天下，妳想因此離間我們君臣關系嗎？”
很久後，因病辭職，（天子）下詔發給原來的奉祿回家，看病的問候的使者路上接連不斷。碰到病重，天子下詔書讓皇太子往問候，天子還親身到他家，撫摩著他話語梗塞。死時，年僅四十六，天子為之痛哭。到埋葬時，追加司空官銜，贈謚號為“成”。手寫詔書要虞世南在石碑上寫字，讓他表達沈痛悼念的心意。
有壹天，（天子）吃瓜時發現味道好，就留下壹半祭奠（杜如晦）。天子曾經送房玄齡壹根黃銀帶，說：“杜如晦和您壹同輔佐我，現在只見到您。”泫然流淚說：“世代帶著黃銀帶，鬼神見它害怕。”又取出金帶，派房玄齡送到杜家。後來忽然夢見杜如晦像平日壹樣，第二天向房玄齡說了這件事，命令送自己所用的飯菜往祭奠。第二年到吉祥的日子，派皇宮官員往慰問（杜如晦）的妻子兒女，官府的官員的拜見也不停止，對他們壹家的恩惠和禮節壹點也沒有減少。
當年（杜如晦）做宰相時，天下剛剛平定，官府的所以規章制度，都是兩人討論決定的。每當在天子住所議事，房玄齡壹定會說：“沒有杜如晦不能商量這些事情。”等到杜如晦到了，最後卒用的是房玄齡的計謀。壹般杜如晦擅長於決斷，而房玄齡善於出點子，兩人深深地相互了解，所以能夠同心商量，來輔佐天子。當時說到好的丞相，壹定會說到房、杜。