普智謀多，讀書少，有半部論語治天下之說。善吏道，後周顯德年間，先後為永興軍（治今陜西西安）節度使從事，滁州、渭州（治今甘肅平涼）軍事判官，同州（治今陜西大荔）、宋州（治今河南商丘縣南）節度使趙匡胤推官、掌書記。顯德七年（960）正月，普與趙匡義發動陳橋兵變，以黃袍加於趙匡胤之身，推翻後周，建立宋朝（北宋），普受封為右諫議大夫，充職樞密直學士。是年四月，後周昭義節度使李筠反宋，普建議宋太祖親征。宋得勝還師後，升普為民部侍郎、樞密福使。
宋太祖依普計，於建隆二年（961）“杯酒釋兵權”，削奪朝中諸將兵權；建隆四年（963），加強中央集權；乾德三年（965），削弱地方財權；乾德五年（967），加強中央禁軍建設；開寶二年（969），削奪節度使兵權；統壹全國，先南後北。乾德二年（964），普任門下侍郎、平章事、集賢殿大學士，負宰相責任。乾德五年（967）春，普加職右仆射兼門下侍郎，同中書門下平章事、昭文館大學士，成為名副其實的宰相。普入相後，堅於職守，對宋太祖忠貞不二。有當用者，普薦其為官，壹奏不用、二奏、三奏，直至太祖準奏。有立功應升遷者，太祖不予升遷，普為其力請，直至宋太祖從其請。開寶六年（973），普接受吳越王錢镠所送10瓶瓜子金，又違法從秦隴買來木材營建官邸，庇護部下貪贓枉法，宋太祖大怒。普被罷相，出為河陽三城（治今河南商孟縣）節度、檢校太尉、同平章事。
太平興國二年（977）三月，普升任太子太保，繼遷太子少保。太平興國六年（981）九月，普升為司徒、梁國公，二次入相。太平興國七年（982），宋太宗依普計，不再傳位於皇第趙延美。太平興國八年（983）十月，普再次免相職，出任武勝軍（治今河南鄧縣）節度、檢校太尉兼侍中。雍熙三年（986）春，宋太宗伐遼久未班師，普上疏力諫收兵息戰。雍熙四年（987），普移山南東道（治今湖北襄樊）節度，改封許國公。
端拱元年（988），普被冊封為太保兼侍中，三次出任宰相。普整頓吏治，懲治不法官員，直至戳其身。宋太宗按普建議，對黨項人采取糜政策。淳化元年（990），普因病三次上表辭相職，宋太宗不準，任普為西京留守、河南尹、依前守太保兼中書令。淳化三年（992）春，普又三次上表，請求辭歸故裏，宋太宗不準，拜普為太師，封魏國公，給宰相俸祿。是年七月，普卒。太宗聞之震悼，廢朝五日，贈普尚書令，追封真定王，賜謚“忠獻”，親撰並書寫八分字神道碑賜之。鹹平元年（998），追封普為韓王。次年，又詔普配饗太祖廟。