魏徵早年參加瓦崗起義，跟隨魏公李密，但不得重用。武德元年（618年）歸降唐朝，負責勸降英國公李勣。後授太子洗馬，輔佐太子李建成，獻策平定劉黑闥和山東地區。玄武門之變後，歸於唐太宗李世民麾下，初授諫議大夫、檢校尚書左丞，安撫河北。再遷秘書監，參預朝政，校定古籍。後遷侍中，封巨鹿郡公，負責門下省事務。累授左光祿大夫、太子太師，進封鄭國公。他多次直言進諫，推行王道。曾提出“兼聽則明，偏聽則暗”，“居安思危，戒奢以儉”，主張“薄賦斂”，“輕租稅”，“息末敦本”，“寬仁治天下”等，對李世民的行動及施政給以極有益的影響，輔佐李世民***創“貞觀之治”。貞觀十七年（643年），魏徵去世，享年六十四歲。獲贈司空、相州都督，謚號“文貞”。隨後名列“淩煙閣二十四功臣”第四位。
魏徵曾參與修撰《群書治要》及《隋書》序論，《梁書》《陳書》《齊書》的總論等，其言論多見《貞觀政要》。今存《魏鄭公文集》與《魏鄭公詩集》。
魏徵最出彩的故事在大唐開國之後。
武德五年（622年），竇建德舊部劉黑闥勾結突厥寇犯山東。魏徵見李建成雖然是嫡長子，但是功績不如李世民，於是建議李建成去請戰立功。李建成聽從魏徵的建議，擒斬劉黑闥，平定山東。
武德九年（626年），李世民發動玄武門事變，誅殺李建成與齊王李元吉。李世民聽說魏徵以前經常勸諫李建成把自己安排到別的地方去，於是派人把魏徵帶來，問道：“妳為什麽要離間我們兄弟？”魏徵回答：“太子要是按照我說的去做，就沒有今日之禍了。”李世民見魏徵說話直爽，沒有絲毫隱瞞，於是赦免魏徵，並用魏徵為詹事主簿。
貞觀元年（627年），李世民登上帝位，任命魏徵為尚書左丞。李世民有誌建立盛世，多次於臥榻召見魏徵詢問得失，魏徵直言不諱，前後上諫兩百多事，李世民全然接納。
同年，李世民派魏徵往河北安撫李建成、李元吉的舊屬。魏徵在路上碰見原東宮千牛李誌安、齊王護軍李思行被押往京城，魏徵讓將二人釋放，仍舊任命官職，這樣河北地區的隱太子舊屬才會相信李世民是真的要赦免他們。
貞觀三年（629年），魏徵被任命為秘書監，開始參預朝政。魏徵上奏李世民帶領學者將古籍分為四部，並對其進行校定。
貞觀五年（631年），李世民與魏徵談及選人為官壹事，魏徵說先要了解他的才能，然後審核他的品德，以及愛好這些。
長樂公主李麗質因長孫皇後所生，李世民對她特別鐘愛，將她許配給長孫無忌之子長孫沖。貞觀六年（632年，《舊唐書·魏徵傳》記為貞觀五年）開始準備嫁妝，李世民對眾臣說：“長樂公主，皇後所生，朕及皇後並所鐘愛。今將出降，禮數欲有所加。”大臣紛紛表示“陛下所愛，欲少加之”，於是皆進言請求加倍於永嘉長公主，李世民欣然同意。然而魏徵對此表示反對。因為永嘉公主乃是長樂公主的姑姑。此舉逾越了禮制。李世民回宮把此事告訴了長孫皇後。長孫皇後得知此事後感嘆魏徵能“引禮義抑人主之情”，並對他大加贊賞。特地派人前去賞賜給魏徵絹四百匹、錢四百緡，並傳口訊說：“聽聞妳正直，現在見識到了，希望妳壹直保持，不要改變。”不久，魏徵晉升爵位為郡公。
貞觀七年（633年），魏徵代王珪任侍中，尚書省長期積壓沒有判決的訴訟案，李世民命魏徵秉公處理。魏徵不大熟悉法律，但能抓住根本原則，依實際情況處理，大家都心悅誠服。
貞觀八年（634年），陜縣丞皇甫德參上書觸怒了李世民，李世民認為這是毀謗。魏徵進言說：“從前賈誼在漢文帝時上書，曾說到‘可以為帝王痛哭的事有壹件，可以為帝王長嘆息的事有六件’。從古以來上書奏事，往往言辭很激切，如果不激切，就不能打動人主的心。言辭激切就近似毀謗，陛下妳應該仔細想壹下這樣的事對還是不對。”李世民覺得魏徵說的有道理，下令賞賜給皇甫德參帛二十段。
貞觀十年（636年），長孫皇後去世。長孫皇後入葬昭陵後，李世民對她思念無法停止，為了緩解思憶之苦，便在宮中建起了層觀，終日眺望妻子的陵墓，還讓大臣陪同悼念。壹次李世民讓魏徵陪同，並指著昭陵的方向問魏徵是否看清了，魏徵裝作沒看見，李世民頓時著急，問“怎麽會沒看見，那是昭陵啊！”魏徵聞言回答說“以為陛下望的是獻陵，原來是昭陵啊！” 李世民聽後明白魏徵是在提醒自己，不要只顧及思念亡妻而忘了父親。於是便哭著下令拆掉了層觀。
貞觀十壹年（637年），李世民東巡洛陽，住在顯仁宮，因州縣官吏供奉不好，大都受到了譴責。魏徵告訴李世民當初隋煬帝楊廣曾在此讓附近的百姓上貢，貢品吃不完就扔掉，十分浪費。
貞觀十二年（638年），禮部尚書王珪上奏說：“三品以上的官員在路上遇到親王，都下車，違反法度來表示恭敬，這違背了禮儀的標準。”李世民說：“妳們自己的地位都尊貴，就輕視我的兒子嗎？”魏徵進言說：“從古至今，親王列在三公之下。現在三品都是天子的列卿和八座之長，為親王降乘，不是親王所應承受的禮節。求之於舊例，又沒有可以作為憑證的依據；施行於當今，又違背了國法。”李世民說：“國家所以立太子，是準備他做國君。然而人的長短，不在老少，假如沒有太子，那就依次立太子同母的弟弟。這樣說來，怎麽能輕視我的兒子呢？”魏徵說：“殷代崇尚質樸，有兄長去世其弟即位的禮義；自周以來，立太子必定要是嫡出的長子，以這杜絕各個兄弟的私念，堵塞禍亂的根源，這是國君應當十分慎重的事。”於是李世民同意了王珪的奏言。
此年三月，太子李承乾的嫡子李厥出生。因為皇孫誕育之喜，李世民大行慶祝，又召集五品以上官員在東宮舉行大型的宴會。席間，李世民對侍臣說：“貞觀以前，跟隨我平定天下，輾轉奔波於亂世，這是房玄齡的功勞。貞觀之後，盡心對我，進獻忠直的勸告，安國利民，敢於冒犯國君尊嚴直言規勸，糾正朕的過失的，只有魏徵壹人而已。古代的名臣，也不能超過他們。”於是親自解下佩刀，賜給二人。
貞觀十三年（639年）五月，魏徵乘李世民詔五品以上的官員上封事之機，全面地、系統地總結了此時政事不如貞觀之初的事實，撰成《十漸不克終疏》。疏中列舉了李世民搜求珍玩、縱欲以勞役百姓、昵小人、疏君子、崇尚奢靡、頻事遊獵、無事興兵、使百姓疲於徭役等不克終十漸，批評了李世民的驕滿情緒，再次提醒他慎終如始。李世民看完奏疏後，欣然接納，並對他說：“朕今聞過矣，願改之，以終善道。有違此言，當何施顏面與公相見哉！方以所上疏，列為屏障，庶朝夕見之，兼錄付史官，使萬世知君臣之義。”於是賜魏徵黃金十斤、馬二匹。
貞觀十四年（640年），魏徵向李世民上諫，讓李世民要善始善終。
後來，太子李承乾不學習德行和術業，魏王李泰的寵愛壹天天增長，朝廷內外眾官，都有些疑慮和議論。李世民聽到後很厭惡這些議論，對侍臣說：“當今朝臣忠誠正直的，沒有人能超過魏徵，我派他輔佐皇太子，用這杜絕天下的怨言。”貞觀十六年（642年），李世民任命魏徵為太子太師，知門下省事如舊。魏徵自稱有病推辭，李世民下詔回答說：“漢朝的太子以四老為輔佐，我現在依靠您，也是這個道理。知道您患病，妳臥病也可以保全太子。”
自貞觀十六年（642年）起，魏徵的病情加重，李世民常派中使探望，還讓中郎將留宿魏徵家中，隨時奏報他的病情，期間賞賜的藥食不計其數。魏征的住宅原先沒有正室，李世民把原來自己準備建小殿的材料移給魏徵營造正室，五日就修成了；同時派中使攜帶白色的褥子和布被賜給魏徵，以此滿足他崇尚簡樸的心願。
貞觀十七年（643年），六十四歲的魏徵病重，將不久於人世。李世民聞訊後，親自到魏徵家中探視，屏退左右侍從，與他交談良久，方才回宮。後來，他帶著太子李承乾和嫡女衡山公主（即新城公主）再次到魏徵家中。魏徵強撐病體，穿戴朝服，拖著帶子。李世民見狀，悲從中來，壹邊撫摸著魏征壹邊流淚，問他有什麽想說的，魏征說：“寡婦不愁織布的緯線少，而憂慮宗周的危亡（嫠不恤緯，而憂宗周之亡）。”李世民將衡山公主許配給魏徵的長子魏叔玉，指著衡山公主對他說：“魏公，睜開眼睛看看妳的兒媳！”但魏徵已經身體衰弱到無法起身謝恩了。數日後，李世民忽然在夜裏夢見魏徵，如同平日裏壹樣，到次日清晨，魏徵逝世的消息傳到宮中，時為貞觀十七年正月戊辰日（643年2月11日）。李世民親臨其喪禮，痛哭流涕，為魏徵廢朝五天，並令內外百官與在長安的朝集使壹同前來參加喪禮；太子李承乾在西華堂為他舉哀。隨後，李世民下詔追贈魏徵為司空、相州都督，賜謚號“文貞”；同時賜羽葆、鼓吹，加班劍四十人，贈絹布壹千段、米粟壹千石，允許他陪葬昭陵。
將要下葬時，魏徵的妻子裴氏說：“魏徵平生節儉，現在按壹品官的禮節安葬，所需儀仗、器物太多，不符合魏徵的誌願。”對朝廷供給的壹切儀仗和物品都推辭不受，僅用白布、帷幕裝飾承載靈柩的素車，不用花紋、色彩和芻靈。李世民親自登上禦苑的西樓，望著魏徵靈柩的方向痛哭，竭盡哀思，命百官送靈柩出長安郊外。晉王李治奉詔致祭，李世民親自為魏徵撰寫碑文，並將它書寫在墓碑上。之後，李世民追思魏徵不已，又賜其家封戶九百戶。