1901年11月7日，生於江蘇省海安縣西場鎮。魏建功的祖父是清末秀才，當過30多年鎮董，做了很多辦學興教、修橋建路的事情。他的父親繼承、經營了家業。魏建功少年時曾在南通七中就讀，受到有著深厚國學根基的老壹輩語言學家孫錦標(伯龍)、徐昂(亦軒)的獎掖和乾嘉學風的熏陶，愛聽講文字訓詁，對“小學”很感興趣。
1918年，南通中學畢業，1919年，魏建功考入北京大學預科，靠江蘇同鄉會每季40元的經濟補貼，半工半讀維持學業。在預科學習期間，他已有誌於民間歌謠和方言的研究。
1919年，他考入北京大學，靠江蘇同鄉會每季40元的補貼，半工半讀維持學業。當時的北大和蔡元培、陳獨秀、李大釗、魯迅、劉半農、錢玄同、胡適等壹批名流學者聯系在壹起，正是輝煌時期。魏建功在北大成了錢玄同的得意門生。
1921年他進北大研究所國學門，邊工作邊學習。在錢玄同、沈兼士、馬裕藻、沈尹默等名家指導下，熟悉了文字、音韻、訓詁等專業知識，打下了厚實的底子。此期間，他為顧頡剛審訂北京《晨報》登載的歌謠註語，考證方言本字；參加收集歌謠、編《歌謠周刊》、整理明清檔案、纂輯工具書、考古調查、方音調查、民俗調查等活動，還參加了清室善後委員會接收、管理故宮的工作。在國學門的這段經歷，極大地開拓了魏建功的視野，鍛煉了他從事歌謠研究、國故整理、語言文字建設方面的功力。
1921年，他進北大研究所國學門，邊工作邊學習。在錢玄同、沈兼士、馬裕藻、沈尹默等名家指導下，熟悉了文字、音韻、訓詁等專業知識，也打下了厚實的底子。
1923年，還在北京大學求學時，他寫下了《搜集歌謠應全註音並標語調之提議》，認為歌謠的采錄應該註意到聲音方面，對歌唱時的實際語音要加註，並標語調，這樣可以得到真切而有價值的方言調查材料，給研究語言學以有力的幫助。此外，他還寫有《歌謠之辭語及調譜》、《歌謠表現法之最要緊者——重奏復沓》、《拗語的地方性》等壹批研究歌謠的文章。後在錢玄同的指導下，他以吳歌的韻腳字作根據，從而分出吳歌的韻類，再用國音的韻類作對照，寫出了長篇論文《吳歌聲韻類》，這既是壹份很好的方言調查報告，也是他學生時代研究歌謠與方言的壹個總結性成果。
1925年，魏建功以優異的成績畢業，留校當助教，協助劉半農做“語音樂律實驗室”的工作。1928年，魏建功參加了“國語統壹籌備委員會”，並被推為常務委員，委員則有蔡元培、胡適等31人。這期間，魏建功參與決定用北京語音為國語標準（今稱普通話），推行註音字母和國語羅馬字方案，舉辦講習所，創辦刊物等。
1925年錢玄同、黎錦熙創辦捍衛白話文的《國語周刊》，魏建功是主要撰稿人之壹。
1925年，北京大學中文系畢業，先後任教於北京大學、中法大學、朝鮮京城帝國大學、西南聯合大學、四川白沙女子師範學院等院校、擔任過助教、講師、副教授、教授、系主任、教務主任等職務，並曾在輔仁大學、燕京大學、女子師範大學等校兼課。
1928年，他在老師錢玄同先生的推薦下，加入教育部“國語統壹籌備委員會”，並任7名常委之壹，負責編輯《國語旬刊》，兼“大辭典編纂處”的資料員，時年27歲。
1928年蔡元培約集錢玄同、黎錦熙等人籌建“國語統壹籌備會”，魏建功參加了該會的工作，並與錢玄同、黎錦熙、陳懋治等7人被推為常委。凡有關國語運動的歷次重大活動，魏建功大都參與其中，付出了大量心血，工作卓有成效。
1929年，魏建功重返北大中文系，歷任助教、副教授、教授至抗戰開始。八年中他潛心於教學與科研，學術思想日趨成熟。他在文學音韻訓詁方面的研究，註重結合現實的語文工作，提倡為實際需要服務。他通過對北平音系的形成歷史的研究，斷定北平音系是中國標準語演變最晚出的結果。為此，他發表了《說轍兒》、《情詢如北平音系十三轍序》。
1930年，在研究韻書系統方面，魏建功是繼王國維後有成就的人之壹。他先後發表了壹系列研究中古韻書的論文。如根據《切韻》與六朝韻書點系來研究《切韻》性質的《陸法言切韻以前的幾種韻書》，根據唐宋兩系韻書的差異說明《廣韻》與《切韻》關系的《唐宋兩系韻書體制之演變》等，補充、發展了前人的學說。
1935年，發表的《古音系研究》這部研究音韻學史的專著是他的代表作。全書約三十萬字，分別就古音系的分期，古音系的內容，研究古音系的材料、方法和條件，以及古音系研究的實際問題，闡述了自己的見解。魏建功多年來攻治音韻學和從事教學工作所積累的成果。它不但匯集了前人研究音韻學的經驗，也為後人繼續深入研究創造了條件。除了音韻學上的價值之外，對研究方言學和文字訓詁學也是壹部不可或缺的參考書。它在漢語語音的研究上同樣占壹席地位，博得國內外學者高度評價和贊賞。這壹期間，魏建功先後開設了聲韻學概論、方言研究、等韻研究、民間文藝講話、聲韻學史、古音樂研究等8門課程。
1940年，“國語統壹籌備會”改名為“國語推行委員會”。魏建功由西南聯大轉到四川白沙，他在國立西南女子師範學院創辦了“國語專修科”。這是國語推行委員會在全國設立的三個“國語專修科”之壹。
1941年，他參與編訂的《中華新韻》由當時的國民政府明令頒行，成為國家韻書。
1944年前後，“國語推行委員會”分別在西北地區和重慶地區設置了兩個推行國語的據點，西北地區由黎錦熙負責，重慶地區由魏建功負責。
1945年8月，魏建功以“國語會常委”的身份，被臺灣行政長官公署教育處“借調”去臺灣推行國語，作為臺灣國語推廣運動委員會主任委員，為臺灣地區倡導國語竭盡全力，使臺灣地區成為中國最早普及漢語國語的省份。立即和副主任委員何容先生等著手推行國語的工作。魏建功和大家壹起，對臺灣同胞學習國語的現狀和問題進行了認真地調查研究，並以他語言學家的專業學養和多年從事國語運動的經驗，擬定了臺灣國語運動的六條綱領；提出了“以臺灣方言對應普通話規律學習國語”的方法；並連續在報刊上發表了《國語運動在臺灣的意義申解》、《何以要提倡從臺灣話學習國語》、《怎樣從臺灣話學習國語》、《學國語應該註意的事情》、《臺灣語音受日本語影響的情形》、《日本人傳訛了我們的音》等大量文章，從理論上指導國語運動的開展。
1946年4月，臺灣省國語推行委員會正式成立，魏建功擔任主任委員。由於日本侵占臺灣後強制推行奴化教育達半個世紀之久，臺灣省的中年壹代多數人雖尚能講些母語，但因受奴化教育影響過深，講日語、寫日語，讀日文書，用祖國語言交流已退到家庭的狹小範圍；而青少年則大多已不能講自己的母語了。臺灣光復後，臺胞們學習國語熱情高漲。為了加快國語普及的推進速度，魏建功提出切實可行的在臺灣推行國語的幾條原則，如：實行臺灣話復原，從方言比較學習國語；註重用國音讀字，由臺灣話讀出音引渡到國音；研究臺灣語與國語的詞類對照；利用註音符號貫通中華文化等等。在他的提議下，廣播電臺開設了國語講座。這段時間，他所撰寫的《國語運動綱領》、《日本人傳訛了我們音》、《學國語應註意的事情》等文章，非常直接、適時地指導著臺灣的國語運動。
1946年11月，魏建功專程回到北平招聘“國語推行員”赴臺，分派到臺灣各地民眾教育館去協助開展國語運動。
1948年10月，他在臺灣為推行國語運動做了最後壹件事，即把當時設在北京的《國語小報》連人帶設備遷到臺灣，創辦了《國語日報》後旋即回京，任北京大學中文系教授。
1948年，魏建功回到他的母校——北京大學，任中文系教授。不久，北平和平解放，他以“欣逢盛世”的心情，積極參加教學科研和各項社會活動。先後擔任或兼任中文系系主任、副校長，新華辭書社社長、《中國語文》雜誌常務編委、中國文字改革委員會委員等職。他參與制定漢字簡化(第壹批)方案的工作，寫下大量文章闡述文字改革的意義及漢字改革的可能性和必要性、漢字改革的發展方向及對漢字改革應抱有的正確態度。
1949年4月，他參照大家的意見，擬了編寫字典計劃，設想所編字典應具有的“十大特色”：1.就實際語言現象編定；2.以音統形；3.以義排詞；4.以語分字；5.以用決義；6.廣收活語言；7.由音求字；8.由義選詞；9.適合大眾；10.精選附錄。使之成為適合廣大民眾需要的基本工具。1950年魏建功應邀到出版總署牽頭組建新華辭書社。8月回日新華辭書社宣告成立，魏建功兼任社長，開始主持編纂《新華字典》。由葉聖陶直接指導，在全社同仁***同努力下，歷時3年的苦戰，《新華字典》終於在1953年10月面世。全書70萬言，收字6840個。魏建功原設想的“十大特色”被進壹步歸納為“以音統字、以字統義、以義統詞”的總體例。這12字的總體例體現了魏建功“音為基礎”的壹貫主傳，正是“革除以往重文輕語，不重視活語言”的新型字典的。“新”之所在。《新華字典》第壹次印刷10萬冊，它的出版發行，深受廣大群眾歡迎。現已幾度修訂再版，成為人們學習文化必不可少的好幫手。
1950年，魏建功應邀牽頭組建新華辭書社並兼任社長，開始主持編纂《新華字典》，經3年苦戰，《新華字典》於1953年10月面世。全書70萬言，收錄6840個字，其特色為“以音絕字、以字統義、以義統詞”，體現了魏建功“音為基礎”的壹貫主張，著名語言學家袁家驊先生評價說：《新華字典》擺脫了舊字典註釋“某，真也”陳陳相因的老套子，每個字的釋義都明白如話，真是大功力。
1952年，他被聘為政務院文教委下設的中國文字改革研究會12名委員之壹，兼文字整理組副主任。他全身心地投入到《漢字簡化方案》的制訂工作中，因為自己的多年夙願將要在新中國實現了。
1954年，魏建功被推為經文改研究會第四次全體會議決定組成的“七人小組”成員，具體主持《常用字簡化表草案》第五稿的修訂。可以說，魏建功為中國的語言教育、文字改革做出了重要的貢獻。
1955年，魏建功先生被選聘為中國科學院哲學社會科學學部委員（院士）。
1959年，他受國家委托在北京大學創辦古典文獻專業，為培養古籍整理的專業人才付出了心血。他所教過的學生很多已成為中國語文及古典文獻教學和學術研究方面的骨幹和專家。代表作有《古音系研究》等，主要著作收入《魏建功文集》。
1972年，魏建功被北大派遣參加中央委托北京市委召開的批判林彪罪證座談會。
1973年6月，他又被派參加中央委托北京市委召開的第二次批判林彪罪證座談會。
1979年，時他的腎功能已經嚴重損傷，卻依然咬緊牙關堅持認真審定《辭源》的稿件，經常工作至深夜。1980年2月18日他終因病故去了。
1980年2月18日魏建功因病故去，終年79歲。