1914年11月19日，出生於北京。
幼年受父教，讀儒家基本典籍。
七歲入北京高等師範附設小學，跳級畢業。
11歲入北京師範學校，後轉入成誌中學。
1930年考入北京師範大學附中高中男部。1932年畢業，同時考取北京大學中文系和清華大學英語系，因後者學費較高，最後入北京大學中文系。從羅常培學音韻學，畢業論文《篆隸萬象名義中之原本玉篇音系》。
1936年畢業於北京大學中文系，考入中央研究院歷史語言研究所語言組，任助理員，得以向趙元任問學。和董同和同寢。
1937年回北平省親，因抗戰爆發，滯留家中。
1938年起在輔仁大學國文系任教。
1938年《廣韻校本》北京商務印書館出版。
周祖謨手稿
1939年被聘為輔仁大學國文教員，後被聘為國文系講師、副教授，講授過語音學、等韻學、高本漢中國音韻學、比較訓詁學、甲骨文研究等課程。
1947年改任北京大學中文系副教授，兼文科研究所秘書、圖書館專門委員、北京大學《國學季刊》編輯委員會委員。
1950年起任北京大學中文系教授，先後主講現代漢語、漢語史、音韻學、說文解字研究、語言文學要籍解題等課程。
1953年兼任中國科學院普通話審音委員會委員，《中國語文》和《語言研究》編輯委員。
1955年受高教部委托起草《現代漢語教學大綱》。
1957年代理中文系漢語教研室主任。
1958年《漢魏晉南北朝韻部演變研究》第壹分冊（與羅常培合著）科學出版社出版。
1966年中華書局出版其著作《問學集》（上下）壹書是他的代表作。
1979年被聘為北京大學學術委員會委員。1981年被批準為第壹批博士生導師，同年12月被國務院聘為古籍整理出版規劃小組組員。
1981年應邀到香港中文大學中國文化研究所和中國語言文學系講學。
1982年至1984年任中文系古典文獻專業教研室主任兼研究室主任。
1984年古典文獻研究室改為研究所，任所長。
1984年出版的《唐五代韻書集存》是作者30余年來搜集、整理、考訂的總結性成果，總集唐五代韻書並考釋其源流的壹部大書，為研究漢語單韻、詞匯、訓詁提供了重要資料。
1984年赴日本講學，並參加二十九屆國際東方學者會議。
1985年兼任全國高等學校古籍整理工作委員會委員。
1995年1月14日因病在北京去世，享年81歲。
學術生涯
周祖謨三十年代就讀北大中文系，師從沈兼士、羅常培，二年級即發表論文《說文解字之傳本》，其時北大遂有“前有丁聲樹，後有周祖謨”之說。畢業後考入中研院歷史語言研究所(南京)，有意追隨趙元任、李方桂，以加強語言學及方言調查的訓練；但未及壹年，因母病北返侍奉，旋以抗戰爆發，南北阻隔，只得滯留北平。因此他在研究方法上，遂錯失親近審音派的機緣，而終為考古派的代表。
周祖謨治學，始終以音韻學為重心，而兼及文字、訓詁、文獻方面；其中尤用力於古語言學文獻的校理，為最顯著的特色。其論文根柢紮實，多有創獲，曾匯編為《漢語音韻論文集》，以後增補為《問學集》兩冊，臺灣、日本皆有翻印，為當代引用率最高的漢語史著作之壹。專著《漢魏晉南北朝韻部演變研究》第壹分冊(與羅常培合作)、《魏晉南北朝韻部之演變》，對詩文用韻材料進行通盤清理，藉此重構上古音與中古音之間的歷史缺環；《廣韻校本(附校勘記)》、《爾雅校箋》、《方言校箋》、《釋名校箋》皆為古漢語文獻的最佳整理本；《唐五代韻書集成》集敦煌韻書之大觀，比勘異同，考訂源流，為中古音研究的基礎性文獻。此外尚有《洛陽伽藍記校釋》，亦遠邁前賢，為古籍註釋的高峰。
追溯上古音，須以中古音為初階；構擬中古音，必以《切韻》為樞紐；而《切韻》的音系性質問題，又為語言學史上壹大訟案，至今未有定論。周祖謨於此，六十年代有《切韻的性質和它的音系基礎》壹文，在中外影響甚巨；張琨雖不盡認同其說，亦承認此文為“最劄實詳瞻”之作，以為可與陳寅恪《從史實論切韻》並列，為有關中古語音及《切韻》性質問題的兩大經典。
1932年，周祖謨同時報考清華英語系及北大中文系。當時清華的國文試題包括對對子，題為“孫行者”，周祖謨對以“胡適之”，頗為出題的陳寅恪所賞。周祖謨為清華、北大同時錄取，以學費原因而選擇北大。據說時任北大文學院院長的胡適聞之，多次傳言約請周祖謨壹見，而周祖謨始終回避。以後周祖謨向旁人解釋：胡先生道德文章為壹代所宗，但與自己所學並非同壹系統，驟然晉謁，有攀附之嫌，雲雲。然周祖謨以“胡博士”對“孫猴子”，已先有揶揄意味；又不願低首拜謁，或於胡適不無輕蔑之心歟?
淪陷時期，周祖謨承陳垣聘任到輔仁大學講授國文，得以勉強維持生計。當時他與輔仁同事余遜、柴德賡、啟功三人關系密切，並時常到陳(垣)校長處請益，啟功回憶：“不知是誰，偶爾在陳校長的書裏發現壹張夾著的紙條，上面寫著我們四個人的名字，於是就出現了校長身邊有‘四翰林’的說法，又戲稱我們為‘南書房四行走’。這說明四個人名聲還不壞，才給予這樣的美稱，要不然為什麽不叫‘四人幫’呢?”