《新華字典》的來歷如下：
1946年，北京大學的語言學家魏建功先生和周祖謨先生壹起聊天，他們認為字典對開發知識、提高文化有著極大的重要性，想要編撰壹部小型的字典來供中小學生使用。
為此，魏建功先生約了金克木、吳曉鈴、張建木、周祖謨四位北京大學的語言學家壹同商談字典的編纂體例。魏先生家住北京東四牌樓大街，特別熱鬧，樓下有不少為人搬家運貨的“腳行”，以姓為記，姓王的就叫“王記腳行”，姓李的就叫“李記腳行”。
魏先生見他們是五個人，就把他們編纂的小字典，起名為“伍記小字典”，這本字典也是《新華字典》的前身。不過，由於種種原因，《伍記小字典》並未最終完工。
新中國成立初期，人民群眾的文化水平普遍比較低，為了編寫出滿足群眾識字和學文化需求的好用的字典，時任國家新聞出版署副署長兼編審局局長的葉聖陶先生兩次致函北大副校長湯用彤先生，邀請北大中文系主任魏建功先生主持籌建辭書機構並領銜編寫壹本字典。
魏建功先生接受了邀請，因為這與他曾經的理想不謀而合，內心也壹直為“伍記小字典”項目擱淺遺憾不已。
1950年8月1日，辭書機構正式成立，魏建功先生任社長。魏建功先生給這個機構起名為“新華辭書社”，未來的小字典也被命名為《新華字典》，寓意“新的中華”。名字雖然變了，但是《新華字典》的編纂原則和《伍記小字典》壹脈相承。
新華辭書社規模並不大，起初只有魏建功、張克強、李九魁、李文生等幾位工作人員，後來人最多時也僅有14人，其中還包括負責財務、購置物品的總務人員。魏建功先生為兼職，壹半時間在人教社編字典，壹半時間在北大教書。