於道泉於1917年至1920年就讀於山東省省立甲種工業學校，以優異成績畢業，打下了堅實的理科基礎，同年考入山東齊魯大學，先讀化學系，兼修數學，後轉社會學，專修西洋史和社會學，於1924年畢業。就在這壹年，於道泉通過考試和選拔取得了公費留美的資格。在家人親友鹹來祝賀時，印度詩聖、諾貝爾文學獎獲得者泰戈爾去印度學習梵文和佛學，但因當時國內政治原因未能成行。此時，胡適之請俄國東方語文學博士鋼和泰在北京大學教梵文和印度古宗教史，泰戈爾遂將於道泉推薦給鋼和泰，於道泉就在北京大學擔任了鋼的隨堂英語翻譯，同時跟鋼學習梵文和藏文。也就在這壹時期，於道泉接受了陳獨秀、李大釗新思想的影響，走上了革命的道路，參加了中國***產黨的地下組織，並積極地向弟妹們灌輸社會主義、***產主義思想，鼓勵他們走了革命道路。
1926年去了北海圖書館（即今國家圖書館的前身）擔任滿、蒙、藏文書的采訪和編目工作，並多次用這三種文字發表專著和校勘佛經，在首都學術界已嶄露頭角。同時受聘在中央研究院歷史語言研究所兼職，在業余時間，還編纂漢、藏、梵三種文體佛學詞典。
上世紀30年代初，於道泉負責當時的國立北平圖書館（現國家圖書館）善本部，收集滿、蒙、藏以及其他兄弟民族文字和文獻。今天國家圖書館特藏部民族文字古籍的三分之二以上都是當年於道泉先生、彭色丹喇嘛和李啟德先生采集來的。
1934年，於道泉被公派到巴黎大學攻讀藏文。有人曾統計過，於道泉先生會13種語言，包括藏、蒙、滿族語言及英、法、德、西班牙、土耳其、世界語等。
1934年5月至1935年7月，在法國巴黎大學官費留學，學習法語，並附帶學習土耳其語。
1935年8月至1937年，在德國柏林學習德語。1937年下半年，又回到巴黎，以半工半讀的形式，壹方面在巴黎圖書館幫助整理圖書並編寫中文圖書目錄，同時還在東方語言學校教授漢語。
從1939年至1946年間，在英國倫敦大學東方學院擔任高級講師。這期間，國內是從抗日戰爭走向解放戰爭時期，於先生雖身居海外，但十分關心國內局勢，與在延安的三妹陸華（若木）、妹丈陳雲、四妹陸琳、二弟道源均有通信，互相問候，相互鼓勵。在教書之余，將趙樹理的《李有才板話》和《小二黑結婚》譯成法文，在《人道報》下屬刑物上連載。 1946年秋，懷著壹顆赤子之心，滿腔報國之情，應北京大學校長胡適的邀請，毅然放棄國外優厚的待遇，日夜兼程，回到祖國，到北京大學東方語文系，擔任蒙藏文教授，同時受聘於北京圖書館擔任特藏部主任。
新中國成立後，由胡喬木親自點名安排，籌辦了中央人民廣播電臺的對藏廣播，促進了西藏的和平解放，並與費孝通、季羨林壹起，舉辦了數期藏語學習法，為中央培訓了壹大批援藏幹部和專門人才。
1951年6月，中央民族學院成立，於先生又成了該院的藏文教授，並擔任了藏語教研組組長。在教書之余，還負責《藏、漢詞典》的編纂工作，1983年該詞典由民族出版社出版，填補了我國藏、漢語對照詞典的空白，也實現了於先生多年的夙願。
1946年於道泉先生回國後，直至1992年4月12日在北京逝世，他壹直都兼顧著國家圖書館善本部的工作，被稱為國家圖書館“不拿工資的館員”。 1992年4月12日， 於道泉先生終因心力衰竭而長逝，年終91歲。中央民族學院為其舉行隆重的追悼會，廣大師生***同哀挽這顆語言巨星的隕落。