由於圖書館地基不夠用，設計師凱爾斯大膽將主樓後移，用柱子支撐主樓背面，用環形走廊與地面連接，使圖書館正面平坦寬闊，背面更加高大宏偉。
老圖書館主樓壹層正面采用重型水泥橋臺和西式雙柱支撐中式休息峰；正門為三開間、單孔門，用四根相對的柱子組成壹個高大寬闊的玄關，既用了西式的雙廊柱，又用了中國古典建築中的麻雀和額頭。舊圖書館的外部裝飾在中國是非常傳統的。塔頂八角重檐，單檐雙歇，形似皇冠，跨度18米。七環鼎豎立其上，既起裝飾作用，又有排氣作用；屋頂有加熱煙囪，裝飾成通靈寶塔，處處體現了實用性與藝術性的完美結合。南角有厚角石，名為“雲紋照壁”，北角有小塔，護欄左右勾欄，中央雙龍相吻，產生“圍脊”的效果。斜頂山的屋頂與閱覽室相連，前面有兩棟附屬建築，被稱為“斜山季連”。
老圖書館正門上方，有壹幅鏤空的中國圖書館始祖老子鐵像。基本造型是老子手持竹簡，深深凝視前方。由於老子是中國自有文字記載(周的《圖書館員史》)以來最早的“圖書館員”，所以他在老圖書館前雕刻了這個“抽象簡筆畫”，以紀念他對弘揚中國文化的貢獻，並慶祝他在學術研究和文獻收集方面的勤奮。老子畫像兩側的雲紋圖案寓意“綠燈帶書”，象征著學生刻苦學習、刻苦鉆研的意境。四面通風采光，可滿足240多人同時閱讀借閱，還可作為學術報告廳。整潔的舊圖書館壹樓中間的閱讀大廳高9.6米，與19世紀初歐洲大廳圖書館陳列的深棕色橄欖木桌椅相同。簡單美觀，壹直沿用至今。
老圖書館主附樓後面的接合處還有壹座西式吊腳樓，是洗拖把的地方。精致的細節值得玩味和學習。
值得壹提的是，老圖書館的外觀與北京故宮頗為相似，內部的供暖方式也與故宮十分相似:壹樓大廳閱覽室的木地板下有壹條供暖通道。寒冷的冬天，燒壹個烘烤爐，熱風進入暖氣通道，讓地板變暖，讓閱覽室溫暖如春。不幸的是，由於年代久遠，這個供暖系統已經不能使用了。