楊以增壹生熱愛藏書。早在讀書時即秉承父業立誌藏書。道光五年（1825），開始收藏宋、元珍本秘籍。步入仕途後，多次易地任職，廣交文士，接觸和收集許多珍本古籍，道光十八年（1838）為父守喪，家居時開始建“海源閣”藏書樓。1840年 (道光二十年) ，家居為父守喪時得到文學家梅曾亮、包世臣協助，籌建藏書樓，取《學記》中“先河後海”語，為藏書樓取名“海源閣”。當時，清政府統治腐敗，社會動蕩，官僚豪門歷代收藏的典籍，常有散亂失落於民間者。楊以增利用居外為官之便，輾轉於吳越間，將當地數百年保存的重要文獻幾乎盡數收集起來，以船沿運河運至聊城。楊以增還通過各種關系和不同渠道，不惜巨資購得不少私人珍貴藏書。太平天國起義時，他正在江蘇清江浦任職，購得蘇州著名藏書家黃丕烈大部藏書。黃氏系乾隆年間舉人，喜歡藏書，搜集宋本圖書百余種，專藏壹室，名曰“百宋壹廛”，又稱“士禮居藏書”。楊以增得黃氏藏書，為海源閣藏書初步奠定了基礎。之後，他又得鮑氏“知不足齋”、秦氏“石研齋”、惠氏“紅豆山莊”、方氏“碧琳瑯館”藏書以及江都汪容甫、海寧陳仲魚、陽湖孫淵如、大興朱竹君等海內名家部分藏書，別辟書室曰“宋存書室”，藏天水舊籍，以元本、校本、影宋抄本附之。後又得宋本《毛詩》《三禮》《史記》《漢書》《後漢書》《三國誌》等，命其室曰：“四經四史之齋”，使海源閣藏書日漸宏富。