關於其名字的來由也有兩個說法，壹是因屋前臨二湖，故取堂名為“麗澤”，人稱“麗澤書堂”。另壹說認為：“麗澤”之名取於《周易》“兌封”象義：“麗澤，兌。君子以朋友講習。”“麗澤”意為兩澤相連，其水交流猶如君子朋友通過講會而交流知識、學說。朱熹曾來信建議命名為“尊賢堂”，呂祖謙去信婉言謝絕，他以《易經》聚朋論道的典故，定名為“麗澤堂”。