三味書屋塾師壽鏡吾次子壽洙鄰曾解釋說：“三味是以三種味道來形象地比喻讀詩書、諸子百家等古籍的滋味。幼時聽父兄言，讀經味如稻粱，讀史味如肴饌，讀諸子百家味如醯醢(xī hǎi）（醢系肉或魚剁的醬）。但此典出於何處，已難查找。”後來有探究到宋代李淑《邯鄲書目》所言：“詩書味之太羹，史為折俎，子為醯醢，是為三味。”，認為“三味”可能出自與此。魯迅讀書的“三味書屋”兩旁屋柱上有壹副抱對，上書：“至樂無聲唯孝悌，太羹有味是詩書”，可見“三味書屋”中的“三味”應該用的就是這個意思。但仍有不少人對此持質疑態度：像壽鏡吾這樣壹位飽學秀才——“本城中極方正、質樸、博學的人”（見魯迅《從百草園到三味書屋》壹文），怎麽會用“肴饌”、“肉醬”之類來形容讀書？，如果是飯館或酒館的匾還說得過去，用作書屋之匾，這解釋似乎牽強了。
同時，壽鏡吾之孫壽宇先生認為：“這樣的解釋淡化了祖先對清王朝的反叛精神。”他在所著文章中講道：“我不止壹次地從我祖父壽鏡吾的口中，聽到解釋三味書屋的含義。祖父對‘三味書屋’含義的解釋是‘布衣暖，菜根香，詩書滋味長’。”，“布衣”就是老百姓，“布衣暖”就是甘當老百姓，不去當官做老爺；“菜根香”就是滿足於粗茶淡飯，不羨慕、不向往於山珍海味的享受；“詩書滋味長”就是認真體會詩書的深奧內容，從而獲得深長的滋味。“這第壹點‘布衣暖’非常重要，這是我祖先峰嵐公、韻樵公的思想核心，產業的失敗，使他們看清了清王朝的腐朽本質，他們認為在禍國殃民的清王朝當官就是為虎作倀，是害人害己。於是，把三味書屋的辦學方向也作為子孫的人生指南，不許自己的子孫去應考做官，要甘於布衣暖，菜根香，品嘗詩書的滋味。”壽宇說，壽鏡吾生前曾對他說：“這三味的含義不能對外人說，也不能見諸文字，這是祖先韻樵公定的壹個家規，因為‘三味’精神有明顯的反清傾向，壹旦傳出去可能要招來殺身之禍。”
此外，有人認為是借用了佛教語言，“三味”即“三昧”，是梵文samadhi的音譯，原指誦讀佛經、領悟經義的三重境界：壹為“定”，二為“正受”，三為“等持”，意思是說，誦經之前要止息雜念，做到神思安定專註；領悟經義態度必須端正，具有百般恭敬的虔誠；學習過程中要專心致誌，保持始終如壹的精神。隨著佛教思想與漢民族文化的融合，“三昧”逐漸引申為對事物本質精神意義的概括，有“個中三昧”，“得其三昧”等說法，用來比喻領悟學問的精確與深刻。
也有人認為是《三國誌·董遇傳》中的三余：“冬者歲之余，夜者日之余，陰雨者時之余也。”後來改成了“三味”，也有考證“三余”為“公余、飯余、茶余”的，但此種假說也質疑不斷。