唐朝元和年間，坐落在益陽會龍山下的白鹿寺，是唐憲宗敕建的中國名寺之壹。寺內有位高僧，名廣慧禪師。
有壹日，廣慧禪師在齋堂用膳之後，剩下幾塊豆腐沒有吃完，想留著下壹頓再吃，就放進碗櫃裏，自己出寺化緣去了。
沒想到，這壹去就是兩個來月。等他回寺後，打開碗櫃門壹看，那幾塊豆腐上已長出了毛絨絨的白黴。用筷子輕輕壹點，很柔嫩細軟，並散發著壹股香氣。再把沾在筷子上的壹點點往口舌上壹嘗，感覺味道透鮮的，只是沒有鹹味。於是，他用少許食鹽泡制成鹽水，再用筷子夾壹點黴豆腐，放進鹽水裏蘸壹下，再嘗，這下感覺是鮮味有了，鹹味也有了，很是美味。
膳房和尚想道：“我來照著這個方法重新做壹次，做出來給我們寺裏人當菜吃，免去結冰天不好入菜園摘菜的困難。”他向廣慧禪師反復詢問後，就自己開始做起來。兩個月後，果真也做出了這種發酵的美食。
寺裏的和尚禪師們對這通過發酵長滿絨毛的豆腐，認為是佛的給予，稱其為“佛予”。民間順稱之為腐乳。
在楚地，腐虎諧音，虎貓同意，為避諱，慢慢改稱貓乳、貓魚，因此，在湖南益陽、長沙壹帶，習慣稱為貓魚。
腐乳的制作方法在白鹿寺代代相傳，目前已經申報非物質文化遺產。