他童年最著名的故事是《偷墻光》。
匡衡是西漢東海縣成縣(今山東省棗莊市嶧城區)人。他的父母世代務農，家裏很窮。他從來沒有壹個學者。匡衡小時候很聰明，特別喜歡讀書。父母也希望兒子能讀書寫字，讓匡家成為有文化的人。因為家裏貧窮，匡衡不得不為別人打工來換取生活和學習的費用。有壹年，他在村南坡趕豬，看見山上有塊石碑，就把手蘸了口水，壹個壹個地學著寫，模仿著碑上的字。很快，他就能憑記憶寫下平板電腦上的字了。
今年端午節，匡衡的母親拿出壹個葫蘆說:“丁兒(匡衡的小名叫匡丁)，這個葫蘆是農家的吉祥物。我們窮，也不求富貴，只求寶葫蘆保家。趕緊掛了。”匡衡想到了他剛剛在石碑上學會的話，於是他用木炭在葫蘆上寫下了吉祥這個詞。這時，三個富家子弟去圖書館學習，看到葫蘆上的字，感到很驚訝。他們不相信匡衡這麽年輕就能寫作，而且寫得這麽好。壹個矮個子公子說，“哼，連豬都識字。這不是浪費孔子嗎？”匡衡問:“為什麽放了豬寶寶就不識字了？”壹個高個子走到匡衡面前說:“看，吉祥這個詞多俗氣啊。妳應該寫“快樂生活沒有邊界”。妳會寫字嗎？”匡衡搖搖頭說:“我不會寫。”瘦高個說:“我給妳寫吧。”然後他把好運壹掃而光，用木炭寫了四個字。寫完後，三人又有說有笑地溜走了。這時，壹個識字的人告訴匡衡父子，原來的四個字寫成了“低谷中的繁榮”。食槽的頂部是餵養動物的地方。匡母聽了，氣得暈了過去。小匡衡趕緊把媽媽扶起來，說:“媽媽，從現在開始，只要孩子們餓了，他們就會學習閱讀。
匡衡不僅給別人養豬，還經常上山砍柴，下地幹活。只有中午休息的時候才有時間看壹些書，所以經常要十天半個月才能看完壹本簡體字的書。匡衡很著急，心想:我白天工作，沒時間看書，晚上可以多花點時間看書。然而，匡衡家很窮，他甚至負擔不起點燈的煤氣費。我們做什麽呢
匡衡的鄰居家很富有。晚上，在幾個房間裏點燃蠟燭使它們明亮。壹天，匡衡鼓起勇氣對他的鄰居說:“我想在晚上學習，但是我買不起蠟燭。我能借妳的房子壹寸嗎？”鄰居向來看不起比他們家窮的人，於是惡毒諷刺地說:“妳既然窮得買不起蠟燭，還看什麽書？”匡衡聽後非常生氣，但他決定好好讀這本書。
壹天晚上，匡衡躺在床上背誦他白天讀過的書。在我背後，我突然看到壹道光線從東墻透進來。他站起來，走到墻邊看了看。啊！原來是鄰居的燭光從墻縫裏透了進來。於是，匡衡想了壹個辦法:他拿起壹把刀，在墻上挖了幾個裂縫。就這樣，透進來的光也大了壹點，他借著進來的壹絲燭光開始看書。盡管光線昏暗，他還是對自己的發現欣喜若狂。幾天後，當鄰居不在家時，匡衡借了壹把錘子鑿子，在有裂縫的墻上鑿了壹個手指大小的洞。光線完全照射進來，匡衡終於能夠閱讀簡體字上的文字了。這就是“挖墻腳偷光”的故事來源。
從此，匡衡白天用柴火堵住洞口，晚上就把洞裏的柴火拿出來，借著燈光學習。夏天，村裏的每個人都在外面乘涼，而匡衡則呆在室內看書。出汗，蚊蟲叮咬，昆蟲叮咬，他都完全不理會。冬天，冷風習習，凍得手腳麻木，還在堅持。時間長了，他讀的書越來越多，都背下來了。讀書讓他明白，壹個人活在世上，應該是有德的，應該是有貢獻的，應該站出來，為國家和人民多做貢獻。他越讀越覺得自己的知識遠遠不夠。他想讀更多的書。
匡衡家附近有壹個大家庭，有很多書。壹天，匡衡卷起鋪蓋，出現在壹所大房子前。他對主人說:“請帶我進去。我會無償為妳工作，只要讓我讀完妳所有的書。”主人被他的精神感動了，答應了他借書的請求。
有誌者事竟成。經過十幾年的刻苦學習，匡衡不僅閱讀了大量的文學作品和經典著作，而且在齊魯大地上聲名鵲起。當時文人中有幾句口口相傳的話:“沒有《詩》，我就來這裏；匡說詩，理解人。”意思是，別說詩經了，匡衡來了；匡衡談到《詩經》，引得人們哄堂大笑。說明他的知名度很高。當時很多學者拜他為師，向他學習。而關於他“偷墻光”的故事也廣為流傳，成為美談。