匡家世代務農，但非常勤奮好學。因為家裏窮，他不得不幫助別人受教育。他當時跟壹個醫生學《詩經》。由於他的勤奮學習，他對這首詩的理解非常獨特和透徹。當時的儒生曾說，詩沒必要說。匡說《詩經》，意思是聽講解《詩經》，能使人眉頭緊鎖，心情舒暢，可見對《詩經》的深刻理解。但是匡衡的事業壹開始並不順利。按照漢朝的規定，博士弟子壹旦掌握了六經之壹，就可以通過考試獲得官職。考試得A級的可以當醫生，B級的是舍人王子，C級的只能編文學奇聞。匡衡考了九科，只考了個C，被編為太原郡文學死亡史。然而，匡衡對《詩經》的深刻理解受到了當時文人的高度重視，當時身為太子的元帝也對《詩經》情有獨鐘。
元帝即位後，任命匡衡為大夫，並遷為大夫。這時，首都長安發生了日食、地震和其他災難。匡衡趁機寫了壹封信，引用《詩經》來說明向上作用向下的道理，勸元帝“減宮，存華麗飾，試制度，修內外，近忠，遠巧。”“做壹個溫柔的人，退壹個賤官，顯壹個白男人，顯壹個無欲無求的道。”匡衡表演的這本書得到了元帝的贊賞，於是匡衡就搬到光祿大夫和少府太子那裏去了。
在未來的幾年裏，
漢元帝非常喜歡儒家思想，尤其是《詩經》。他曾多次親自聆聽匡衡的詩歌，他非常欣賞匡衡的才智。因此，他任命匡衡為古代學者。趙建三年(公元前36年)，丞相魏宣城病逝，匡衡代丞相，封侯樂安之職，輔佐皇帝，出任丞相處理國家大事。匡衡可以算是壹個因為明朝而成為大宰相的典型。
在任期間，匡衡多次發表對朝廷政策的意見，闡述治國之道，並經常參與國家大事的研究和討論。他對答如流，說話合法，贏得了元帝的信任。每當朝廷大臣討論政務，匡衡總要引用《詩經》作為依據，認為“六經，聖人，故統天地之心，惜善惡之歸，明辨善惡，明人性之義，使不抵觸其性者也。”。所以，判斷六經之指，人對天的希望是可以調和的，植物和昆蟲是可以孕育的。這絕不容易。“匡衡的主張得到了和成帝的支持，這與從漢中葉開始的崇尚儒學、重經義的社會風尚是分不開的。它實際上是漢朝統治者用來統治人民的壹種手段。
到了元帝後期，宦官石賢被任命為中書令。他為了個人利益結成小集團，控制國家事務，並鼓勵元帝增加稅收和剝削人民。但是因為皇帝的運氣，沒有人敢違背。