元好問的文學成就以詩歌創作最為突出，並以“喪亂詩”奠定了他在文學史上地位的。這些詩是在金朝滅亡前後寫出的，主要有《歧陽》三首、《壬辰十二月車駕車狩後即事》五首、《俳體雪香亭雜詠》十五首、《癸巳五月三日北渡》三首、《續小娘歌》十首等。
這些詩篇廣泛而深刻地反映了國破家亡的現實，具有詩史的意義。元好問的“喪亂詩”就藝術上的概括力和情感上的真摯性來說，是杜甫以後少有的。但他不像杜甫那樣對國家的復興還抱有希望，他是既絕望而又不甘心，郁結的感情爆發為悲歌，感染力是很強烈的，並且這些“喪亂詩”又掀起了杜甫之後的現實主義詩風的又壹高潮。比如《歧陽》之二“百二關河草不橫，十年戎馬暗秦京。歧陽西望無來信，隴水東流聞哭聲。野蔓有情縈戰骨，殘陽何意照空城。從誰細向蒼蒼問，爭遣蚩尤作五兵”再比如《癸巳五月三日北渡》“道傍僵臥滿累囚，過去旃車似水流。紅粉哭隨回鶻馬，為誰壹步壹回頭”“隨營木佛賤於柴，大樂編鐘滿市排。虜掠幾何君莫問，大船渾載汴京來”“白骨縱橫似亂麻，幾年桑梓變龍沙。只知河朔生靈盡，破屋疏煙卻數家。”筆筆皆為血淚，字字飽含悲憤。正如清代大文學家史學家趙翼在《題遺山詩》中說：“國家不幸詩家幸，賦到滄桑句便工。” 正是山河的破碎，詩人的憂患，才造就了這些曠世之作。
當然，元好問還有為數不少的寫景詩，這類詩的總體風格是豪壯、清雅、不事雕琢，有很多名句。比如《遊黃華山》“湍聲洶洶轉絕壑，雪氣凜凜隨陰風。懸流千丈忽當眼，芥蒂壹洗平生胸。雷公怒擊散飛雹，日腳倒射垂長虹。驪珠百斛供壹瀉，海藏翻倒愁龍公。”詩人以大氣磅礴、力度千鈞的筆勢，寫出了黃華山瀑布的奇觀，給人以雄壯豪放的感受。此外，元好問在晚期還寫有壹些題畫詩，這類詩短小精煉、意境深遠，往往是借題發揮，耐人品味，充分地襯托了畫作的內涵。比如《秋江曉發圖》“百轉羊腸挽不前，旃車轆轆***流年。畫圖羨殺扁舟好，萬裏清江萬裏天。”由詩中可以看出，畫的內容是秋江無際、扁舟曉發，但詩人只把這種畫面作為引子，而把道路艱難、世路艱難作為詠嘆的真正對象，使得畫圖的意境和內涵都擴展了許多。
元好問工詩文，在金元之際頗負重望。其詩奇崛而絕雕琢，巧縟而不綺麗，形成河汾詩派。他在臨終之時囑咐後人在他的墓碑上只題七個字“詩人元好問之墓”，足見他對自己詩歌創作的重視與肯定。他對自己的詩才極為自信，有著與杜甫相提並論的傲氣，有過“詩狂他日笑遺山，飯顆不妨嘲杜甫。”詩句。
此外，他又是壹位高明的文藝理論家，他的《論詩三首》、《論詩三十首》、《與張仲傑郎中論文》、《校笠澤叢書後記》等，幾乎概括了漢朝以來的各種詩歌風格與重要詩人，所有的點評都濃縮在七言詩句之中，不僅點評準確而且文采斐然， “以詩論詩”再繼杜甫風範。
他提倡“自然”，主張情性之“真”；倡導雄勁豪放的詩風提倡性靈、神韻、格調的兼容；主張李、杜並列；提倡多元繼承的詩風；還提出許多寫作時的技巧原則，反對生硬晦澀，亂排典故，做學問要“真積力久”等等，都是他幾十年親身實踐得來的結晶，有著切實可行的指導意義。 元好問留下詞377首，他也是金代作品最多的詞人。遺山詞內容不及其詩內容廣大，但在金詞壇卻是題材最豐富的壹家，藝術上以蘇軾、辛棄疾為典範，兼有豪放、婉約諸種風格。抒懷、詠史、山水、田園、言情、詠物、贈別、酬答、吊古傷時，無歷不控。
作為金詞壇現實主義詞人，他的詞筆首先是面向現實的。有“兵塵萬裏，家書三月，無言強首。幾許光陰，幾回歡聚，長教分手。料婆婆掛械多應笑我，慌仲隊金城柳。”
元好問多懷古詞，形式以長調為主，奇慨遙深，如《木蘭花慢》“渺漲江東下”。田園詞則往往表現出恬談、閑適的情趣。描繪山河壯麗、抒發愛國豪情，是遺山詞壹個重要內容，如遺山代表作《水調歇頭·賦三門律》等。
元氏山水詞之所以能如筆下山水那樣頂天立地，在於它不僅是雄渾的山水畫眷更有寄慨、壯思、理想自畫卷中選出。即如此首下聞純為感慨，詞之內涵亦因此而深化。在詞文上，遺山的愛情詞是別具壹格的，如其著名的《雁丘詞》等。 元好問目睹親歷金朝的衰亡和蒙古滅金的全過程，又從政多年，強烈的憂國憂民的社會責任感，使他時刻關註著金國的命運和金國史跡的保存。
當金如敗亡前夕，他就向當政者建議用女真文小字寫壹部金史，但未能如願，他就私下編撰了壹部《壬辰雜編》。金滅亡後，他抱著“國亡史興，己所當任”的愛國信念，決心以自己壹人之力修壹部金史，並為此付出了艱苦的努力和沈重的代價。多年的奔波，他積累了相當多的金朝君臣遺言往行的資料上百萬字，後稱“金源君臣言行錄”。他抱著“以詩存史”的目的，編成《中州集》。這是壹部金代詩歌總集，裏面不僅收錄他所知道的金期壹代已故或未仕於蒙古國的詩人詞客、包括金朝兩位皇帝及諸大臣以至布衣百姓的詩詞2116首（其中詩2001首，詞115首），而且為每位作者***250余人寫了小傳，填補了中國文學史空白。
《金史·藝文傳》就是以它為藍本寫成的，後來《全金詩》也是在它的基礎上增補而成。同時，《中州集》也為金代歷史提供了豐富的資料。可惜，正當他滿懷信心地說只需破費三數月功夫，查閱抄錄了《金實錄》上的有關內容，即可著手《金史》的著述時，他的壹個朋友卻從中作梗，未能得在蒙古萬戶、漢軍首領張柔處見到金實錄，以致功虧壹簣，使他抱恨以歿。元好問生前雖然未能實現自己修成金史的願望，但他所收集的這些資料，卻為元代修宋、遼、金史，以至明朝修元史，提供了大量的第壹手資料，特別是為修金史奠定了基礎。元好問尊重史實，不阿時俗，秉筆直書，所以後代學者壹致認為，《金史》與元好問關系密切，《四庫全書總目》稱“多本其所著”。此外，元好問的這種國亡修史的作法，也多為後人所仿效。