山水詩的起源可以追溯到秦漢時期，在《采薇》中就有“我曾去，柳依依。今天，我認為《雨雪》中對景物的描寫可以算是山水詩的起源。東漢曹操的《觀滄海》被認為是最早的完整的山水詩。到東晉時，當時流行的玄言詩中有許多描寫山水的詩，這對山水詩的形成至關重要。尤其是尹忠文和謝混的詩歌，對山水的描寫占了很大比重，謝混的《遊絺疵》就是這壹時期山水題材的代表作。尹忠文、謝混的這類作品是南朝劉崧、謝靈運等人大量摹仿山水的先聲。
“宋初，有體之理。莊老告退，而山水婉約，直接指出山水詩形成於南朝劉宋。山水詩形成於晉末宋初。謝靈運是第壹個以大量的自然景觀描寫奠定山水詩基礎的詩人。謝靈運在詩歌中對景物的描寫細致入微，極力雕琢，追求景物的造型，主要運用線描的手法，給人以清新自然的感覺。但由於景物在詩中難以呈現，有時詩人不得不自己編詞，導致其詩難讀難懂，這是山水詩形成初期的缺陷。此外，由於生活在玄言詩的鼎盛時期，謝靈運喜歡在詩歌的結尾以玄言詩結尾。受老莊思想的影響，他的詩歌中仍有大量玄言詩。
之後，有影響的詩人謝朓完善了山水詩。他在題材範圍和景物關系上做了壹些創新，使山水詩得以正常發展。謝朓的山水詩從開頭開始，到結尾抒發情感。雖然還沒有完全融合場景，但已經完全擺脫了玄言詩的影響。《去三山晚至望京城》中“夕照散成輝，江靜如練”體現了其詩的特點，清麗醇厚。
到了王維、孟浩然，山水詩的發展在這裏達到了頂峰。王維繼承和發展了謝靈運山水詩的詩風傳統，在這種詩風傳統中，他極力雕琢，細致入微地描繪山水，將理融入景物之中。同時受到陶淵明田園詩清新自然詩風的影響。他的《山居秋夜》只有20個字，卻簡潔明了地向人們展示了壹幅月夜星空的寧靜淡泊的山景圖。而孟浩然的山水詩以行人所見所聞為主，詩中思想很少外流，景物隨情而動。此外，他的山水詩多描寫南方的美景。此時的山水詩已不局限於描寫自然景物，更多的是情景交融。“壹切景物詞都是感情詞”是此時山水詩的最大特點。
山水詩的形成受政治形勢的影響很大。魏晉時期，社會動蕩。有才能的人得不到重用，對山水詩的形成起了重要作用的謝靈運對當時的政治不滿，於是縱情山水，為山水詩的寫作積累了大量素材。此外，在魏晉時期，選拔官員的制度-九級鄭智制度使許多來自貧困家庭的人得不到重用。地形使然，緣起不是壹次。“很多窮書生很有才華，卻很難施展。面對事業無望的現實，他們不得不沈湎於山水之中，以此來排解煩惱，培養修養。總之，社會現實與士大夫理想的矛盾是山水詩形成的根本原因。
另外玄言詩的推理很無聊。為了更好地推理，許多詩人在詩歌中加入對自然景物的描寫，提倡“師法自然”，通過觀察和理解自然來講道理。而這種自然就是世間萬物，自然山水、山川、風景名勝都成了玄言詩的媒介。從此玄言詩的推理更加生動深刻。這種玄言詩的轉型為山水詩的發展提供了空間和物質積累。
山水詩是中國詩歌的壹大突破，它豐富了詩歌的題材，讓後人通過文人的詩歌欣賞世界各地的美景。即使有些風景不復存在，詩歌的記錄也能讓消失的風景重新出現在人們的心中，永遠留存。