山水詩的形成壹般認為是在東晉時期。
中國人歷來受“天人合壹”觀念的影響，自魏晉以來便形成壹種親近自然、鐘情山水的風尚。這種風尚在東晉時代的江南地區最早流行。而受流風影響，山水詩便應運而生。雖然在此之前，從最早的詩三百到戰國時期的《楚辭》、乃至漢魏時期的詩賦，均有自然風景描寫的片斷和章節，如《詩經.大雅.崧高》中的“崧高維嶽，駿極於天”；《楚辭.九章.涉江》中的“深林杳以冥冥兮，猿貁（you去聲）之所居。山峻高以蔽日兮，下幽晦以多雨”；曹孟德《步出夏門行.觀滄海》的“水何淡淡，山島竦峙。樹木叢生，百草豐茂”；陸士衡《赴洛道中作二首》的“遠遊越山川，山川修且廣。振策陟崇丘，安轡遵平莽”；等等。但所有這些自然景物的描寫，還只是詩人活動背景及行旅心緒的襯托渲染而己。
到了東晉時期，南遷的中原士族在江南原野紛紛修建莊園，美好的自然景象逐漸進入文人的審美視野，而以老莊哲學為思想基礎的玄學也廣為流行，這種淡薄名利而親近自然、追求心與“道”和諧統壹的超世觀念，促使文人更多地尋求對山水自然風光的欣賞和感悟。於是，壹種把自然景觀當作獨立審美客體的山水詩便脫穎而出。按南朝人劉勰的說法，這山水詩的出現是在南朝宋初，所謂“宋初文詠，體有因革，老莊告退，山水方滋”（《文心雕龍.明詩》）。老莊告退，是指以老聃、莊周思想為特色的玄言詩和遊仙詩的逐漸淡出。山水方滋，是指描寫自然景象的山水詩代之而興。
雖然，以寫玄言詩而著稱的東晉詩人庾闡、孫綽，及以壹句“未若柳絮因風起”形容雪景而被人譽為“詠絮才”的女詩人謝道韞，都已有獨立成篇的山水詩問世，如庾闡的《登楚山》、《衡山》、《三月三日》，孫綽的《秋日詩》，謝道韞的《泰山吟》等。但壹是數量不多，還未成氣候，二是玄言未了，留老莊虛幻。真正使山水詩昂首直入詩歌殿堂而使得山水詩其後便盛極壹時的是謝靈運和陶淵明。
謝靈運是我國第壹個大量創作山水詩的著名詩人。他的山水詩擅長把人帶入美好的大自然中去領略壹地壹景的獨特風光，給人以清新開朗的審美意趣。而陶淵明則在山水詩壹類中獨創了田園詩分支。從廣義上來說，田園詩也是山水詩，也是對自然風光的欣賞與詠唱。但田園詩又有自已的特色，因而習慣上有時也把田園詩從山水詩中分離出來。
中國山水詩的寫作，到了唐代便蔚為大觀，達到壹個鼎盛的高峰。此後便壹直影響了詩詞界壹千多年