於成龍出生在山西永寧，也就是現在的山西省呂梁市房山區。於成龍出生於壹個官僚家庭，他的曾祖父玉潭是明朝的壹名官員。到了於成龍的父親，余士煌這壹代，他的家世逐漸沒落，余士煌只是壹個九品官。雖然家庭背景在下降，但成龍的家教還是很嚴格的。
雖然於成龍天資聰穎，但科舉之路卻相當坎坷。崇禎十二年(1639)，22歲的於成龍參加鄉試，只考了個副榜。直到清順治八年(1651)，35歲的於成龍在鄉試後的中考中沒有成功。後來由於於成龍的大哥於化龍早亡，父親余士煌年老體弱，需要人照顧，而於成龍又被家人累著，就沒有再參加鄉試。
於成龍的父親余世煌死後，於成龍參加了順治十八年(1661)的選官考試，最後被任命為雒城知府。雖然只是壹份七品的工作，但已經44歲的於成龍終於步入了仕途。
得知於成龍的任命後，他的家人和朋友都反對他上任。由於羅城地處偏僻，瘟疫盛行，民風彪悍。然而，盡管親朋好友勸阻，於成龍還是離開了妻子和孩子，收拾行李，踏上了旅途。
到達羅城後，環境的艱苦超出了於成龍的想象。縣衙不過是幾間破舊的茅草屋，於成龍平時只好住在關帝廟裏。其中，於成龍的壹名隨行人員死於瘴氣，而其他人則心有余悸，紛紛離開於成龍。
順其自然。於成龍接受了挑戰，決心改變洛城的面貌。於成龍在雒城紮下了根，在那裏做了七年的縣令。7年多來，在成龍的治理下，羅城治安良好，民生得到極大改善，成為廣西的模範縣。
於成龍的頂頭上司，兩廣總督金光祖，可以說是壹生中的貴人。金光祖是壹個非常愛才的官員。他非常欣賞成龍的才華。康熙六年(1667)，金光祖以“出類拔萃”為由，向時任兩廣總督的盧興祖推薦於成龍。所謂不凡，故名不可思議，是政績卓著，才華出眾的官員。
於是，這壹年，於成龍作為廣西唯壹壹名優秀的，被提拔到賀州周知。按照清朝的官制，知州是以五品之階。就這樣，50歲的於成龍用了7年時間，憑著自己的努力，升到了第三級。
於成龍接管的賀州飽受戰亂之苦，民生雕敝。人口只有100多，但賦稅很重。於成龍執政後，大力革新舊布，號召民眾開墾土地，創造性地推出了借牛贈種獎勵農耕的措施。很快，人口和耕地反彈，社會經濟發展。
由於於成龍在河州的出色表現，康熙八年(1669)，於成龍升任黃州府同知，同知為知府副職，秩為正五。兩年後，於成龍的軍銜被提升了壹級。於成龍在黃州任同治期間，主要負責社會治安工作。當時他紮根麻城，親自走訪百姓，獲得第壹手材料，破獲了許多大案要案，嚴懲了壹大批賊匪，對土匪起到了震懾作用。
於成龍早年在科舉考試中屢遭挫折，但進入仕途後，他多次受到上司的賞識。如前所述，他主政羅城郡時，受到上司金光祖的賞識，被提拔為州知府。康熙十二年(1673)，於成龍受到湖廣總督張朝珍的青睞，升任福建建寧知府。他的軍銜是從四品，但很快就被臨時調任武昌知府。由於吳三桂軍隊進攻湖南，於成龍奉命修建浮橋，以方便清軍渡江。然而，浮橋被洪水摧毀，所以於成龍被定罪和解雇。此後，因投降叛軍劉而被復職。後來，於成龍被任命為黃州知府。
康熙十七年(1678)，61歲的於成龍被任命為福建按察使，這是壹個三品的職位。次年，於成龍因其突出的政績被福建巡撫姚啟勝、巡撫吳興祚授予“優秀”，這也是於成龍在仕途上第三次被授予優秀。不久，於成龍升任福建國務大臣，排名第壹。
此時，62歲的於成龍年老體衰，多次想隱退，但都得不到朝廷的許可。此後，於成龍歷任直隸總督和兩江總督。
康熙二十三年(1684)四月，67歲的於成龍積勞成疾去世。
於成龍去世前是兩江總督，總督軍銜壹般為正。但康熙二十年，康熙帝任命於成龍為兩江總督時，又加了兵部尚書的頭銜，使於成龍兩江總督升格為部屬。
於成龍當官20多年，從正七品知府到壹品知府。他勤政愛民，生活清廉。他是壹個沒有家人的官員。44歲那年，他壹個人出去做官。因為安葬了母親，他64歲才回家。他20年沒見家人，過了兩年就精疲力盡了。於成龍壹生克己奉公，兩袖清風，是世界上第壹個清官。