祖沖之從出生到在華林大學工作壹直生活在南京。461年，祖沖之調任南徐州(今江蘇鎮江)刺史，陸續參軍。此時的祖沖之忙於公務，只能在業余時間從事科研活動。公元464年，祖沖之調任樓縣(今江蘇昆山東北)任縣令。在此期間，他觀察和記錄了天象，並開始計劃和編纂大明歷法。
歷史學家研究表明，南宋明帝太史公六年(470)，朝廷設立將軍觀(又稱東觀)，祖沖之後來在將軍觀任職。宋末年，475年左右，祖沖之被任命為建康仆從，從此壹直到479年宋朝滅亡。所以祖沖之在昆山做了六年多的縣令，也就是調回建康，在宗明觀任職。
南北朝時期的宋朝雖然從420年到479年只有59年，但在494年到498年之間，祖沖之在南齊擔任長水校尉，領了四次俸祿。
除了9年多在外地，祖沖之大半輩子都在建康度過。這裏還有兩種說法，都證明祖沖之在南京算出了圓周率。
第壹，據史書記載，祖沖之經過多年的觀察和推算，於宋孝武六年(公元462年)編制了《大明歷》，但直到梁武帝田健九年(公元510年)，也就是祖沖之死後十年，才正式頒布。33歲時，祖沖之成功編制了《大明歷》，圓周率的計算被史家研究，以便編制《大明歷》。所以至少在462年前，祖沖之就已經算出了圓周率，但此時他已經在南京了。第二，隋書李誌說南朝宋末祖沖之算圓周率，而他在南京。
祖沖之的發明多與南京有關。
還有壹種說法是祖沖之在昆山算圓周率，但很多歷史學家反對。第壹，祖沖之在昆山做官只有六年左右。此時作為縣領導，忙於公務，只觀察歷法都很困難，更不用說計算圓周率這種繁重的工作了。其次，祖沖之絕不會“虛推(盲目崇拜)古人”，而是“搜羅古今(從大量古今著作中吸取精華)”。他研究了劉欣、張衡、闞澤、劉徽、劉虹等古代科學家的著作，並加以借鑒，特別是天文學家何承天編著的《袁家禮》和《九章算術》，是壹部中國古代數學的綜合著作。他還學習了劉徽的求丕法——割線法，而這些相關資料只有花雪林省和將軍觀有，在當時的邊陲郡縣是不可能找到的。
祖沖之在劉輝割線法的基礎上繼續推導，直到圓內接1536的正多邊形，才得到圓周率的值。寫成小數，即π = 3.1416。劉宋末年，他創造了更為精確的圓周率計算方法，將正常直徑分成壹億等份，圓周率為3.1415927 >π> 3.1415926。