張遂的曾祖是唐太宗李世民的功臣張公謹。張氏家族在武則天時代已經衰微。張遂自幼刻苦學習歷象和陰陽五行之學。青年時代即以學識淵博聞名於長安。為避開武則天的拉攏，剃度為僧，取名壹行。先後在嵩山、天臺山學習佛教經典和天文數學。曾翻譯過多種印度佛經，後成為佛教壹派--密宗的領袖。
中宗神龍元年（公元705年）武則天退位後，李唐王朝多次召他回京，均被拒絕。直到開元五年（公元717年），唐玄宗李隆基派專人去接，他才回到長安。
開元九年，據李淳風的《麟德歷》幾次預報日食不準，玄宗命壹行主持修編新歷。壹行壹生中最主要的成就是編制《大衍歷》，他在制造天文儀器、觀測天象和主持天文大地測量方面也頗多貢獻。
制造儀器和觀測
壹行主張在實測的基礎上編訂歷法。為此，首先需要有測量天體位置的儀器。他於開元九年率府兵曹參軍梁令瓚設計黃道遊儀，並制成木模。壹行決定用銅鐵鑄造，於開元十壹年完成。這架儀器的黃道不是固定的，可以在赤道上移位，以符合歲差現象（當時認為歲差是黃道沿赤道西退，實則相反）。
後來，壹行和梁令瓚等又設計制造水運渾象。這個以水力推動而運轉的渾象，附有報時裝置，可以自動報時，稱為水運渾天或開元水運渾天俯視圖。壹行等以新制的黃道遊儀觀測日月五星的運動，測量壹些恒星的赤道坐標和對黃道的相對位置，發現這些恒星的位置同漢代所測結果有很大變動。
主持天文大地測量
從開元十二年起，壹行主持大規模的全國天文大地測量，其中以南宮說等人在河南所作的壹組觀測最有成就。他們在今河南省四個地方測量了當地的北極高度，夏至日影長度，又測量了四地間的距離。經壹行歸算，得出了北極高度差壹度，南北兩地相距351裏80步（唐代尺度）的結論。這實際上就是求出了地球子午線壹度之長。
制定《大衍歷》
從開元十三年起，壹行開始編歷。經過兩年時間，寫成草稿，定名為《大衍歷》。壹行不幸去世時年僅四十五歲。《大衍歷》後經張說和歷官陳玄景等人整理成書。從開元十七年起，根據《大衍歷》編算成的每年的歷書頒行全國。經過檢驗，《大衍歷》比唐代已有的其他歷法都更精密。開元二十壹年傳入日本，行用近百年。