永平二年赴“直言極諫科”而中之，漢明帝時拜巴郡江州令（今四川重慶），不久退隱北邙山中（今河南洛陽附近），修持煉形合氣，辟谷少寢長生之道。建初五年詔舉賢良方正不起，復征為博士，封冀縣侯，三詔不就。後入吳，又愛蜀中溪嶺深秀，遂入蜀隱於鶴鳴山，修神丹符咒之術。
張道陵有弟子王長、趙升隨其習黃老之道，助煉龍虎大丹，丹成，服之返老還童，且去遊而參訪仙源。
壹日，在北嶽嵩山遇繡衣使者告訴他說：“中峰石室內，藏有《三皇秘典》、《黃帝九鼎丹書》，得而修之，可以升天！”於是張道陵齋戒而入石室，果然得到丹經道書，遂赴雲錦山（即龍虎山），精思修煉，而得分形散影之術。
壹日夜半似醒似夢之間，忽見那太上老君下降，對張道陵說：“近來蜀中有六大魔王，狂暴生民，妳前往治之則功德無量，名錄丹臺矣！”乃授以“正壹盟威符錄”，三五斬邪雌雄劍、陽平治都功印、平頂冠、八封衣、方裙、朱履等。以千日為期，約會於閬苑。
張道陵拜領老君所授，日昧秘文，據說能集三萬六千神靈，以供驅使。他隨即往青城山，置琉璃高座，左供元始天尊，右供三十六部尊經，立十絕靈幡，鳴鐘叩磬，布龍虎神兵，施起法力。
魔王魔鬼同聲哀求，盡被折服，表示再不敢虐民。張道陵乃收八部鬼神，殲六大魔王，群妖乃滅表絕跡。他則遂與弟子王長、趙升往川中雲臺山蔔居其地繼續修煉。
既伏妖魔，老君乃命使者下降來告道：“子之功業合得九真上仙之位，但滅鬼過多，未免殺氣穢空，非大道好生之旨。子須再修三千六日，吾待子於上清八景宮中。”於是道陵乃偕弟子王長、趙升復往鶴鳴山，精修二十余年。
永壽元年正月，據說太上與眾真復降，為張道陵說：“北鬥延生真經”及“三八謝罪法殲”。永壽二年春，會三界萬神於青城山黃帝壇下，盟五嶽四瀆，立二十四治，福庭鬼獄。定三十會真壇與六十通真靖，七十二福地，命人處明陽、鬼處幽陰，各治設祭酒與男官、婦官，以贊玄化。其時，道教始有正規教團組織。
張道陵率弟子復遊各地，斬妖巷孽、奪鹽池，建功立德，造福蜀民。據稱，功成後蒙太上老君冊封為正壹天師。
永壽二年九月九日至雲合山，見絕巖下桃熟，命王、趙二弟子投身取之，遂亦下傳其真道。後以余余丹及印、劍、都功符錄。授子衡曰：“吾遇太上親傳至道，此文總領三萬都功，正壹樞要，世世壹子紹吾之位，非吾宗親子孫不得傳。”是與王長、趙升天雲臺山白日飛升。
張道陵因在蜀漢之境設二十四治，為布化行道的機構，凡入道者交五米為信，後人因稱其教為“五鬥米道”。因張陵為該教第壹代天師，故教徒尊稱“祖天師”。人們又稱其教為“天師道”。張天師尊老子為教祖，奉《老子五千文》為最高經典，並自撰《老子想爾註》發揮老子的道家思想。以“道”為最高信仰，將“道”和老子相提並論，宣稱即是“壹”，“二散為氣，聚形為太上老君”。
漢祖天師在唐僖宗時被封為“三天扶教輔元大法師”；宋代封為“三天扶教輔元大法師正壹靜應顯佑真君”；元成宗封為“正壹沖元神化靜應顯佑真君”。因嗣第四代天師張盛將天師法裔由陜西漢中遷居江西省龍虎山中。現貴溪縣上清鎮天師府即其遺脈。