康熙十二年（1673年）癸醜科壹甲三名進士（探花），授編修，選右中允。官至吏部侍郎，時人評為“文行兼優”。後與刑部侍郎綏色克同赴陜西，審理糧鹽道受賄案，擬罪失當，貶詹事。後擢內閣學士。
康熙十四年（1675年），徐秉義典試浙江，壹時知名之士鹹登科焉，號能得人。
康熙二十八年（1689年）四月，都察院左副都禦史許三禮彈劾徐乾學結黨營私，爭權奪利，並縱容子侄貪贓受賄，廣占田產。但對徐秉義，許三禮則說他“文行兼優”，向朝廷懇切舉薦，希望能夠加以重用。康熙三十三年（1694年）三月三日，徐秉義、錢陸燦、孫D、盛符升、徐乾學、尤侗、何棒、黃與堅、王日藻、許纘曾、周金然、秦松齡等十二位老耆聚飲修禊於遂園，宮廷畫家禹之鼎繪《逐園耆年楔飲圖》。
康熙三十六年（1697年），擢少詹事，日講起居住官。康熙三十八年，升任詹事。
康熙三十九年（1700年），任殿試讀卷官。
康熙四十壹年（1702年）出任順天鄉試主考官。後，徐秉義告假還鄉。
康熙四十四年（1705年），聖祖南巡時，徐秉義陪同遊園，禦賜“恭謹老成”匾。
康熙五十年（1711年），卒。
相關事件康熙十二年，徐秉義中探花，授翰林院編修。徐秉義與兄長徐乾學、及徐元文被人稱作“昆山三徐”、“同胞三鼎甲”，他的長兄徐乾學是康熙庚戌科探花，他的弟弟徐元文是順治己亥科狀元。他們的母親對他們教育非常嚴格。讀書背誦總是到夜半，從不放松。到他們都成了國家棟梁時，也總是提醒他們謹慎行事，出以公心，認真選拔有識的寒門人才等。徐家的女婿申菽飾也是江南省考解元。壹門之中這麽多人在朝為官，又都是出類拔萃的人才，三百年清朝之中沒有可與之相比的。傳說，徐秉義的父親在明朝兵亂時，曾將數十婦孺藏於隱蔽處，以火燒宅子騙走亂兵，說“被救之人已燒死”，使數十名婦女、兒童性命得免殺害，當時人稱徐家有德。
康熙十四年，徐秉義典試浙江，壹時知名之士幾乎全被選拔完了。秋，徐秉義以史館纂修被征召入京，授左中允。此後，徐元文任日講起居註官，教習庶吉士。徐秉義參與館選。作為教司，考慮以兄拜弟不合禮教，而不拜教司不合王法。徐元文上疏辭去職務，康熙帝不答應。特免去徐秉義教司，此事才得以了結。康熙二十二年，擬纂修《壹統誌》，康熙帝說此事必定得徐家兄弟幹了，徐秉義參與其中。而後，他出任《大清壹統誌》總裁官。升侍講，累官至詹事府右中允。康熙三十六年，擢少詹事，日講起居住官。康熙三十八年，升任詹事。康熙三十九年，任殿試讀卷官。後授任《明史》總裁官。幾經升遷任吏部侍郎。過年以後，徐秉義因與刑部侍郎綏色克壹起在審理鹽道黃明受賄案時，擬定罪不對，而降級，調任詹事府詹事。又趕上朝考翰林詹事，他應試的《萬壽無疆賦》，名列第壹，例當升職。在職期間，歷官升至內閣學士、吏部侍郎。康熙四十壹年出任順天鄉試主考官。最後，徐秉義告假還鄉。康熙四十三年秋，回到老家。第二年開春，康熙帝南巡時，他陪同登玉峰，遊徐乾學家的遂園。康熙帝親筆書寫“恭謹老成”的榜額賞賜給徐秉義，對他壹生作了肯定。從此他杜門卻掃，購求古籍，供稿本抄錄。常與黃宗熙、萬斯同等切磋。徐秉義死於康熙五十年。
徐秉義享有文名，壹時譽滿京城。他天生的老實持重，專心攻讀舉子事務，闡發經傳微言精旨。徐秉義博覽群書，即使退居山林，但他所記下的只言片語，必定要求合於經史。他高風亮節，朝野上下***聞。所著詩稿，高雅幽潔，纖塵不染。康熙年間，朝中高士在評價昆山三徐時稱：“公肅（指徐元文）仁人君子，健庵（指徐乾學）大人君子，果亭（徐秉義之號）正人君子。”埠有《易經識解》五卷、《培林堂書目》及《耘圃培林堂代言集》等。
辭官後居於家中，杜門購求古書，以校讎編次圖書為業，藏書處名為“培林堂”，與兄徐乾學互通佳本名抄，或借書抄錄。仿《傳是樓書目》，編撰有《培林堂書目》，著錄圖書600余種（壹說為3 300種），其中有宋代精槧數種，元刊明本較多，清人名家影抄本、稿本10多種。主張藏以致用，認為收藏是為了做學問時備查，“學問不在多積書，然書可以備查考；書亦不必皆宋版，然宋版可以資校對”。著有《耘圃培林堂代言集》、《經學拾余》。
著述名錄著有《明末忠烈紀實》，書中所收因抗清而死的義烈近三百人。徐秉義在撰寫此書過程中，與黃宗羲、錢澄之、萬斯同、胡渭等人討論經史，廣搜博采，而成此書。另著《耘圃培林堂代言集》。
代表詩作秋日送黃仙裳南歸
長安松下讀書人，皂帽蕭然迥出塵。暫傍香臺尋勝侶，卻乘秋水問歸津。
詩傳摩詰真如畫，豪擬元龍未覺貧。猶記高樓吟嘯處，十年迢遞海陵春。