張為山東藩屬時，袁世凱為山東巡撫。在武力鎮壓義和團問題上，袁世凱壹度搖擺不定。張在袁猶豫不決的時候，給了他壹個果斷的意見。張向袁建議說:“古代從來沒有聽說過用邪說就能成大事的。如果能指望義和團成功，就好好對待。否則，妳應該早點下定決心。”袁世凱後來因剿滅義和團而受到清廷賞識。為了感謝張的指點，兩人互換了崗位，成了拜把子，後又成了兒女親家。1908年，袁世凱的大女兒袁若環嫁給了張的小兒子。
雖然在剿滅義和團問題上的思想是統壹的，但自視甚高、頑固不化的張從此對袁世凱的政治立場產生了懷疑。張的哲學是“食君之財，報君之恩”，對袁世凱屢次背叛朝廷，先成為大總統，又稱洪憲皇帝極為鄙視。他拒絕擔任民國所有職務，也絕不會與袁世凱見面。第壹次世界大戰爆發後，因為青島被德國占領，張家逃到天津，壹家人來到舊英租界戈登路的這棟房子，也就是現在的湖北路1號。
張不僅是家中的長輩，也是後人學習和品德的楷模。他從不納妾，也不允許他的孩子納妾。雖然不是絕對禁止養女仆，但是每個房間都很少用。袁世凱的大女兒嫁到張家，也沒有婢女。張不允許他的孩子抽鴉片，家裏也沒有煙具。他從不過生日，家裏禁止賭博，連唱京劇都被視為不屑壹顧。張的孫子回憶說:“他們壹家很有清教徒生活的味道。他在天津的晚年，除了每天寫作，沒有什麽詩酒言情。所以，他不是過著瀟灑生活的老人，而是典型的老式紳士。”
張氏家族的另壹個特點是，直到新中國成立前，張氏家族壹直保持著共同生活的大家庭制度，這也是張家族經營的特點之壹。張家同住的人多達五六十人，有公家戶口。在住房和飲食方面，他們都是壹樣的。午飯和晚飯壹開，十幾桌，開飯鈴響了。其他的婚喪大事、交際事宜都是統壹行動，由父兄大批進行，晚輩是不參與的。這種典型的大家庭在舊英租界很少見，現在聽起來就更新奇了。
1927張死在湖北路的公寓裏。溥儀親自到張宅吊唁，謳歌“鄭雯”，與李鴻章謚號“文忠”相對應。他終其壹生的“精忠報國”終於有了“定論”。第二年二月，張的靈柩回到家鄉，葬在他出生和長大的大旗坨村。在外漂泊幾十年，壹代風雲人物終於落葉歸根。除了從政，張還是壹位多才多藝的學者、詩人和書法家。張是清代的壹位重要官員，由於去世較晚，《清史稿》中沒有關於他的傳記。但《民國書畫家傳》將張列為書法家，並介紹其為“書法家，擅詩文”。著名學者、書畫鑒定專家傅熹年評價他的書法說:“篆書之圓，楷書之穩重，草書之流暢...其摹仿生動，形神兼備，功力深厚”，與陳、吳大淆如出壹轍。
但遺憾的是，由於張從政期間忙於政務，行事低調，退休後官位高踞，外人更難得到。所以字畫並沒有廣泛流傳，今天能看到的人很少。至於張的詩，更是鮮有傳世。著名的詩句只有壹句，淩渡的評書又貴又薄又硬。作為壹首著名的詩，它被人們廣為稱贊。