他祖上曾作過內江知縣，後歸田耕讀，寫詩作畫，過著閑淡的田園生活。傳到張大千已是第十代。其父張忠發，字懷忠，母親名叫曾友貞。張忠發夫婦***生育九男二女，都有很高的文化素養，他的兄弟張正蘭也是現代著名的畫家。在他六歲的時候他就跟著姐姐哥哥讀書識字，九歲時在母親和姐姐的教導下正式開始學習繪畫、書法。他姐姐瓊枝擅長畫花卉、小鳥，在幼年時對他有很大的影響。大千自幼就很聰明，所以作畫進步很快。十歲的孩子就能幫助母親描繪花樣，畫比較復雜的花卉、人物，寫字也很工整。他的四哥張文修在資中家教私塾，故大千也就從四兄就讀古籍，在課余常隨兄赴資中遊覽山水名勝，培養了對自然的審美意識。良好的家庭文化氛圍對他起到很好的啟蒙作用，同時也為他打下了堅實的國學基礎。
1912年他入內江天主教福音堂開辦的教會學校華美初等小學學習，開始接受了近代教育。他十六歲時離開了家鄉內江，來到重慶讀初中，值得註意的是當時擔任其體育老師的是後來赫赫有名的將軍劉伯承。1917年在他暑假回內江的途中發生了壹節奇怪的事情，他被壹幫土匪擄去，土匪見他是個讀書人，竟然要求他留下來作師爺。身在匪窟，他卻常讀《讀詩涵英》這本書，學習了寫詩的壹些規則與技巧，百日後出逃，年底，他告別故鄉經重慶抵達上海，結束了他富有傳奇性的少年時代，真正踏上了他的藝術人生。