中國東漢末年鄭玄(129～200)註《易緯·乾鑿度》：“太乙取其數以行九宮，四正四維皆合於十五”而得九宮數,即三階幻方（左圖[三階縱橫圖]）。西魏北周盧註《禮記·明堂篇》“二九四、七、五、三、六、壹、八”有法龜文之說，後周甄鸞註《數術記遺》雲：“九宮者，二、四為肩，六、八為足，左三右七，戴九履壹，五居中央。”亦與龜文之說暗合。古人在龜甲或骨上用火灼出窩槽，爆見吉祥之兆，有時這種窩槽的排列有了某種特殊的意義，令人驚異，於是成為世代相傳的神話。可見，九宮圖由來已久。
中的記載 明王文素《算學寶鑒》(1524)載縱橫圖多種。程大位《算法統宗》(1592)卷十七載縱橫圖14種，及清方中通《數度衍》(1661)卷首之壹“九九圖說”後附縱橫圖14種，與楊輝所著《續古摘奇算法》中所載縱橫圖大同小異。
張潮 (1650～?)《心齋雜俎》卷下“算法圖補”增補縱橫圖若幹種。梅成《增刪算法統宗》(1760)淘汰有關河圖洛書及縱橫圖的內容之後，縱橫圖存在約有壹百多年。 清初、傳教士傳入《三三等數圖》列三至十階縱橫圖八種，並指出作圖方法。英國人傅蘭雅主編的《格致匯編》(1878)載有四階縱橫圖（圖2[四階縱橫圖]）,此即1514年A.度勒所刻十六字方圖。歐洲研求縱橫圖造法始自14世紀。中國人杜亞泉(1872～1933)等從1900年起論及縱橫圖的造法，但多沿用西說。