據傳說，在古代的伏羲，龍馬從洛陽東北孟津縣的黃河中出現，為伏羲帶去了“河圖”。伏羲以此為基礎成為八卦，這就是後來《周易》的來源。相傳大禹出生時，洛陽洛河出現烏龜，背上背著“洛書”，送給大禹。大禹依此治水成功，於是定天下為九州島，定《大法九章》治理社會，傳於史書，名為洪範。
《易經》雲:“河作畫，羅作書，聖人作書”，指的就是這兩件事。在“河圖”上，排列成若幹陣列的黑點和白點，蘊含著無限的奧秘；《洛書》中豎、橫、斜線上的三個數之和等於15，非常奇妙。國內外學者對此問題進行了長期的探索和研究，認為這是華夏先民精神思維的結晶，是中國古代文明的第壹個裏程碑。
現在很多人認為《河圖》和《洛書》是《易經》的起源。西漢孔安國曰:“河圖，傅王，龍馬出河圖，則其文，以畫八卦；'洛書'，禹治水時，龜列在後，數為九，故為第壹，共分九類。"西漢古文經學家劉欣說:"傅為天後王，由'河圖'所繪，八卦亦真；禹治水，錫《洛書》，法與陳，九域皆是也。‘河圖’與‘洛書’為經緯，八卦九章，相為表裏。”
然而實際上，龍馬所攜帶的“聖物”和來自黃河洛水的“神龜”只是傳說。《河圖》和《洛書》在歷史上都有詳細記載。它們實際上是周公於三月壹日、七日在周成王決定建造洛邑的地圖和蔔辭。
洛邑地處“天下，四面八方入貢路”，《左傳》記載“吳王經商成功，遷九鼎於洛邑”。此時，周武王已有建都洛邑的想法，而周成王繼位後，也與周公、召公壹起，將洛邑的修建作為壹件大事來規劃和實施。
《尚書·周樹洛谷》中有記載:“召公在府中，周公去營壹周，故發報寫洛谷。周公躬身磕頭，曰:‘吾復子明，王如甫敢與天基結下緣分，賜與乃印寶，乃在東方，根基明。把它交給茅毅，然後去找羅施。我不和碩水瓶座；我是蔔建水東。鄂水西，惟羅食之；我又賭了？東部有水，也有食物。？土？這是個騙局！？/p & gt；
根據這些記載，我們可以知道，《河圖》是周公旦在周成王修建洛邑時繪制的洛邑城址及其周圍的洛水、沂水、寶瓶、建水等河流的位置圖，故稱《河圖》。是最早的洛陽城市地理圖；周公旦的蔔辭所選的城址就是後世所謂的“洛書”。此後不久，“地圖”和“書”被刻在美麗的玉石上，他們被稱為“河圖”，這是周氏的寶藏。康王即位時，曾作為國寶陳列。
那為什麽《易經》裏有壹句話說“河作畫，羅作書，聖人作之”？在今天的《易經》中記載“自然神為物，聖人為之。”天地之變，聖人之作也。天懸如象，見吉兇，聖人望之。河水畫圖，羅出書，聖人行。“這其實是壹句崇尚神道占蔔的話。從文字語言來看，“河作圖，羅作書，聖人作之”這句話與前文不是同壹人所寫，顯然是後人在前文基礎上加上的句子。
到了宋代，世人開始了壹場關於《呼圖洛書》真偽和八卦是否照河洛繪的爭論。
《易經》提出了“河作圖，羅作書，聖人作書”的理論，這壹理論在先秦兩漢到唐代的文獻中基本持有。但河洛圖體早已失傳，至少在晚唐時期。宋初陳摶與河圖、洛書、先天圖、太極圖代代相傳，引起了壹場肯定派與古文派的論戰。
兩派都堅信“河畫壹畫，羅出書，聖人畫壹卦。”所不同的是，古代的懷疑論者將《河圖洛書》視為荒謬，並大肆攻擊。其開創者為北宋歐陽修，其《易通文子》否定伏羲河圖之說，認為“河圖”非易之前。清代黃宗羲的易學象數論、黃宗彥的《辨書》也認為《河圖洛書》理論實際上來源於道家，與《易經》無關。
與此同時，肯定派大力提倡呼圖洛書，不僅駁斥了古代懷疑論者的意見，而且在呼圖洛書的研究和解釋方面也取得了不少成果。王安石、蘇軾等人都不贊成歐陽修的觀點。清代有很多分析《河圖洛書》的著作，其中李光地的《易經妥協》、徐虎的《易經》和江永的《河洛精要》都是優秀之作。
從民國到解放，兩派鬥爭不斷。在現代，顧頡剛是古代懷疑論學派的代表，他在《黃三考赫圖洛謫書》中徹底否定了《河圖洛書》。1977年春，在安徽省阜陽縣雙古堆西漢墓葬出土的文物中發現了《太乙九宮占盤》，其圖式與《洛書》完全壹致，表明宋代書籍絕非杜撰。
時至今日，普遍認為洛書最遲存在於西漢初年，但關於河圖的來源和河圖洛書與《周易》誰先誰後仍有爭議。