在遠古時，以泰山為主體的魯中山地，曾是大海中的壹座島嶼。由於黃河攜帶的黃土高原的泥沙淤積，在泰山西南逐漸形成了壹片廣袤的平地曠野，才出現了今天的魯西南平原，使泰山與大陸相連。遠古魯西南的兗州，是魯民活動的中心，魯人西出群山，見此連綿曠野，謂之大野。
巨野因是大野自東向西的入口，故稱巨野。“巨”者，“大”也，巨野，即大野。大野上的河流匯入東北部的壹片窪地，形成湖澤，得名大野澤。《周禮·職方·兗州》：“其澤藪曰大野。”流經大野澤的河流主要是濟水和濮水，據《水經註·濟水》：“濟水自是東北流，出巨澤。其壹水東南流，其壹水從縣東北流，入巨野澤。……又東入乘氏縣，左匯濮水與濟同入巨野，故《地理誌》曰：‘濮水自濮陽南入巨野，亦《經》所謂濟水自乘氏縣兩分，東北入於巨野也’”。
大野澤最早是何時出現的?確切年代已不可考。但根據壹些古籍記載，我們可以斷定，至少在夏代以前，大野澤已經出現。據《尚書·禹貢》記載：“大野既瀦，東原厎平。”孔傳：“大野，澤名。”孔穎達疏：“《地理誌》雲：‘大野澤在山陽鉅野縣北，鉅即大也。’”《尚書》是中國最古老的歷史書，儒家經典六經之壹，其中的《禹貢》是以記載大禹治水為主的重要的地理著作，如果認為它可信的話，就可以斷定：在大禹治水時，即夏朝以前，距今4000余年，大野澤已經存在。據《史記·夏本紀》：“大野既都，東原厎平。”也可以證明這壹觀點。但是譚其驤主編的《中國歷史地圖集》，在夏商時並沒有標出大野澤，最早在西周時才畫出大野澤，不知所據為何，亦或疏落所致。