1929年4月，研究所前身農商部地質調查所新生代研究室成立於北京，主要從事周口店北京猿人遺址的發掘及化石研究。
1929年12月，裴文中發現了第壹個北京猿人頭蓋骨，至1937年，裴文中、賈蘭坡等先後在周口店已發掘出包括五個完整頭骨在內、約四十個個體的北京猿人材料和大量的動物化石，***計1221箱。
1937年，抗戰爆發，抗戰期間除有人員北京留守外，楊鐘健遷至雲南成立地質調查所脊椎動物化石研究室繼續工作，開展了為期近8年的以雲南祿豐中生代恐龍動物群為重點的考察與研究。
1945年，抗戰勝利後，新生代研究室遷回南京。
1949年10月，周口店由賈蘭坡主持，恢復了發掘工作。
1951年中國科學院古生物研究所在南京成立，新生代研究室改為下設的新生代及古脊椎動物組，楊鐘健為主任。
1953年4月，中國科學院古脊椎動物研究室在北京成立，並設周口店工作組，成為中國第壹個古脊椎動物學、古人類學研究的獨立機構。
1955年12月，研究室第壹屆學術委員會成立，推選楊鐘健為主任。
1956年3月，研究室成立低等脊椎動物組，高等脊椎動物組，人類化石及文化組，改周口店工作組為工作站。
1956年10月，太原工作站成立（1960年太原站下放給山西分院，1972年撤銷）。
1957年9月，古脊椎動物研究室改名古脊椎動物研究所；三個研究組提升為研究室。
1960年4月，研究所改名為中國科學院古脊椎動物與古人類研究所，所名沿襲至今，下設低等脊椎動物室、高等脊椎動物室、古人類室和新增設的新生代地層室及周口店、太原兩工作站。研究所技術輔助科室有化石修理室，模型裝架室，繪圖室，照相室，圖書室，編輯室及標本館等。
1992年，研究所機構調整，設有古魚形動物研究室、古爬行動物研究室、早期哺乳動物研究室、晚期哺乳動物研究室、古人類研究室和舊石器考古研究室及周口店國際古人類研究中心；撤銷了C14測年實驗室，孢粉實驗室；增添了科技開發公司和面向社會的中國古動物館。
1995年12月，中國古動物館正式對外開放。
1997年後，研究所又恢復了古低等脊椎動物研究室、古哺乳動物研究室、古人類研究室和周口店國際古人類研究中心的編制。
2002年，中國科學院與北京市人民政府簽署協議進行院市***建，改變周口店猿人遺址的管理體制。市政府則對遺址的保護、建設、管理及科普工作負責，研究所僅負責周口店遺址的科研工作，擁有發掘權、標本權和研究權。
2004年5月，科技開發中心並入中國古動物館。