公元9世紀，聖彼得大教堂設立檔案館保存外交和法律檔案，經濟和行政檔案保存在帕拉蒂諾塔，被稱為“古代文學塔”，毀於11世紀。12世紀聖彼得大教堂的檔案搬進了新建的梵蒂岡宮。
從1308到1378，部分檔案被運送到囚禁教皇的阿維尼翁。1611年，教皇保羅五世下令將零散的檔案集中在梵蒂岡，從而形成了檔案館。它最早與教皇圖書館建立，1630年與之分離，並任命了第壹任專職館長。