河南省圖書館建於1909年（清宣統元年），是河南省最早的壹所公***圖書館，也是中國最早建立的公***圖書館之壹。河南省圖書館原館址在開封市龍亭湖畔的許公祠。1957年由開封市遷至鄭州市，在鄭州市優勝北路興建新館，1958年落成開放。1982年4月河南省人民政府以省重點工程立項，撥款1680萬元批準興建新館。1988年底新館主體工程竣工，1989年9月28日正式接待讀者。
河南省圖書館是國家興辦的綜合性公***圖書館，是河南省科學、教育、文化事業的重要組成部分，也是各類文獻最集中的信息中心。截止2000年底，省館藏書已達251萬余冊，包括中外文圖書160萬余冊，中外文報刊20余萬冊，視聽文獻1萬多件，縮微制品1600多件，古籍70萬余冊（含善本43284冊），其中元明清歷代流傳下來的古籍珍本，如明刊《李卓吾先生批評西遊記》、明嘉靖刊《廣輿圖》、清康熙刊《遵化誌略》和《嵩陽書院誌》等系鎮館之寶。