嵩山少林寺創建於北魏太和十九年（公元495年），地處中原腹地，交通發達，與都城洛陽隔山相望。孝文帝為了安置他所敬仰的印度高僧跋陀，在嵩山少室山北麓敕建少林寺。跋陀收有兩位高徒，其壹為慧光，律學巨匠；另壹為僧稠，被譽為“蔥嶺以東，禪學之最。”永平元年（公元506年），印度高僧勒拿摩提和菩提流支，先後來到少林寺，開辟譯場，少林寺西臺舍利塔後建翻經堂，由慧光助譯，***同翻譯印度世親菩薩《十地經論》，歷經三年完成。《十地經論》翻出後，慧光在少林寺弘揚師說，內容包括《四分律》。慧光弟子主要有法上、道憑、靈衍、道雲、道暉、靈隱等。《四分》壹宗之確立，實始於慧光。《四分》在少林寺內傳承有序。少林早期律學，以《四分》為先，先導之以戒行、律學，然後學之以經論。少林弟子沿此雙軌並進，成果累累。至初唐，根基已固，律宗開山，水到渠成。唐長安四年（公元704年），義凈自印度取經回國，至少林寺結戒壇，盡源於少林寺悠久的律學傳統。
隋文帝崇佛，於開皇年間（581—600年）詔賜少林寺土地壹百頃。隋朝初年，由於皇帝的賞賜，少林寺從此成為擁有眾多農田和龐大寺產的大寺院。隋朝末年（618年），朝廷失政，群雄蜂起，天下大亂，擁有龐大寺產的少林寺，成為山賊攻擊的目標，“僧徒拒之，塔院被焚”。為了保護寺產，少林寺僧人組織起武裝力量與山賊官兵作戰，少林功夫作為少林寺的武裝力量初步形成。唐武德二年（619年），隋將軍王世充在洛陽稱帝，號“鄭國”。其侄王仁則占據少林寺屬地柏縠塢，建轅州城。武德四年（621年），少林寺曇宗等十三位僧人，擒拿王仁則，奪取轅州城，歸順了秦王李世民。三天後，李世民派特使來少林寺宣慰，參戰僧人皆受到封賞，曇宗還被封為大將軍僧，並賜給少林寺柏縠塢田地四十頃。少林寺自此以武勇聞名於世。少林僧眾習武蔚然成風，代代相傳。
在唐代，少林寺為當時禪學重鎮。唐弘道元年（683年），達摩禪派重要領袖法如禪師駐錫少林寺，六年後圓寂於少林寺。當時著名禪師如慧安、元珪、靈運、同光等，皆駐錫於少林寺。壹代名僧玄奘法師（600—664年）曾先後兩次上表，請求入少林寺修禪譯經，卻未獲準。新羅國僧慧昭（774—850年）於元和五年（810年）入少林寺修禪多年，公元830年回國建玉泉寺，圓寂後謚號“真鑒國師”。隨著達摩開創的禪宗教派興盛並成為中國佛教最大宗派後，特別是進入宋朝（十世紀）以後，少林寺開始成為禪宗教派的朝聖地。為了紀念達摩，在少林寺後山達摩曾經坐禪傳法的地方，修建初祖庵，並建立高大的“面壁之塔”。
蒙古族建立後的元朝，少林寺名僧輩出，是少林的第二個輝煌時期。少林寺作為禪宗祖庭，曹洞宗法脈回歸祖庭，人才濟濟，高僧輩出，由此開啟了少林寺壹個最輝煌的時代，為該時期中國禪宗教派之軸心。元代中期，以邵元為代表的壹批日本僧人到少林寺求法，成為中日文化交流史上的佳話。雪庭福裕禪師住持少林寺期間，還創立了寺院宗法門頭制度，使少林寺僧人皆視少林寺為家，成為明朝（1368—1644年）少林功夫武術水平崛起和體系及門派形成的重要基礎。
明王朝是在漢人反抗蒙古人的戰爭中建立的。所以，在冷兵器時代的明朝，民間習武風氣盛行。這是少林功夫武術水平精進和體系、門派形成的大環境。明朝近三百年間，是少林功夫武術水平大發展時期。少林寺僧人至少有六次受朝廷征調，參與官方的戰爭活動，屢建功勛，多次受到朝廷的嘉獎，並在少林寺樹碑立坊修殿。少林功夫也在實戰中經受了檢驗，少林功夫威名遠揚，也因此確立了少林功夫在全國武術界的權威地位。少林功夫對少林寺僧人參戰地區（河南、山東、江蘇、浙江、福建、雲南等）和遊方地區（河南伏牛山、四川峨眉山、雲南雞足山等）的武術起源和發展，都產生了深遠的影響。少林功夫的武術技藝，也達到了前所未有的水平，得到了同行及全社會的普遍認可。同時，少林功夫的理論得到了空前發展，著述之繁，現已無法統計。其中流傳至今的有四部重要武術著作：明釋洪轉《夢綠堂槍法》、明程宗猷《少林棍法闡宗》、清吳殳《手臂錄》和清張孔昭《拳經拳法》。
據明萬歷九年（1581年）王士性《嵩遊記》，此時少林寺僧人達到“八百余僧”規模。按少林寺宗法門頭制度，除了少林寺常住院執事僧以外，其他僧人都是分散在各個宗法門頭內。佛教組織的基本原則是遊方制度，核心內容開放，也就是僧人進出的自由權。但在少林寺宗法門頭組織結構內部，僧人們師承關系又是相對單壹和穩定的，他們要嚴格遵守宗法傳承制度。除非特殊原因，僧人們不會頻繁流動。少林寺宗法門頭制度具有開放和穩定的雙重性，對於少林功夫的發展和傳承，尤其是少林功夫體系和門派的形成，都有著非常重要的作用。
滿清入關建立政權以後，受戰亂影響，此時的少林寺僧人規模逐漸縮小。清朝廷對少林寺非常重視。雍正十三年（1735年），皇帝親覽寺院規劃圖，審定方案，重建了山門，並重修了千佛殿。乾隆十五年（1750年），乾隆皇帝親臨少林寺，夜宿方丈室，並親筆題詩立碑。少林寺僧人白天照常經課坐禪，夜間堅持在少林寺最隱蔽的後殿——千佛殿，習武不輟，以至大殿地面因長期練功發力形成陷坑，至今遺跡仍存。從清朝白衣殿壁畫和文獻記載，少林功夫在清朝以來，仍維持著很高的水平。
民國期間（1911—1949年），少林寺遭受了壹場人為的重大火災。壹九二八年，軍閥混戰，殃及少林寺，大雄寶殿、藏經閣樓等重要建築及典藏，皆被燒毀，損失慘重。中華人民***和國建立以後，特別是二十世紀八十年代政府頒布新的宗教政策以來，隨著國家的開放政策和全球多元文化時代的到來，少林寺繼承和發揚自己獨特的優良傳統,先後恢復禪堂，每年舉行精進禪七。收集整理古籍善本，少林寺藏經閣已被國家列為全國古籍重點保護單位，並整理出版《中國佛教醫藥全書》、《中華武藏》等多部著作。廣泛開展中外文化交流活動。少林文化已被世界越來越多的民族認同，成為連接世界人民友誼的紐帶。在世界各地熱愛中國文化的人們心目中，少林文化成了中華傳統文化的象征。