少林寺創建於北魏太和十九年（西元495年），是北魏孝文帝元宏為安頓印度僧人跋陀落跡傳教而建造的。因寺座落于少室山陰的叢林之中，故名。正如清景日眕《説嵩》雲：“少林者，少室之林也”。

跋陀到少林寺後，長住於此傳授小乘佛教。不乘是以自解脫為目的的早期印度佛教。當時前來少林寺求法的達數百人，高足弟子有慧光、僧稠等人。跋陀傳法之後，傳燈轉移，並不繼續發展。

北魏孝明帝孝昌三年（西元527年），釋迦牟尼第二十八代佛徒菩提達摩漂洋過海到中國，途經廣州、南京，然後北渡長江來到少林寺，在跋陀開創的基礎上，廣集信徒，傳授禪宗，寺院逐漸擴大，僧日益增多，少林寺名重一時，成為禪宗祖庭。禪宗是佛教的一派，禪是梵語“禪那”的略稱，即安定、止息雜慮的意思，其宗旨是“明心見性，一切皆空”。禪宗修道的禪法稱為“壁觀”，就是面對墻壁靜坐修行。達摩曾在少林寺後五乳峰上的石洞裏終日面壁了九年，由於年深日久，身影投于石上，留下千古傳頌的“面壁石”，現在少林寺內還有達摩的面壁影石。達摩在少林寺修行多年，並於北魏天平三年傳法于慧可，從此禪學在少林寺落跡流傳。

南北朝時，佛教盛行，佛寺遍天下，北周武帝時採納元嵩“定教先後”的建議，于建德三年（西元574年）下令禁止佛、道二教傳流，當時少林寺也不能倖免，僧眾流亡嚴重。北周大象年間，靜帝為了維護封建統治秩序，復行佛、道二教，並重整少林，同時將少林寺改名為陟岵寺。

到了隋代，當隋文帝即位後，頗重佛教，於是在開皇初年復改陟岵寺為少林寺，並賜少林寺田地一百頃為寺院莊園，少林寺從此成為一個擁有百頃良田的大莊園。隋末唐初，少林十三和尚因助唐有功，受到唐太宗的優厚封賞，賜田地千頃，水碾一具，參戰僧人也各有封賜。從此，少林寺名揚天下，被譽為“天下第一名剎”，少林寺也成了李唐最高統治者經常駕臨遊幸之所，如高宗、武則天不斷到少林寺遊幸，每次都有封賜，並對少林寺大加增建。到了唐宋年間，少林寺擁有土地14000多畝，寺基540畝，樓臺殿閣5000余間，僧徒達2000多人，甚為興盛。

元明時期少林寺仍很昌盛。元初，世祖命福袷和尚主持少林，並統領嵩嶽一帶所有寺院。福裕主持少林時，創建鐘樓、鼓樓，增修廊廡庫廚，金碧輝煌，殿宇一新，僧徒雲集演武禮佛，“眾常兩千”。後福裕被元帝追封為晉國公。

明王朝建立後，少林寺的殿宇樓閣屢經修葺，並有所增建。嘉靖時因寺僧抗倭有功，明朝皇帝又大規模地修整了寺院，寺院並享有明朝官府所賜予的免除糧差等特權。

清朝初期，少林寺也頗為興盛，康熙親自為山門及大雄寶殿書寫匾額；雍正時創建山門；乾隆皇帝還親臨少林，夜宿丈室，寫下眾多的詩詞、匾額。清末以後，少林寺屢遭兵燹戰火，特別是1928年軍閥石友三火燒少林寺，大火延續四十余天，寺內建築文物毀環嚴重。

少林寺從山門到千佛殿，從塔林到達摩洞，從初祖庵到二祖庵，寺內的樓臺建築、佛像雕塑、殿宇壁畫、鐘磬鑄造、欄柱雕繪、臺階石砌、碑刻詩畫、古塔石坊等皆為文物古跡之精品，少林寺因而成為中外遊客廣為遊覽的海內名寺。正如唐代裴凗在《皇唐嵩嶽少林寺碑》中所説的：“海內靈岳，莫如嵩山，山中道場，茲為勝殿。”

中華人民共和國建國後，特別是近幾年，隨著旅遊事業的發展，國家拔鉅款對少林寺大加整修，恢復和修繕了少林寺的大部分建築和文物，並美化了環境，增添了設施，從而使千年古又呈現出金碧輝煌的局面。

少林寺的主體建築為常住院，是寺中住持及眾執事僧們進行佛事活動和起居的地方，也就是人們所通稱的少林寺。常住院依山而建，中軸建築共為七進，即山門、天王殿、大雄寶殿、藏經閣、方丈室、達摩亭和千佛殿，兩側還有六祖殿、緊那羅殿、東西禪堂、地藏殿、白衣殿等建築，面積三萬多平方米。