中嶽嵩山，分兩條山脈，東脈名曰「太室山」，西脈名曰「少室山」。
少室山有「二十八變」的說法。站在登封城西門外，觀看少室山，山峰有高有低，有粗有細， 配上藍天和白雲，好像皇姑戴的皇冠，拔地而起。從老汝洲城北門觀看少室山，峰巒疊嶂，層 層陡立，好像一朵盛開的蓮花。從古陽城觀看少室山，晩霞普照的時候，少室山上雲霧繚繞， 群峰千姿百態，好像百鳥朝鳳。從其它地方觀看少室山，更是姿態多變。有像關公挑袍，有像群 英集會，有像八仙醉酒，有像童子拜觀音、龍鳳呈祥、天女散花、五虎群羊、雄獅逐斗等等。因 而，很早以前，人們就有「登少室，觀奇景」的說法。
傳說，在南北朝時候，有一年六月六日，有三個人，一早就從少室山南、北、西三條道上登 山，觀看少室奇景。從南山道上登山的一個人，是陰陽先生打扮。年過六旬，銀須白髮。頭上戴 著銀灰色平頂帽，身上穿著鐵灰色長袍，青緞子護領平展相襯。長袍上用金銀線繡成的八卦圖，干三連，坤六斷，離中虛，坎中滿，艮伏震仰，巽漲兌縮。正中間繡個日月太極圖，黑月吃白月。 腰中繫著杏黃色絲條，雙垂燈籠穗前後撲甩。高腰白襪搭於膝蓋之上，腳穿粉底雙梁青緞子鞋。 論長相，臉如古月，眉分八彩，目如朗星，鼻若懸膽，四方口，太公須，五尺高身材。走路邁著 八字步，不緊不慢。手中提一個赭石色布袋，內裝一面銀盤羅鏡，走著路口中不離「甲子丁卯」。 從北山道登山的一個人，是個和尚打扮。他身高七尺，膀闊三停，肩寬背厚，肚大腰粗。頭 戴著青緞子平頂僧帽，身穿深灰色僧袍，腰系金色絲帶，腳穿鵝黃單開口僧鞋。面如紅棗，眉似 臥蠶，獅子鼻，火盆口，厚嘴唇，滿面鬍髭。背上斜插著一把銀亮戒刀。手中拿一桿八 尺槊鍾，脖中掛著一串念珠，走路口中不離「阿彌陀佛」。
從西山道登山的一個人，是財主打扮，頭戴絳紫色公子巾，迎面鑲個白玉片。身上穿青緞子 ，周圍走金線，織金邊。外罩古銅色起花馬褂，緊貼上身。腳穿單梁厚底雲鞋，白細布襪 子相配。手中拿著一把斑竹股大散展紙扇，扇上寫著梅花篆字。四方臉，厚嘴唇，秤錘鼻子，山 羊鬍子，走著路口中不離「招財進寶」。
三個人走到連天峰的時候，天氣突變，隨山谷刮來穿梭風，雲霧後浪推著前浪，越滾越高， 越滾越近。他們一邊看著霧海雲浪，一邊慢步往連天峰上登去。登著登著，上雲下霧合在一起， 他們像走進了雲霧裡。來到峰頂，個個累得渾身冒汗。當時，連天峰頂有個鼓形丈有餘。由於雲霧籠罩，三個人誰也沒看見誰，就在鼓形大石上相背而坐，歇息喘氣。 可是，坐下時間不長，卻聽到雲頭上有人說話，他們抬頭往上一瞧，見東南方向的雲彩上邊， .隱隱約約呈現出一座古剎。看起來，古剎雄偉壯觀。一處九進九出的寺院，殿宇排列成行，紅牆 黃瓦，朱柱雕梁，五脊六獸，鐵馬叮噹，蒼松翠柏掩映著山門，門外一對石獅子護衛，門上掛著 一塊紫檀木匾額，上書三個大金字——「竹林寺」。
一個小沙彌手扶掃帚，在山門前問老和尚：「師傅！竹林寺升到天上來了，地上還有佛寺嗎？」 老和尚顫著白須，笑著說：「有！有！天上『竹林』，地上『少林』嗎！」 小沙彌問：「地上還有個少林寺呢？在哪兒？」
老和尚伸出右手，往雲下一指，說：「就在少室山北麓密林叢處，你看！寺北有凌空高踞的 五乳峰，寺南有峻峭的『九鼎蓮花』頂，蓮花頂下自西向東還排有『旗』、『鼓』、『劍』、『印』、『鍾』 五座山巒。珠簾泉水從崖上流下山，由寺前往東流去。」
「哎！少林寺對面山坡上，六月天氣，怎麼還有一片白雪呢？」
「那是少林寺 『余雨少室映晴雪』的奇景。」
門上，各懸有一塊金字大匾，從山門那裡往後看，是：「少林寺」、「天王殿」、「大雄寶殿」、「講 經法堂」、「方丈室」、「達摩亭」、「千佛殿」。字如斗大，招人耳目。寺內寺外，松柏遮天，竹梅相 襯。三個人都看得入了迷，不禁脫口而出：「阿彌陀佛」、「甲子丁卯」、「招財進寶」。他們話音剛 落地，雲霧散開了。再看看少室山北麓，哪兒還有寺院呢？仍是一片綠樹叢林。驚得三個人面面 相覷，好一會兒才恍然大悟，各從原路下山去了。
下山途中，三個人對天上一老一少兩個和尚的對話，越想越覺得蹊蹺。因為，「天上竹林」， 肯定是說的竹林寺升天的事，他們知道得清清楚楚。而「地上少林」，今天才從神仙口中得來。並 且也隱隱約約看到了少林寺幻景。他們理會，展現少林寺的那塊地方，定是一方「寶地」。所以， 三個人就各自作出各人的打算。
陰陽先生想把「寶地」占下，將祖先墳墓遷移到那裡，以後家中會出貴子賢人。財主想把「寶 地」占下，在那裡建立宅院，一定會財運亨通，日進斗金。和尚想把「寶地」占下，在那裡建造 座佛寺，好使佛祖的煙火千年不斷。他們下山時，天已昏黑了。三個人住在三個地方，都想讓心 願早點實現。
和尚睡到半夜，再也合不住眼睛，就往少室山北麓走去。映著星光，看見「寶地」上，樹木 叢生，還並膀長著兩株高大的翠柏。他脫下一隻鞋子，在兩株翠柏中間挖了個坑，將鞋子埋在裡邊，作為記號，走了。
陰陽先生等到雞叫，便起床到少室山北麓來，見「寶地」密林中，生長著兩株高大的翠柏， 便折了 一枝木棍，深深地插在兩株翠柏中間，作為記號，走了。
太陽升出山頭，財主起了床，往少室山北麓走來。他也想放個東西在那裡，作占地憑證。忽 然見兩株翠柏中間，豎著一根棍兒，就把自己頭上戴的公子巾解下來，纏掛在棍上，作為記號， 走了。
三天以後，三個人各帶著自己的人馬，來到少室山北麓，準備在「寶地」上破土動工。三個 人一見面，便爭吵起來，都說自己早已占下。爭吵無法結局的時候，正好當朝皇帝孝文帝拓跋宏 來游嵩山，碰到他們在那兒爭吵不休，問起根由，才知道三個人在爭一塊「寶地」。孝文帝問他們 各人有什麼憑據沒有，財主說他的憑據是「公子巾」，陰陽先生說他的憑據是「棍」，和尚說他的 憑據是「鞋」。孝文帝聽後，說：
巾在棍頭纏，理當棍插早；
棍在鞋中豎，還歸鞋先埋。
陰陽先生與財主聽完萬歲的話，掃興地走了。
孝文帝和他們談話中，發現和尚相貌非凡，問其根由，原來這個和尚是印度高僧佛陀。為在 「東土」傳經，他已經來中國「遊方」三年了。孝文帝知道以後『對佛陀很器重『當即命令州、 縣官員，協助佛陀建造寺院。
佛陀請求孝文帝賜封寺名，孝文帝說：「山為『少室山』，雙柏名曰『林』。依山建寺，鍵『林』 破土，定名『少林寺』吧。」
據說，少林寺就是從那時候建造起來的。