五爺廟位於山西五台山風景區萬佛閣，面積雖然不大，占地僅2000平方米，殿樓堂舍也只有20多間，但因為內有五爺廟而名播遠近，香客盈門。萬佛閣創建於明代，現在建築多為清代重修後的遺存。主建築有三，一是文殊殿，二是五龍王殿，三是古戲台。
在東漢年間就開始建廟的世界五大佛教聖地之一、中國四大佛教名山之首的五台山如林的寺廟中，五爺廟只不過是一座規模很小的廟宇。五爺廟本名萬佛閣，背靠「華北屋脊」北台頂，始建於明代萬曆四十四年（公元1616年），當時，僅有東殿（文殊殿）是塔院寺的屬廟。清代時，又增建了北殿（龍王殿），並由青廟（漢傳佛教）改為黃廟（藏傳佛教），成為獨立寺。
寺宇坐北面南，平面正方形，占地面積2040平方米。寺內東、南、北三面有建築，共有殿堂6間、崇樓3間、僧舍20間、戲台1座、佛塔2座、明代石碑3通。坐北向南這座建築便是大名鼎鼎的五龍王殿，人們通稱五爺廟。五爺廟創建於清代，民國年間重修時，增建了殿外前庭。一般佛教寺院是不供龍王的，而五台山為什麼要修龍王殿呢?
這要從文殊菩薩向東海龍王巧借歇龍石的神話說起。很古以前，五台山地區並不是清涼勝境，而是酷熱難熬，當地百姓深受其苦，專門為人排憂解難的大智文殊菩薩便從東海龍王那裡巧妙地借來一塊清涼石，從此五台山變得涼爽宜人風調雨順，成為避暑勝地。而這清涼寶石原本是龍王的五個兒子播雲布雨回來驅暑歇涼之物，當他們發現歇涼寶石被文殊菩薩帶到五台山後，便尾隨而來大鬧五台山，直把五座陡峭如劍的山峰削成五座平台，要討回清涼石。但文殊菩薩畢竟法力無邊，很快就降服了五位小龍王，讓他們分別住在五座台頂。這五龍王被安排在最高的北台，專管五台山的耕雲播雨。人們感激他為五台山地區造福，為五龍王建殿造像加以供奉也就是自然的事情了。五龍王居於殿內正中，左側為大龍王、二龍王、龍母，右側為雨司、三龍王、四龍王。
據說，五龍王以前是黑臉，但為什麼所見卻是金臉呢?這是因為佛教傳言，說五爺性子暴烈，伺奉稍有不周，就要發脾氣動恐。臉由黑色變為金色，就使五爺的脾氣變溫和了。