一民族一宗教，中國人最主要的是信佛教，祁陽縣最大的佛教基地雷壇觀，這裡有著上千年的佛教歷史。
祁陽雷壇觀位於祁陽縣城西北2km處的觀後嶺，觀內有一洞，石洞內蕩然，可容百人，陡壁峭崖如雕如削，石筍倒生，岩石玲瓏，奇怪萬狀；嶺下有泉伏流，冬溫夏涼，掬飲甘芳；下匯為澤，雪浪破青，煙波劃碧。據傳說每當雷雨時，有紅鰍出自洞中，疑有神物，能興雲致雨，故石壁上刻有「雷洞靈鰍」四字，為祁邑八景之一。
元朝泰定二年（1324—1328），道士李洞陽過此，嘆為仙境，乃於洞前建一座會真觀（俗稱雷壇觀），第38代天師真人於洞口岩上書刻「雷霆都會洞天」，從而成為道教72洞天之一。雷壇觀於文革期間遭毀，2005年重建有大雄寶殿，觀音殿，城隍廟，土地廟，龜蛇碑等。
最近幾年，隨著縣城的擴大一條寬敞明亮的祁陽大道剛好經過雷壇觀，大大方便了來這裡燒香拜佛的人們。
尤其是龜蛇卑，聽說只要誰看見這個龜蛇卑就會長命百歲。