楓林寺在餘慶鄉西南邊，寺不大，住的是尼姑。
楓林寺的故事要從九十九個和尚說起。據說楓林寺的歷史可以上溯到宋朝，鼎盛時期的楓林寺，香火十分旺盛，寺院連片、僧侶眾多，但最多也只有九十九個和尚，少一個馬上有人補上，多一個就有和尚去"見佛祖"，總之不多不少剛好九十九個。
楓林寺的寺名已無從考證，但若說這裡曾是一片茂密的楓樹林也並不是沒有根據，如今，在楓林寺周邊就有「楓樹下」、「楓林沖」等地名。火紅的楓樹林中，掩藏著一座座古香古色的寺院，大概會是一道不錯的風景!
與楓林寺後面的岩洞比起來，楓林寺的歷史不過是時間暗夜中的一點螢火。如今，楓林寺的輝煌不再，但岩洞依舊。
楓林寺岩洞
岩洞在楓林寺正殿後面，洞口正對後門，夏天有涼風從洞口吹出，清涼無比，曾有周邊的老人從家裡帶糧食住到寺里避暑。岩洞洞口較小，比一扇普通的門稍大，洞口左邊的石壁上刻著「襟山帶水」四個古樸大字，洞口上方有一個長方形的石框，可能提有洞名，字跡已經風化，看不清。
岩洞構造精巧。從洞口進去，有一甬道，約三五米，穿過甬道有一較大石洞，石洞右上方有一天坑，陽光傾斜而下。往裡，石洞驟然變小，形成一個拱門，經拱門進入主洞便豁然開朗，足可以容納上數百人，主洞右上方有一洞口，通往洞外，主洞左側有一隱蔽的溶洞，深不見底。1944年，日軍入侵耒陽，燒殺搶掠、無惡不作，楓林寺周邊的許多百姓就躲在這個隱蔽的溶洞裡避難，因此，當地的老人口中還有「民國三十三，日本鬼子進湖南」的說法。
楓林寺岩洞
楓林寺岩洞
據老人回憶，楓林寺後面的岩洞還有一個水洞，須經過一個狹窄的石縫才能擠進去一個人，水洞裡有很多烏黑肥碩的鯰魚，很容易上鉤。據說某天有一村民去釣魚，越釣越多，多到不同尋常，最後釣上來一隻女人的繡花鞋，嚇得驚魂失措，屁滾尿流。如今石縫已經長在起，洞口隨之消失，但洞口還邊有一水井，水就是從裡面流出來的。
楓林寺後面的山上有很多矮小的竹叢，每到春天，附近的小孩都來挖竹筍，許是嚇唬小孩莫要進岩洞玩耍，周邊流傳著岩洞裡有狐狸精的傳說。某天傍晚，一獵人打獵而歸，經岩洞時發現，洞口的石頭上坐著一個一絲不掛的漂亮女人，一邊梳頭一咯咯地對邊著他笑，獵人知是狐狸精，撒腿就跑，狐狸精就在後面追，一直追到村門口，獵人念動咒語，請出村裡供奉的祖師爺----梅山二郎神楊戩，狐狸精才不敢追來，後來，楓林寺蓋了一座觀音堂，裡面供奉著觀音大士，狐狸精再也不敢出來作亂。
每年的觀音菩薩生日，楓林寺都會舉行盛大的廟會，寺後的岩洞就派上了用場，較小的洞用作廚房，較大的洞用作餐廳，幾百人坐在洞裡吃飯一點都不擠。