孔庙是祭祀孔子及其夫人亓官氏和七十二贤人的地方，是推广儒家教化而兴建的重要礼制性建筑。曲阜孔子庙是世界上第一所孔子庙，也是世界孔子庙的祖庭。衢州被孔氏称为“第二圣地”。历史上，北宋末年，金兵南侵，宋高宗赵构南渡建都于临安。孔子后裔——第四十八代衍圣公孔端友，抱负着孔子和元官夫人的一对楷木像从山东曲阜南迁至衢州，建立孔氏家庙，这就是南宗孔氏家庙。从此后衢州也就被孔氏称为“第二圣地”。
孔氏南宗家庙位于衢州市柯城区府山街道新桥街中段北侧，为中国仅有的两座孔氏家庙之一，素称“南宗”，该庙占地面积14000平方米，建筑面积7490平方米。距今约有700多年的历史。据史料记载，北宋末年，金兵南侵，宋高宗赵构仓促南渡，建都于临安，孔子第48代裔孙孔端友，负着孔子和孔子夫人的楷木像，离开山东曲阜，南迁至此，后敕建孔氏家庙，为宗庙。
孔氏南宗家庙庙门为一座单糖歇山顶建筑.在石须弥座的围墙衬托下，显得威严庄重。庙门上方，悬挂着一块由当代著名书法家沙孟海题字的“衢州孔氏家庙”匾额，字体苍劲有力。正门两边一对石狮，显示出圣地的尊严。庙门是根据明代衢州孔氏家庙图，结合清代建筑风格重新设计证。
1996年，孔氏南宗家庙被国务院公布为第四批全国重点文物保护单位
2006年，孔氏南宗家庙被命名为“浙江省廉政文化教育基地”。
孔氏南宗家庙既是官庙，亦有家庙功能，是衍圣公南迁后祭祀孔子先圣的地方，且比拟曲阜而建，具有重要的历史地位和极高的文物价值。当然因南渡后，特别是让爵后，地位下降，更没有如山东曲阜那般显赫，但它仍然发挥着两方面的作用：一是祭祀先圣，二是育人。
衢州孔氏南宗家庙有中、西、东三条轴线：中轴线有大成殿，祭祀孔子。西轴线有六代公爵祠、袭封祠、五支祠，以祭祀孔氏历代先祖；思鲁阁供奉孔子夫妇楷木像、先圣遗像。东轴线有五王祠、恩官祠，祭祀孔子之五世祖及有功于衢州孔氏的历代官员。家庙西侧是嫡长孙居住的孔府及后花园。
思鲁阁位于孔庙大成殿西侧，是一座古色古香的二层楼房，现辟为孔氏家庙陈列室。