冶父山镇，以其标志性地物面得名，系大别山余脉。其主峰兜率峰，海找376米。其名最早见于《魏书·地形志）（北齐・魏收撰）：“潜（庐江县于南北朝为潜县）有野（冶）父山，越人冶铸之所。”
明《一统志》载：“其山自麓至巅，凡五里，有三百六十四子山、罗列居下。比众山独尊，魏峨壮丽，犹父立子群中。”“此山旧为冶铸之所。登山大小诸峰皆居其下，为众山之尊，故曰‘父’。”自始，冶父山定名至今。
新中国成立后，1950年增设罗埠区、裴岗区；1951年，置冶山乡，隶属裴岗区；1955年撤销裴岗区，冶山乡划归罗埠区。1958年实现公社化、全县成立23个政社合一的人民公社，境域内成立灯塔（庐北）公社。1960年5月，全县23个公社合并为16个公社，1961年4月，缩小公社规模，将16个公社划为75个公社、成立冶山人民公社，下设冶山、新华、幸福、罗岗、乔院5个大队。同年12月，恢复区委作为县委派出机构，全县成立8个区委，冶山公社隶属城关区。1984年农村体制改革，恢复乡级建制，公社更名为乡，所辖大队改为村委会。隶属关系不变。
1992年撤区并乡，由原城关区的冶山乡、庐北乡合并，置县直属冶山乡，乡政府驻地胡家院。1999年9月，冶山乡成建制改为冶父山镇，镇政府驻地迁至新华村新华街。
2005年7月，庐江县实行乡镇综合配套改革试点，全县设17个镇，撤销石山乡，整建制并入冶父山镇。冶父山镇列副县级建制。
冶父山镇旅游资源得天独厚，境内有千年古刹实际禅寺、伏虎寺（省级重点寺院）；森林资源丰富，冶父山国家森林公园森林覆盖率达90％；境域内蕴含丰富的矿产资源：石灰石、石英石、钾长石、高岭土等，以新型建材业形成特色产业崛起。
2014年，冶父山风景区成功创建“国家AAAA级旅游景区”，该镇当年先后荣获“第三届安徽省文明村镇”“合肥市科学发展先进乡镇”荣誉称号：2015年，冶父山风景区获评“首届安徽名山最美秋色”第一名和“中国最具价值文化（遗产）旅游目的地景区”称号；2016年，冶父山镇入选“安徽省产业集群专业镇“。