抗日战争时期，山东抗日根据地是我国敌后抗日根据地的重要组成部分，但从区域来说山东抗日根据地仅是山东津浦铁路以东部分的抗日根据地，津浦路以西山东部分则大部属冀鲁豫、冀南边区政府，冀鲁豫边区、冀南边区政府均属晋冀鲁豫边区政府。解放战争时期也基本沿袭抗日战争时期建制，解放战争胜利前夕晋冀鲁豫边区政府与晋察冀边区政府合并为华北人民政府，而山东属晋冀鲁豫边区政府部分划归了新设之平原省。
建国初，山东省省域与今山东区划有较大区别，最大的差别为津浦铁路以西的今聊城、菏泽等地区隶属于平原省，而南北各辖有今江苏、河北一部。1952年山东、河北省界调整，同年11月平原省撤销，1953年1月江苏省人民政府成立，经过一系列区划调整后才基本形成今山东辖区。自抗日战争时期至1953年，鲁、豫、苏、皖四省交界处曾存在一个行政区湖西专区，因处于微山湖以西而得名，著名的运河支队就长期活跃于此，曾是抗日战争时期沟通华中与华北抗日根据的重要通道。
湖西专区处于多根据地交界处，行政上隶属多变。湖西专区成立于1940年7月，辖微山湖以西苏鲁边区的单县、金乡、嘉祥、鱼台、济宁、丰县、沛县数县及单西南、沛滕边、曹芳等县级办事处，最初隶属于鲁西区，1941年7月鲁西区并入冀鲁豫边区后，但此时湖西专区并未直接并入冀鲁豫边区政府，而是直属山东省，到1942年10月才划归冀鲁豫边区。
湖西专区改属冀鲁豫边区政府后辖区、序列多变，划归冀鲁豫边区的同年底改为冀鲁豫边区第二十一专区，1944年8月改为冀鲁豫第十一专区，此时该专区辖单县、巨野、城武、嘉祥、鱼台、济宁、丰县、沛县、砀山、金巨、金曹、临河、沛铜、华山等县，辖区涉及今山东、安徽、江苏三省，其中金巨、金曹、临河、沛铜、华山为战争时期所设之边县等建制。
抗日战争胜利后，湖西专区仍称冀鲁豫第十一专区，1946年2月改称冀鲁豫（湖西）专区。1948年2月，虞城县由鲁西南专区划入，此时冀鲁豫（湖西）专区辖单县、金乡、鱼台、城武、丰县、沛县、铜北、砀山、虞城、单虞、巨南、华山等县，辖区地跨今山东、江苏、安徽、河南四省。
1949年2月，虞城、砀山划归豫皖边区，1949年8月冀鲁豫边区政府撤销并设平原省，湖西专区划归平原省，同时丰县、沛县、华山、铜山等四县划归山东省鲁中南行政区台枣专区，复程、巨野、嘉祥三县分别由原冀鲁豫第五专区、第七专区划入，巨南县撤销分别划归巨野、成武两县。此时，平原省湖西专区辖单县、金乡、鱼台、城武、巨野、复程、嘉祥等七县，专署驻单县。
1952年11月，平原省撤销，原属山东的3专区29个县划入山东省，其中就包括湖西专区及其所辖七县。1953年7月，湖西专区撤销，单县、复程、城武、巨野四县划归菏泽专区，嘉祥、金乡、鱼台三县划归济宁专区。1956年复程县撤销，分别划归曹县、单县，1958年城武县改称成武。现在，单县、成武、巨野属菏泽市，嘉祥、金乡、鱼台仍属济宁。