抗日戰爭時期，山東抗日根據地是我國敵後抗日根據地的重要組成部分，但從區域來說山東抗日根據地僅是山東津浦鐵路以東部分的抗日根據地，津浦路以西山東部分則大部屬冀魯豫、冀南邊區政府，冀魯豫邊區、冀南邊區政府均屬晉冀魯豫邊區政府。解放戰爭時期也基本沿襲抗日戰爭時期建制，解放戰爭勝利前夕晉冀魯豫邊區政府與晉察冀邊區政府合併為華北人民政府，而山東屬晉冀魯豫邊區政府部分劃歸了新設之平原省。
建國初，山東省省域與今山東區劃有較大區別，最大的差別為津浦鐵路以西的今聊城、菏澤等地區隸屬於平原省，而南北各轄有今江蘇、河北一部。1952年山東、河北省界調整，同年11月平原省撤銷，1953年1月江蘇省人民政府成立，經過一系列區劃調整後才基本形成今山東轄區。自抗日戰爭時期至1953年，魯、豫、蘇、皖四省交界處曾存在一個行政區湖西專區，因處於微山湖以西而得名，著名的運河支隊就長期活躍於此，曾是抗日戰爭時期溝通華中與華北抗日根據的重要通道。
湖西專區處於多根據地交界處，行政上隸屬多變。湖西專區成立於1940年7月，轄微山湖以西蘇魯邊區的單縣、金鄉、嘉祥、魚台、濟寧、豐縣、沛縣數縣及單西南、沛滕邊、曹芳等縣級辦事處，最初隸屬於魯西區，1941年7月魯西區併入冀魯豫邊區後，但此時湖西專區並未直接併入冀魯豫邊區政府，而是直屬山東省，到1942年10月才劃歸冀魯豫邊區。
湖西專區改屬冀魯豫邊區政府後轄區、序列多變，劃歸冀魯豫邊區的同年底改為冀魯豫邊區第二十一專區，1944年8月改為冀魯豫第十一專區，此時該專區轄單縣、巨野、城武、嘉祥、魚台、濟寧、豐縣、沛縣、碭山、金巨、金曹、臨河、沛銅、華山等縣，轄區涉及今山東、安徽、江蘇三省，其中金巨、金曹、臨河、沛銅、華山為戰爭時期所設之邊縣等建制。
抗日戰爭勝利後，湖西專區仍稱冀魯豫第十一專區，1946年2月改稱冀魯豫（湖西）專區。1948年2月，虞城縣由魯西南專區劃入，此時冀魯豫（湖西）專區轄單縣、金鄉、魚台、城武、豐縣、沛縣、銅北、碭山、虞城、單虞、巨南、華山等縣，轄區地跨今山東、江蘇、安徽、河南四省。
1949年2月，虞城、碭山劃歸豫皖邊區，1949年8月冀魯豫邊區政府撤銷並設平原省，湖西專區劃歸平原省，同時豐縣、沛縣、華山、銅山等四縣劃歸山東省魯中南行政區台棗專區，復程、巨野、嘉祥三縣分別由原冀魯豫第五專區、第七專區劃入，巨南縣撤銷分別劃歸巨野、成武兩縣。此時，平原省湖西專區轄單縣、金鄉、魚台、城武、巨野、復程、嘉祥等七縣，專署駐單縣。
1952年11月，平原省撤銷，原屬山東的3專區29個縣劃入山東省，其中就包括湖西專區及其所轄七縣。1953年7月，湖西專區撤銷，單縣、復程、城武、巨野四縣劃歸菏澤專區，嘉祥、金鄉、魚台三縣劃歸濟寧專區。1956年復程縣撤銷，分別劃歸曹縣、單縣，1958年城武縣改稱成武。現在，單縣、成武、巨野屬菏澤市，嘉祥、金鄉、魚台仍屬濟寧。