山東省，位於我國華東沿海北端，地處黃河下游，不僅是黃河入海之地，也是「五嶽之尊」泰山所在地，自古為華夏先民繁衍生息之地，是儒家文化的誕生地，也是中華民族和華夏文明的重要發祥地之一。山東，最早指的是崤山、太行山以東，僅為一個地理名詞，金時曾有山東東、西路，明初正式設省。
元朝是我國行省制度的開端，但山東、河北、山西及京津等地當時為元朝中書省直轄，稱為「腹里」，明朝建立後才設山東、山西兩省。山東設省於洪武元年，即公元1368年，洪武九年朱元璋改行省為承宣布政使司，山東行省改為山東承宣布政使司，但仍通稱山東省、山東行省，山東行政中心也於此時由青州遷到濟南。山東設省初，行政區劃變化較為頻繁，到洪武十八年（公元1385年）兗州升為兗州府後，山東一直維持六個府的格局直至滅亡。
明朝山東六府分別為西三府濟南府、東昌府、兗州府，東三府青州府、萊州府、登州府，兗州府為這六府中設立最晚的一個，其轄區原為濟寧府，1385年濟寧府降為散州，原為濟寧府所轄散州兗州升為兗州府，濟寧州為其所轄。兗州府是明朝山東大府，共轄有4州23縣，在明代山東六府中轄縣僅次於濟南府（有4州26縣）。
兗州為「古九州」之一，最早也為地理區域劃分，「河濟」之間為兗州，「河」為黃河，「濟」為濟水，又稱兗水，均為古代「四瀆」之一，古黃河、古濟水之間的今山東西部、河北南部、河南北部等地區就稱為兗州。西漢漢武帝時將全國分為十三刺史部，多以古代州為名，因此又稱十三「州部」，兗州就為其一，南北朝時兗州開始治瑕丘（今兗州）。
元朝時，兗州為濟寧路所轄散州，明初改濟寧路為濟寧府，兗州仍為其所轄，洪武十八年兗州升為兗州府，轄原濟寧府之地，府治嵫陽。明代兗州府共有4州23縣，其中嵫陽（滋陽）、曲阜、寧陽、鄒、滕、嶧、泗水、金鄉、魚台、單、城武等11縣為兗州府直領，另12縣為濟寧州、曹州、東平州及沂州所轄。
濟寧州，明初為濟寧府，洪武十八年降為兗州府所轄散州，領本轄（原府治任城縣）及嘉祥、巨野、鄆城三縣。東平州，元為東平路，明初為東平府，洪武七年降為濟寧府所轄散州，後屬兗州府，領本轄（原府治須城縣）及陽穀、東阿、平陰、壽張、汶上等五縣。
清朝兗州府、濟寧直隸州
曹州元朝時為直隸州，明初省州治濟陰縣，後遷州治於今曹縣，又降州為曹縣，成化年間復設曹州，領本轄及曹、定陶兩縣。沂州元朝時為益都路所轄散州，明初省州治臨沂縣並改設濟寧府，後先後為濟南府、青州府所轄，兗州府成立後屬之，到明末領本轄及郯城、費兩縣。
明朝兗州府之地現分屬數個市，包括今菏澤、濟寧、棗莊三市及臨沂、泰安、濟南、聊城等市一部，其中兗州府所轄四個散州中濟寧州、曹州、沂州現在分別為濟寧市、菏澤市及臨沂市，而東平州現為泰安市轄縣東平縣。