山東歷史悠久，其地處黃河下游，渤海、黃河之濱，自古為華夏先民繁衍生息之地，我國遠古時期著名的「大汶口文化」「龍山文化」就起源、發展於今山東，春秋戰國時期更為東方之大國齊國、魯國之地，因此山東又有「齊魯大地」之稱，並簡稱「魯」。山東一詞最早為地理劃分，指的是崤山、太行山以東，金時改北宋京東東西兩路為山東東西兩路，山東始成為政區名稱，明朝初期山東正式設省。
「州」為我國古代行政區劃，其最早也是地理劃分，先秦時期全國分為「九州」，西漢漢武帝時設十三刺史部，刺史部多以古代州名為名，因此又被稱為「十三州」。「十三州」最初為監察區，到東漢末演變為行政區，州始成為行政區劃並深刻影響歷代行政制度，現在我國就有許多著名的城市以州為名。到明清時，州有兩類，一類為直隸州，級別同府且直屬於省，僅地位略低，相當於現在的地級市，一類為散州，隸屬於府。明朝時，直隸州、散州均轄縣，清朝時散州不再轄縣，相當於縣僅地位略高。
明朝時期，山東僅轄六府，並無直隸州，其中府轄散州有十五個，分別為濟南府所轄濱州、武定州、德州、泰安州，兗州府所轄濟寧州、曹州、沂州、東平州，東昌府所轄高唐州、臨清州、濮州，青州所轄莒州，萊州府所轄平度州、膠州及登州府所轄寧海州。清朝建立後，山東原有六府除登州府外轄區均有所縮小，原有十五散州中武定州、曹州、沂州、泰安州升為了府，山東直隸州、散州共十一個，到清末直隸州有三，散州為八。
清初，山東行政區劃與明朝時期基本相同，雍正年間開始有了劇烈的變化，為清朝山東行政區變化最為劇烈時期，新增曹州府、武定府、沂州府、泰安府均成立於這一時期。雍正二年（公元1734年），武定州、濱州、泰安州、濟寧州、曹州、沂州、莒州等七散州升為了直隸州，雍正八年高唐州、濮州、東平州升為了直隸州，濟寧直隸州又降為散州屬兗州府，這一時期山東所轄府、直隸州多達十五個，為六府九直隸州，是二級行政區最多的時期。
雍正十二年（公元1734年），武定、沂州兩個直隸州升為武定府、沂州府，同年濱州、莒州、高唐州三個直隸州降為散州，分別屬武定府、沂州府、東昌府。雍正十三年，泰安、曹州這兩個直隸州升為了府，山東此時轄十個府直至清末，同時濮州、東平州三個直隸州降為散州，分別屬曹州府、泰安府。此時，山東省共轄十府，有散州十一個。
清乾隆四十一年（公元1776年），臨清州、濟寧州兩個散州又升為直隸州，此後山東轄十府二散州直至清朝進入二十世紀。公元1904年（清光緒三十年），萊州府所領散州膠州升為直隸州，此時山東有三直隸州、八散州，此後山東轄十府三直隸州直至清朝滅亡。
民國初，山東十一州均廢州為縣，分別為臨清縣、濟寧縣、膠縣、濮縣、高唐縣、德縣、東平縣、濱縣、莒縣、平度縣及寧海縣，這十一個縣到現在有的為地級市，如德州市、濱州市、濟寧市，有的為縣級市，如臨清市、膠州市、平度市，為縣的則有高唐、東平、莒縣，寧海縣設縣不久就改稱牟平縣，現為煙台市牟平區，僅濮縣建國初省入范縣，現在河南省濮陽市范縣有濮城鎮。