我國的地方行政制度有著幾千年的歷史，悠悠的歲月中經歷了無數次的調整。先秦時期，分封制占據絕對地位，結果諸侯做大周天子日漸衰微。秦朝經過一番激烈的爭論，決定用郡縣製取代分封制，結果二世而亡。漢朝建立後吸取教訓，讓二者相輔相成，但又出現了「七國之亂」，西晉一統後又出現了「八王之亂」。之後的歷朝歷代都以郡縣制為主導，只不過在名稱上有所不同。直到元朝誕生，龐大的統治疆域催生出了行省制。
行省制的誕生，使得封建王朝的國家統一從政治上得到了鞏固了，也使得中央集權在行政體制層面上得到了保證。元朝最大的歷史功績就是貢獻了行省制，這一制度的優越性使得其被沿用至今。元朝時全國的行省一共只有10個，分別是：遼陽行省、河南江北行省、陝西行省、甘肅行省、四川行省、江浙行省、江西行省、湖廣行省、雲南行省以及嶺北行省。為了便於管理，行省之下再設路、府、州、縣4級行政單位。
公元1368年，朱元璋建立明朝定都南京。立國之初百廢待興，所以明朝的行政區劃最初也是沿襲了元朝的舊制。直到洪武九年（1376年），朱元璋才開始對行政區划進行調整。他將「行省」改名為「承宣布政使司」，其下設府和直隸州兩種低一級的行政單位。其中直隸州以下只有縣，而府以下除了縣還有屬州。也就是說，明朝的行政區劃，是一個省府州縣四級制與省州縣三級制並存的格局。燕王朱棣取得「靖難之役」的勝利後，遷都北京。
所以在明朝的影視劇中，通常可以聽到「兩京一十三省」的說法。這其中的「兩京」就是北京和南京，而13個省分別是：山東、山西、河南、湖廣、陝西、江西、四川、浙江、廣東、廣西、雲南、貴州和福建。明朝的國土面積較元朝小，省級行政區的增設也導致了各省面積的縮小。公元1644年，明朝滅亡、清朝入關開始對全國進行統治。為了前期的方便，沿用了朝舊制，只有南京的留都地位被多爾袞廢除。至公元1662年統一中原後，將行省數量增加至18個，其下設道、府、縣。
此後的清朝領土繼續擴充，至1760年達到最大。為了便於統治，清政府在東北、外蒙、新疆等地分設了5個將軍轄區，後來又增設參贊大臣轄區和西藏辦事大臣及達賴喇嘛轄區等多個特殊的行政區。至光緒三十四年（1908年）時，清朝的省級行政區共計22個。在這22個省中，有兩個省最初是一個省，名為「江南省」。江南省包括今天的上海市、江蘇省、安徽省及江西省部分地區，因為在長江以南而得名。由於歷史原因，清朝時的全國經濟重心都在江南一帶，而江南省則占據著其中廣闊的面積。
在以農業為經濟基礎的時代，江南省憑藉長江中下游平原的肥沃土地，使得自身的經濟、糧食、人口、人才，在清初都名列第一。根據清代文獻統計，當時的科舉考試，但凡是中了進士的人，一半都是來自江南省的。以至於當時還有一句：「天下英才，半數盡出江南」，人才在官場和政治上的影響力不言而喻。所以江南省勢力太過強大，讓康熙皇帝心生忌憚。有道是「匹夫無罪，懷璧其罪」，不論江南省有沒有小心思，但其卻具備著裂土自立的硬實力。
為了規避這一政治上的致命風險，康熙帝於1661年，將一個江南省，拆成了江南右布政司和江南左布政司兩個省。之後為了便於稱呼，又在江南右布政使司取江寧和蘇州兩府的首字，定名為「江蘇省」；在江南坐布政使司，取安慶、徽州二府首字定名為「安徽省」。康熙帝的確是將最牛的江南省所暗藏的威脅解除了，但他的這種劃分方法，也導致了後來兩省經濟的發展天差地別。