我国的地方行政制度有着几千年的历史，悠悠的岁月中经历了无数次的调整。先秦时期，分封制占据绝对地位，结果诸侯做大周天子日渐衰微。秦朝经过一番激烈的争论，决定用郡县制取代分封制，结果二世而亡。汉朝建立后吸取教训，让二者相辅相成，但又出现了“七国之乱”，西晋一统后又出现了“八王之乱”。之后的历朝历代都以郡县制为主导，只不过在名称上有所不同。直到元朝诞生，庞大的统治疆域催生出了行省制。
行省制的诞生，使得封建王朝的国家统一从政治上得到了巩固了，也使得中央集权在行政体制层面上得到了保证。元朝最大的历史功绩就是贡献了行省制，这一制度的优越性使得其被沿用至今。元朝时全国的行省一共只有10个，分别是：辽阳行省、河南江北行省、陕西行省、甘肃行省、四川行省、江浙行省、江西行省、湖广行省、云南行省以及岭北行省。为了便于管理，行省之下再设路、府、州、县4级行政单位。
公元1368年，朱元璋建立明朝定都南京。立国之初百废待兴，所以明朝的行政区划最初也是沿袭了元朝的旧制。直到洪武九年（1376年），朱元璋才开始对行政区划进行调整。他将“行省”改名为“承宣布政使司”，其下设府和直隶州两种低一级的行政单位。其中直隶州以下只有县，而府以下除了县还有属州。也就是说，明朝的行政区划，是一个省府州县四级制与省州县三级制并存的格局。燕王朱棣取得“靖难之役”的胜利后，迁都北京。
所以在明朝的影视剧中，通常可以听到“两京一十三省”的说法。这其中的“两京”就是北京和南京，而13个省分别是：山东、山西、河南、湖广、陕西、江西、四川、浙江、广东、广西、云南、贵州和福建。明朝的国土面积较元朝小，省级行政区的增设也导致了各省面积的缩小。公元1644年，明朝灭亡、清朝入关开始对全国进行统治。为了前期的方便，沿用了朝旧制，只有南京的留都地位被多尔衮废除。至公元1662年统一中原后，将行省数量增加至18个，其下设道、府、县。
此后的清朝领土继续扩充，至1760年达到最大。为了便于统治，清政府在东北、外蒙、新疆等地分设了5个将军辖区，后来又增设参赞大臣辖区和西藏办事大臣及达赖喇嘛辖区等多个特殊的行政区。至光绪三十四年（1908年）时，清朝的省级行政区共计22个。在这22个省中，有两个省最初是一个省，名为“江南省”。江南省包括今天的上海市、江苏省、安徽省及江西省部分地区，因为在长江以南而得名。由于历史原因，清朝时的全国经济重心都在江南一带，而江南省则占据着其中广阔的面积。
在以农业为经济基础的时代，江南省凭借长江中下游平原的肥沃土地，使得自身的经济、粮食、人口、人才，在清初都名列第一。根据清代文献统计，当时的科举考试，但凡是中了进士的人，一半都是来自江南省的。以至于当时还有一句：“天下英才，半数尽出江南”，人才在官场和政治上的影响力不言而喻。所以江南省势力太过强大，让康熙皇帝心生忌惮。有道是“匹夫无罪，怀璧其罪”，不论江南省有没有小心思，但其却具备着裂土自立的硬实力。
为了规避这一政治上的致命风险，康熙帝于1661年，将一个江南省，拆成了江南右布政司和江南左布政司两个省。之后为了便于称呼，又在江南右布政使司取江宁和苏州两府的首字，定名为“江苏省”；在江南坐布政使司，取安庆、徽州二府首字定名为“安徽省”。康熙帝的确是将最牛的江南省所暗藏的威胁解除了，但他的这种划分方法，也导致了后来两省经济的发展天差地别。