有很多人認為郡縣制是秦朝開始的，其實是錯誤的，早就春秋時期，郡縣制就已經出現了，在局部地區使用，到了秦朝才開始在全國範圍內推行。西周的分封制，經過幾百年，春秋時期開始鬆動。出現了諸侯爭霸，比較強大的諸侯國在新占的邊地設立了郡和縣，國君來管理。根據記載，最早的縣是在公元前8世紀的楚國，楚國滅了一個名叫權國的小國，改成了權縣。
當時這樣做是為了軍事考慮，公元前6世紀，楚靈王把兩個國改成了縣，自己管理，有人說他非常的貪婪，不給大臣們分土地，自己全占了，他回答說，是因為要以這個為理由討伐北方的諸侯，楚國是現如今的湖北，中原地區的諸侯國是很多的。邊境地區總是打仗，貴族們也不願意去這個封地，所以在邊境設縣，由君王自己管理，貴族們也不會有什麼意見。
郡出現的還要晚一些，也是在邊境上，範圍要比縣的大一些，但是更加荒涼，這裡的軍事意味更濃厚，所以這裡的長官被叫做郡守。起初郡的地位沒有縣高，當時的縣有兩個類型，秦國和楚國的縣是給君主管理，晉國的縣是分給大夫們管理，所以晉國的郡和縣並沒有起到加強君王集權的作用。到了春秋的後期，晉國的大夫勢力變強，導致三家分晉，但秦和楚卻沒有發生分裂。
如果是君王直接管理，能夠加強權力，在對外的戰爭中，可以集中力量對抗。在春秋戰國，中央的權力越大，國家就越強大。人人都懂的道理，為什麼當時的諸侯國不採取郡縣制呢？其實各諸侯國都知道，只不過是不能下定決心。一旦加強君王權力，貴族肯定是不樂意的，一般貴族跟君王是有血緣關係的，就算沒有關係，一個國家也是需要貴族支持的，如果他們聯合發對，國君的地位將會動搖，所以國君們都沒法下決心。魏國和楚國相對的進行了一些改革，是有成效，但都沒有下定決心，結果都無疾而終。
商鞅變法
商鞅變法，是春秋戰國時期最成功的改革，原因是秦孝公和商鞅很堅定的下了決心。秦孝公也是被形勢所逼，各諸侯開會都不叫他，打算瓜分秦國，秦國再不改革就要滅亡了，商鞅也是不給自己留後路，變法非常的狠，明知太子是儲君，還是跟太子有了衝突，秦孝公一死，他就被五馬分屍了。
秦朝之所以推行了這個制度，就是為了加強中央的權力，秦統一後，有了成功的經驗，才開始推行。但縣的概念最初是在春秋時期的楚國，楚文王時期，所以郡縣制從春秋時期就有了。在郡縣制出現之前都是分封制，220年，為了維護地主階級，廢除了分封制，在商鞅變法的基礎上開始推行郡縣制，一旦開始推行，影響了之後中國的所有朝代，地方的機構必須服從中央，就不會造成地方傭兵自重。