提起晉綏軍，就不得不提閻錫山這個人。1909年，他從日本陸軍士官學校畢業，然後回到太原當陸軍小學的教官。
同年11月23日，閻錫山在歸國留日士官赴北京會試中名列上等。因而，他成了陸軍步兵科舉人，並成授予少尉。之後，閻錫山回到山西，成了副團長。
閻錫山當時所在的部隊是清末的山西新軍。山西新軍正式成軍在1909年底，授予番號為暫編陸軍第43協，姚鴻法任協統。根據閻錫山本人會議，軍事改革初期，山西新軍中本省人只占20%，外省人占80%。同時，這些人大部分都是過去部隊的「老兵混子」，素質很低。因此，閻錫山等人對其進行改造，以當地良家子弟取代過去的部隊。到辛亥革命前夕，山西新軍中80%都是山西籍的勞動農工。
1911年10月10日，武昌起義爆發以後，一時間全國風起雲湧。閻錫山也把握住了這次機會，趁機在山西發動了起義，響應了革命，並且成功推翻了清政府在山西的統治。閻錫山也因此成了大都督，從此他便開始了對山西長達38年的統治。
閻錫山剛接手山西的時候，地位並不穩固。因為他的軍隊力量很小，根本沒辦法和外面的部隊抗衡。山西新軍無論在戰略地位還是訓練水平，在當時都是不突出的。更何況1915年閻錫山只有一旅及兩個獨立團，總計不足7000人。
在他獨攬大權以後開始利用各方的矛盾來進行了四次擴軍。晉綏軍也從辛亥革命的一萬多人發展到中原大戰前的二十萬人，真正成了一隻盤踞在山西的重要軍事力量。
1917年，閻錫山對晉綏軍進行了第一次擴編，這次擴編一直延續到1923年。當時晉綏軍從一萬人增加到兩萬人，當時的晉綏軍由四個混成旅、兩個騎兵團以及五個特種營組成。由於閻錫山討伐張勳和出兵湖南中站在了段祺瑞這邊，所以段祺瑞上台以後，也對這次擴軍予以了默認。
1924年的時候，由於軍閥混戰，地方軍閥都趁機擴充自己的兵力。此時，馮玉祥的國民軍實力比較強，威脅到閻錫山的山西。因而，閻錫山進行了第二次擴軍，擴軍後的晉綏軍又增加了一倍，達到了四萬人。此時的晉綏軍組成是這樣的：
1927年，當時閻錫山參加了北伐，因此進行了第三次擴軍。這一次直接從四萬人增加到了十三萬人，此時的閻錫山的晉綏軍成為了一隻舉足輕重的軍隊。這個時候的晉綏軍已經有了17個步兵師，並且閻錫山還收編了徐永昌所部的第三軍和譚慶林所部直軍。
北伐戰爭結束以後，南京國民政府宣布國家統一已經完成。但是當時國內各派依然矛盾很深。1930年，閻錫山害怕蔣介石「削藩」會波及自己，為了增加對抗的籌碼，他悄悄進行了第四次擴軍，以應對蔣介石的壓力。這一次，晉綏軍增加到了二十萬人。當時的晉綏軍有10個軍、4個保安縱隊、4個騎兵師、7個炮兵旅，晉綏軍的實力達到了頂峰。
到中原大戰前夕，閻錫山苦心經營山西已經20年。晉綏軍從旅到師，從師到軍，一步一步發展成為一支影響全國的重要力量。由於中原大戰的失敗，閻錫山認識到山西經濟實力、軍事實力的限制，所以他後來一直都致力於「保境安民」，維護自己在山西的統治。
在這裡就不得不提一下閻錫山治軍兩個最大的特點：
1.信任五台人，不信任外省人。
2.手下不能動他的權和錢。
3.保守均勢的核心策略。
閻錫山非常重視將領的籍貫，地域觀念特彆強。這點其實和他的老對手蔣介石是很像的，閻錫山的晉綏軍是以五台籍將領為主的打造的嫡系部隊。比如1939年的時候，第二戰區四個集團軍中，五台人占了三個。在當時，五台話也一度成為了山西的官話。
當然，閻錫山畢竟是科班出身，其高級將領也大部分是科班出身。這些人在軍校中接受了正規的軍事訓練，軍事素養還是不錯的。比如閻錫山的參謀長朱授光就兩次到日本留學，先後畢業於日本陸軍士官學校和日本陸軍大學。
第二點自然好理解。閻錫山的愛將楊愛源就曾這樣說過「會長給你甚，你拿上甚，會長不給你甚，你不要要甚，你千萬不要捋他的權，也千萬不要捋動他的錢」。楊愛源就是因為一生恪守這些原則，才能夠深得閻錫山的信任。
當時的晉綏軍內部其實是互相牽制，互不和睦的。比如閻錫山任命一個軍長，就要給這個軍派一個和軍長不親近的師長；任命一個師長，又必要委派一個和師長不親近的旅長和團長。為的就是使得晉綏軍達到均勢，便於那個勢力都是自己能夠控制的。
在閻錫山「保守均勢」的方針下，晉綏軍大部分時間都在山西本土執行防守任務，外出作戰的時候並不多。特別是閻錫山的手下傅作義，更是有「守城名將」的稱號。這個策略也是使他能夠在山西統治38年的重要原因。