全面抗戰伊始，蔣介石首先在南京成立了大本營，以原參謀本部為基礎，擴大成立大本營的第一部掌管作戰。第一部設一、二、三3個廳，分掌作戰、情報、人事與陸大教育。但全面抗戰爆發不到半年時間，國民政府百萬軍隊大潰敗，接連丟失了北平、天津、上海、南京等大城市和華北、沿海各省的大片國土。
1938年，撤退到武漢後，才急急忙忙建立戰時體制，將大本營改組為軍事委員會，下轄軍政、軍令、軍訓、政治和後勤等部。
軍令部系原大本營的第一部，部之下仍設三個廳：第一廳掌管作戰；第二廳掌管情報；第三廳掌管總務及人事、會計和陸大教育等。軍令部是對日作戰的最高指揮機構。作為掌管戰略情報的軍令部的第二廳，是抗日戰爭期間最高的軍事情報機構。它與第一、三廳一樣，既是部長的幕僚，又區別於第一、三等廳，還是執行的機構，直接負責國內外情報的搜集。正由於這個特殊情況，第二廳自成立起，就與軍統組織結下了不解之緣。
軍令部下屬測量總局廣西局徽章
軍令部第二廳的成立和軍統的關係
軍令部第二廳首任廳長是徐培根。廳本部設四個處。第一處處長吳石（正是日後大名鼎鼎的中共「密使一號」），主管日本情報；第二處處長郗永綏（亦稱郗恩綏），主管國際情報；第三處處長鄭介民，主管國內情報；第四處處長魏大銘主管情報電訊。正由於軍令部第二廳不僅是部長的幕僚，還是一個搜集情報的執行機構，所以除了廳本部四個處以外，還需要在全國各地和國外設置面很廣的外勤組織。
吳石烈士一家合影
由於軍令部第二廳是在國民政府撤到武漢時倉促成立的。它既無人員，又無機器。要在短時問內建立起自己的諜報網談何容易。唯一的辦法就是憑藉外力。在當時的情況下，只有戴笠擁有一整套搜集敵情的必要手段。
軍令部第二廳成立之初，根據當時的客觀形勢，非常需要戴笠軍統局的幫助才能支撐場面。而戴笠是蔣介石手下最大的情報領袖。能插手軍令部第二廳，正是戴笠求之不得的事情。軍令部第二廳成立的第一天，戴笠就把大批軍統特工塞進了該廳。
蔣介石與戴笠
軍令部第二廳的第一、二兩處是新建的機構，第一處可以利用各野戰部隊的諜報機構搜集日敵情報，第二處可以利用各駐外的武官處搜集國際情報，並在這些基礎上再圖發展。唯獨第三、四兩處，在國內情報和情報通訊方面是只有空架子單位編制，有頭無肢，無法展開工作。廳長徐培根對此束手無策，戴笠就乘機向蔣介石推薦鄭介民和魏大銘分掌軍令部第二廳的第三、第四兩個處的工作。
最後軍銜為國民政府陸軍一級上將鄭介民，軍統元老，巨擘
蔣介石便讓鄭介民、魏大銘率領一批人進入軍令部第二廳。按規定，在軍令部擔任參謀以上的人員，必須具有軍籍。鄭介民是黃埔軍校二期出身，當然不成問題；而近代中國電訊巨擘魏大銘此時依然是文官，無軍籍。蔣介石親批入伍，並授予少將軍銜，以此擔任第二廳第四處處長之職。從此，軍令部第二廳的國內情報和情報電訊兩項業務，自始至終牢牢地控制在軍統手中，從未易手，這是蔣介石的需要。反之，蔣介石一樣制約軍統再去擴張對日、對蘇以及一般的國際情報業務範圍，利用其他的派系力量去制衡。即便電訊系統，也以其內弟毛慶祥整合統領，以此來制約軍統勢力的過分擴張。而民國抗戰期間軍事情報總成，則有第二廳廳長總領。如無任何派系的海軍中將楊宣誠。這也是蔣介石駕御各派系的一種手段。
軍統技術巨擘，中國電訊專家魏大銘
人事組織和業務
首任廳長徐培根抗戰前曾任航空署署長，他在第二廳任職時間是1938年4月第二廳成立到1939年初。當時傳說，徐的離職是由於蔣介石對他的私生活不滿。實際並非如此，主要是他對全廳的業務既不熟悉，又沒有自己的一套班底，將軍統人馬拉進來後，頗為後悔，在工作中，反而要時時處處要仰戴笠的鼻息。他不願長期充當一個傀儡廳長，因而請辭。
第二任廳長楊宣誠，在二廳主持工作的時間達4年之久，正是中國全面抗戰最危難之期。能夠長期執掌民國軍事情報中樞，這與他的個性、作風不無關係。楊並不獨攬二廳的大權，或是去培植自己的勢力，掌握著一、二兩處的武官系和控制著三、四兩處的軍統系之間存在著矛盾和鬥爭，，他抱定不偏袒任何一方，不論哪一方有成績，一律向蔣介石上報請獎，當然都有自己的一份功勞。他在廳內儘可能使各個派系和睦相處，防止發生摩擦。對廳以外，不去擴充自己的勢力，不與人爭長論短。他既非軍統，又非武官系統，能擔任第二廳廳長達四年之久，一是的確成績斐然，二是與他善於應付各方有關。
楊宣誠年輕之時
鄭介民，黃埔軍校二期畢業，後在莫斯科中山大學學習，據說與蔣經國是同學，回國後擔任國民革命軍第四軍的團、師級黨代表。1936年蔣介石成立軍事委員會(舊)調查統計局時，陳立夫任局長，戴笠任第二處處長，鄭介民任第二處副處長。1938年軍事委員會(舊)調查統計局改組，第二處擴編為軍事委員會調查統計局(簡稱軍統局)時，由賀耀組任局長，戴笠任副局長，鄭介民任軍統局主任秘書，同時兼任新成立的軍令部第二廳第三處處長，後升任副廳長。鄭介民從1943年到1946年擔任軍令部第二廳廳長。軍統系統的人員出任第二廳廳長之職，是從鄭介民開始的。鄭有第三處(國內情報)和第四處(情報電訊)的班底，憑著軍統第二把手的身份，對第三、第四兩處可以指揮自如。鄭介民在抗日戰爭期間曾較多地從事軍事外交方面的活動（如1941年至1942年，曾率領中國軍事代表團駐當時英屬的新加坡；1944年，鄭曾去印度的新德里和英印軍總部情報廳協商中英軍事情報合作事宜），對國際問題頗感興趣。鄭不僅對於第二廳第一、二兩處的有關日本和國際情報業務有條件掌握，而且也能善於與第一、二兩處的非軍統系的負責人員相處。在他主持第二廳期間，雖然軍統系和武官系的人員之間依然存在著矛盾和鬥爭，他曹隨蕭規，沿用著前任楊宣誠的方法，能使之不擴大、激化，並維持平衡。
1946年還都南京後，軍令部位與國府一側
軍令部第二廳組織的發展
軍令部第二廳的籌建，是先有骨架再生皮肉的，也就是先成立廳本部的幾個處，然後逐步建立必要的外勤單位。
第一處情報的來源。第三、第四兩處的外勤組織是空白，因此在第二廳成立以後，在組織上首先是建立和充實這兩個處的執行單位。第三處設立了「諜報參謀人員訓練班」，並在利用軍統局原在各地已有的諜報組的同時，逐步建立第二廳自己的諜報組台。第四處首先建立通訊總台，派遣各諜報組電台，設立偵察總台，又成立通訊總所、電訊人員訓練班及技術室等機構。鄭介民接替楊宣誠擔任廳長後，第二廳各處必須建立的外勤組織基本上已全部完成，但為了適應邊疆形勢發展的需要，第二廳在1944年增設第五處，當初主要是對付當年統治著新疆的軍務督辦盛世才，並為蔣介石為代表的中央政府的勢力進入其他邊疆省區搜集情報作好準備。
徐培根與夫人徐芳（曾瘋狂追求胡適）結婚照
軍令部二廳與中蘇特種情報所、特種台：
中日戰爭爆發後，蘇聯為了自身利益，在各個領域積極支援中國人民的抗日戰爭。從1939年起，蘇聯的援助在軍事領域中進一步擴大到對日本軍事情報的搜集，在原漢口1938年秘密成立的『中蘇技術所』基礎上，於重慶公開設立「軍事委員會中蘇特種情報所」和「軍事委員會中蘇特種情報電台」。這兩個中蘇情報合作的機構，雖在名義上直屬於國民政府軍事委員會，實際上是由軍令部第二廳控制的單位，其主要人員由第二廳人員兼任或調任，其業務受第二廳的指導。例如中蘇特種情報所所長一職，先後由廳長徐培根和楊宣誠兼任（中蘇所最初所長賀耀祖任職僅20餘天），副所長是蘇聯人華西列夫，還有科長鄭冰如、黃昌度以及其下的人員，多由第二廳調任。中蘇特種情報電台台長是蘇聯人伊凡諾夫，副台長肖堅白原是第二廳第四處的科長。
中蘇特種情報所負責訓練諜報人員，組派諜報組織，搜集日軍地面軍事情報。
今天，梨花開滿的放牛坪
中蘇特種情報電台，設在重慶市南岸汪山放牛坪，負責搜集日軍的電訊情報。該台原定計劃要設立偵測和密碼研究兩個部門，分別通過電訊偵測和對密電碼研究來整理搜集敵軍活動情況。後因蘇聯遭受德軍侵襲，蘇聯方面的密電碼研究人員，已無法抽調來華。該台在重慶工作的兩年時間，蘇聯只派來電訊、偵測部門的技術人員，並提供電台，展開工作。當時蘇聯人員帶來的一整套從電訊偵測來截收敵情的技術手段，對中國的人員是全新和陌生的東西。因此，實際的操作，如從機上偵收、測向、通訊網圖的整理，電訊情報的編審，均由蘇方技術人員主持並處理，中方電訊人員只是邊當助手邊學習，著眼於對該項新技術的吸收和掌握。
據稱在1940年間，日本空軍多次空襲重慶，該電台的技術其實已經達到單憑對日空軍電訊偵測材料的整理和研究（當時並無密電碼研究方面的配合），就能基本掌握每次空襲重慶日本空軍機群的大小和來蹤去跡。只是由於蔣介石對蘇俄的防備方針，也含有蘇聯對國民政府的戒心，中蘇台的電訊情報並沒有認真被利用，很多情報也是真偽難考。
抗戰勝利後，國民黨政府還都南京後，特在重慶成立了軍令部留渝辦事處。
1946年6月，國民黨政府將軍事委員會及所屬軍令部等各部撤銷，改於行政院內設立國防部，並以何應欽為部長。原有軍令部各項職掌，分別由國防部有關部門行使。