普魯士在腓特烈二世之前，一直都是歐洲籍籍無名的小國，軍隊成員主要是條頓騎士團的後裔，當地的容克地主，這後來成為德軍的一項傳統。 18世紀中葉腓特烈二世執政期間，普魯士的實力迅速提高，進入歐洲二線強國之列。儘管普魯士軍的水平在當時還是值得稱道的，但還是被拿破崙打得毫無還手之力。
普魯士陸軍。七年戰爭普魯士以一個小國，在陸上單獨對抗奧、法、俄三大老牌帝國，腓特烈的指揮水平固然令人稱道，普魯士軍隊的素質那也是受到普遍承認的，這一時期，普魯士建成了約20萬的常備軍，裝備了新式的燧發槍，並且建立了現代參謀制度的雛形。
普魯士陸軍。在十九世紀的第二次什勒斯維希戰爭，普奧戰爭和普法戰爭中，普魯士陸軍取得了勝利；導致普魯士得到了足夠使得德意志統一，創建德意志帝國的力量。普魯士陸軍也成為了德意志陸軍的核心, 並在一戰後被德國國防軍取代。
普魯士陸軍。因長期爭奪歐洲大陸霸權和德意志統一問題，1870～1871年普魯士王國同法蘭西第二帝國發生戰爭。戰爭開始後，法軍接連敗北，法國皇帝拿破崙三世親率近十萬名法軍在色當投降。1871年1月18日，德國國王威廉一世在法國凡爾賽宮加冕為皇帝，成立了德意志第二帝國（普魯士王國統一除奧地利帝國以外的日耳曼地區）。普魯士陸軍成為德意志帝國陸軍。
第一次世界大戰中的德國軍隊。1890年，俾斯麥被解除首相職務。德意志第二帝國威廉二世親政後開始積極實行帝國主義政策，開始與大不列顛及愛爾蘭聯合王國、俄羅斯帝國、日本帝國、美利堅合眾國產生衝突，歐洲開始形成兩大陣營對峙的情勢，局勢對德國開始轉為不利。最後，第一次世界大戰爆發。
1914年西線德軍的攻勢在馬恩（巴黎北方）停滯，此後西線雙方形成塹壕戰，僵持狀態直到1918年春季。在東線沒對俄軍取得決定性勝利。第一次世界大戰的結束，德國戰敗簽訂凡爾賽條約，割讓土地給法國，比利時以及剛剛復國的波蘭等國。德國尚需賠款，並要為戰爭負上全責。因此，許多德國軍人認為他們被背叛，他們認為德國事實上根本不應該輸，這也是後來納粹德國成立的原因之一。
第一次世界大戰的巨額賠款使德國（魏瑪共和國）政府無法負擔，之後的經濟大蕭條和未能解決失業、其他社會問題，使許多德國人轉向支持希特勒的納粹黨。希特勒承諾減少失業人口及對經濟、文化和軍事進行改革。在1932年的聯邦選舉後，納粹黨成為了國會最大黨，占有230席。1934年8月2日，希特勒宣布為第三帝國之帝國總理並代行總統職權，立法成為德國元首。
奧地利與德國原本就有同民族的血統，1938年3月，伴隨著奧地利人鮮花和掌聲，德國合併了奧地利，奧地利軍隊併入德國軍隊，原奧地利軍隊主力成為德國戰鬥力最強的山地部隊。
1939年9月，希特勒與蘇聯聯合對波蘭宣戰，以閃電戰戰術聯合蘇聯迅速吞併了波蘭，引發第二次世界大戰。1940年4月9日，德軍發動挪威戰役，兩個月完全占領挪威。
1940年5月，法國戰役爆發，一個月內完成了法國戰役，到6月25日戰役結束，完全占領荷蘭、比利時和法國。
1941年6月蘇德開戰，起初德軍約100萬人兵分多路，在南線到圖拉城下，北線到了卡林努，中線也就是莫斯科的正西面，但最終無法占領莫斯科。史達林格勒戰役成為二戰的轉折點，是役超過30萬極富作戰經驗和有戰鬥力的德軍陣亡，之後德軍再也無力發動全線大規模的進攻，並使軸心國獲勝的可能性完全消失。
1944年6月6日，英美盟軍在諾曼第登陸，導致德軍不得不抽調兵力應對西線的壓力。1945年4月16日—5月8日，100萬蘇軍對柏林強攻，德國戰敗。據估計，從1935年至1945年的納粹德國國防軍陸軍（以下簡稱德軍）士兵，總共約有1300萬人，約陣亡160萬人。
第三帝國時代終結後，戰後，根據雅爾達協定和波茨坦協定，德國分別由美、英、法、蘇四國占領，因美蘇兩大陣營冷戰，德國分裂為對立的德意志聯邦共和國（西德）和德意志民主共和國（東德）。1955年11月12日，聯邦國防軍正式建立。
由於1950年代中期西德的軍事化，東德開始重新建立正規軍隊，1956年3月1日，國家人民軍緊隨西德的聯邦國防軍建立。國家人民軍在建軍初期約有9萬人的規模，隨著1957年聯邦國防軍改為義務兵役制以準備大戰，1961年國家人民軍也改為義務兵役制，軍隊人數擴充至17萬人，1981年左右到達20萬人的頂峰。
在整個冷戰時代前民主德國人民軍參加了幾次軍事任務，諸如鎮壓1968年捷克斯洛伐克的布拉格之春。另外，自1961年建立柏林圍牆後，隸屬國家人民軍的邊防軍便肩負戍衛東、西柏林邊界的任務。1990年兩德統一後，前德意志民主共和國的國家人民軍解散，其中大約五萬人併入聯邦國防軍。
西德陸軍在1960年代初期戰鬥訓練的照片，用的是STG44突擊步槍戰後改進產品G3A3。西德軍隊沒有裝備美軍提供的M1半自動步槍或者用蘇聯的AK步槍,而是自己研製和改進了二戰時的STG44突擊步槍,提高射程,降低故障率,消減槍口火焰等等。
冷戰期間，聯邦國防軍成為北約在中歐的防衛主力。當時的聯邦國防軍擁有四十九萬五千人的兵力，以及十七萬的非現役的文職人員。陸軍三個軍團由十三個師所組成，坦克及裝甲運兵車亦經過武裝；空軍大部分的戰鬥機成為北約聯合防空軍（NATINAD）的一部分；海軍則在北海及波羅的海進行巡邏。
1980年代-90年代西德陸軍。這時期的軍服已經改進了許多，有了自己的完整特色，已經完全擺脫了美式化時代,恢復了自研自造的自由。1990年兩德統一後，聯邦國防軍削減三十七萬人，前德意志民主共和國的國家人民軍解散，其中大約五萬人併入聯邦國防軍。
德國聯邦國防軍。今天的聯邦國防軍主要參加一些聯合國實行的國際維持和平任務、人道救援任務及北約的軍事行動。2000年以後，聯邦國防軍改制，增加了聯合後勤總部及聯合醫療部隊。