苏德战争期间，德国陆军投入的军级单位有70个左右，其中有十多个装甲军。德国第48装甲军算是最强的装甲军之一。但在斯大林格勒前后，这个军的历程却跌宕起伏。
德军在1940年6月20日组建了第48军（普通军），不久被废止。同年12月14日组建了第48摩托化军。1941年夏季，第48摩托化军被编入南方集团军群，参加对苏联乌克兰地区的进攻。苏德战争爆发时，第48摩托化军的基干为第11、16装甲师（合计289辆坦克），第57步兵师。直辖部队包括教导火箭团、1个轻型自行高炮连、第197强击火炮营、第108、124、134炮兵司令部，第612、619炮兵团（总计2个105加农炮、2个210榴炮、1个240榴炮、1个混编营），第520工兵团、第448通讯营。1个空军轻型高炮营。
第48摩托化军参加了东线南部直到攻陷基辅的一系列战役，随后于秋季调给中央集团军群南翼的第2装甲集群，展开对莫斯科的攻击，却遭到了惨败。莫斯科战役失败后，第48摩托化军继续留在中央集团军群，部署在与南方德军相毗邻的库尔斯克地区。1942年夏季，改称第48装甲军，再次调往南方战区，参加了决定性的斯大林格勒战役。经过几个月恶战，第48装甲军所辖第14、22装甲师只剩下76辆坦克、35门重反坦克炮、15个炮兵连。另外凑上罗马尼亚第1装甲师，第48装甲军才勉强有148辆可用坦克。
1942年11月，苏军在斯大林格勒展开大规模反攻，海姆中将指挥第48装甲军（当时也称“H”装甲军）展开阻击。其当面的对手是苏联第5坦克集团军。经过一番激战，第48装甲军被苏军击溃。这是德国军级装甲单位首次被苏军击败。结果非常惨痛：第48装甲军一部（主要是第14装甲师）被包围，第22装甲师和罗马尼亚第1装甲师等完全丧失战斗力。希特勒盛怒之下命令逮捕了军长海姆中将，甚至一度把他判处死刑。不过后来又免了海姆一死。这人日后向美英军投降了。
第48装甲军一度名存实亡。但为了救出被包围在斯大林格勒的德国第6集团军，希特勒派来名将曼施坦因坐镇指挥，并在12月给第48装甲军陆续调来新锐的第11、6装甲师。两个师共有230多辆坦克。但曼施坦因未能救出第6集团军，保卢斯以下的30多万大军在斯大林格勒覆灭。可是紧接着，曼施坦因又动用包括第48装甲军在内的部队，在哈尔科夫附近击败了苏军。曼施坦因保全了颜面，在希特勒面前身价大涨。从此，第48装甲军也从可怜兮兮的败军，一跃成为曼施坦因特别器重的部队。1943年3月12日，第48装甲军管辖有：第11装甲师、第106步兵师、第6装甲师。此时，第48装甲军归南方集团军群第4装甲集团军指挥。新的大战在即。