解放战争期间，在很长的一段时间里，解放军各大野战军由于没有稳固的后方基地，各大野战军的后勤补给除了少部分由兵工厂供给外，其余的武器弹药基本上都要从国民党军手里缴获。就是在这种情况下，华东野战军率先组建了我军第一支特种兵纵队。而提到华野特种兵纵队，就不得不提到鲁南战役。
1946年12月，粟裕指挥山东野战军和华东野战军迎战进犯的国民党军部队，歼灭了戴之奇的整编69师。但是在我军南下之际，蒋介石，薛岳命令马励武的整编26师以及第一快速纵队，整编51师，整编59师，77师等部队向临沂发动突袭。马励武在进攻临沂的途中，听到整编69师被全歼之后，停在了临沂西南30余公里处的卞庄，向城等地区。
陈毅，粟裕率领山东野战军，华中野战军立刻北上，准备歼灭马励武所部。马励武的整编26师是中央军部队，全副的美械装备，和整编26师一起行动的第一快速纵队装备有中型坦克，榴弹炮，还有数百辆汽车。整编26师的左翼是整编51师，右翼是整编59师，77师。整26师的左右两翼都是地方部队，右翼的部队中，张克侠，何基沣都是地下党员。
1947年1月1日，各参战部队秘密进入了集结的区域，第二天粟裕得到了马励武离开部队过节的消息，2日晚，粟裕下令部队对整编26师和第一快速纵队发动全面进攻。3日夜，各参战部队歼灭了整编26师和第一快速纵队的大部分兵力。4日，第一快速纵队和整编26师残部企图利用坦克开出一条道路突围，但是当晚雨雪交加，华野各部还破坏了道路，导致道路泥泞，行动起来十分困难，很多国民党军官兵放下武器四处逃窜。
9日晚，粟裕又指挥部队对马励武所在的县城发动进攻，激战到11日晚，歼灭整51师114旅一部，整编52师98团以及整编26师后方机关，保安队也被歼灭，整编26师师长马励武也被俘虏。解放军左路纵队向枣庄地区发动进攻，歼灭了整编51师113旅，整编51师师部，整编51师师长周毓英被俘虏。
鲁南战役一共进行了19天，此战解放军仅以伤亡8000多人的代价歼灭国民党军两个整编师师部，四个旅又一个快速纵队共53530人，其中俘虏36030人，缴获坦克24辆，汽车474辆，火炮200多门，其中105毫米榴弹炮48门。整个战役期间，解放军出动了60万民工负责后勤保障。由于缴获的重武器太多，华野组建了第一支特种兵纵队，由陈锐霆担任司令员。