解放戰爭期間，在很長的一段時間裡，解放軍各大野戰軍由於沒有穩固的後方基地，各大野戰軍的後勤補給除了少部分由兵工廠供給外，其餘的武器彈藥基本上都要從國民黨軍手裡繳獲。就是在這種情況下，華東野戰軍率先組建了我軍第一支特種兵縱隊。而提到華野特種兵縱隊，就不得不提到魯南戰役。
1946年12月，粟裕指揮山東野戰軍和華東野戰軍迎戰進犯的國民黨軍部隊，殲滅了戴之奇的整編69師。但是在我軍南下之際，蔣介石，薛岳命令馬勵武的整編26師以及第一快速縱隊，整編51師，整編59師，77師等部隊向臨沂發動突襲。馬勵武在進攻臨沂的途中，聽到整編69師被全殲之後，停在了臨沂西南30餘公里處的卞莊，向城等地區。
陳毅，粟裕率領山東野戰軍，華中野戰軍立刻北上，準備殲滅馬勵武所部。馬勵武的整編26師是中央軍部隊，全副的美械裝備，和整編26師一起行動的第一快速縱隊裝備有中型坦克，榴彈炮，還有數百輛汽車。整編26師的左翼是整編51師，右翼是整編59師，77師。整26師的左右兩翼都是地方部隊，右翼的部隊中，張克俠，何基灃都是地下黨員。
1947年1月1日，各參戰部隊秘密進入了集結的區域，第二天粟裕得到了馬勵武離開部隊過節的消息，2日晚，粟裕下令部隊對整編26師和第一快速縱隊發動全面進攻。3日夜，各參戰部隊殲滅了整編26師和第一快速縱隊的大部分兵力。4日，第一快速縱隊和整編26師殘部企圖利用坦克開出一條道路突圍，但是當晚雨雪交加，華野各部還破壞了道路，導致道路泥濘，行動起來十分困難，很多國民黨軍官兵放下武器四處逃竄。
9日晚，粟裕又指揮部隊對馬勵武所在的縣城發動進攻，激戰到11日晚，殲滅整51師114旅一部，整編52師98團以及整編26師後方機關，保安隊也被殲滅，整編26師師長馬勵武也被俘虜。解放軍左路縱隊向棗莊地區發動進攻，殲滅了整編51師113旅，整編51師師部，整編51師師長周毓英被俘虜。
魯南戰役一共進行了19天，此戰解放軍僅以傷亡8000多人的代價殲滅國民黨軍兩個整編師師部，四個旅又一個快速縱隊共53530人，其中俘虜36030人，繳獲坦克24輛，汽車474輛，火炮200多門，其中105毫米榴彈炮48門。整個戰役期間，解放軍出動了60萬民工負責後勤保障。由於繳獲的重武器太多，華野組建了第一支特種兵縱隊，由陳銳霆擔任司令員。