「盧溝橋事變」的爆發標誌著日本發動全面侵華戰爭的開始，在此國家、民族生死存亡的關鍵時刻，國共雙方迅速達成合作協議，抗日民族統一戰線正式形成。根據協議，中國工農紅軍改編為國民革命軍，其中位於陝北的紅軍主力改編為了國民革命軍第八路軍，南方數省堅持游擊作戰的紅軍及游擊隊則改編為國民革命軍陸軍新編第四軍，分別簡稱八路軍、新四軍。
新四軍成立時間稍晚於八路軍，成立之初並未設師、旅等軍事編制，而是轄有四個支隊，全軍僅1.03萬餘人。新四軍師、旅等編制設立要到「皖南事變」新四軍重建後。1941年1月上旬，新四軍軍部及直屬部隊共九千多人在由皖南北上時遭到了國民黨軍隊八萬多人的伏擊，新四軍遭受到了抗日戰爭時期最嚴重損失，僅兩千餘人突圍，葉挺被扣押，項英、周子昆、袁國平犧牲。「皖南事變」後，中央迅速決定重建新四軍，1941年1月20日新四軍軍部於江蘇鹽城重建，津浦路以南新四軍、八路軍部隊統一整編為七個師及一個獨立旅，其中第三師由八路軍第五縱隊為基礎組建。
八路軍第五縱隊為八路軍南下支援新四軍作戰部隊，黃克誠任司令員兼政治委員，八路軍第五縱隊改編為新四軍第三師後仍由黃克誠任師長兼政治委員。新四軍第三師成立初轄第七、第八及第九旅，總兵力兩萬餘人，是新四軍重建後七個師中兵力最為雄厚的一個師。1941年9月第九旅與新四軍第四師第十旅對調，此時新四軍第三師轄有第七、第八及第十旅。
1945年抗日戰爭勝利前夕，新四軍第三師兼蘇北軍區已經發展為擁有第七旅、第八旅、第十旅及獨立旅共四個旅，主力部隊三萬七千多人，地方部隊四萬餘人的龐大兵力。此時，新四軍第三師四個旅旅長分別為彭明治、張天雲、劉震及覃健。
新四軍第三師第七旅成立初旅長為彭明治，政治委員朱滌新，1945年8月旅長仍為彭明治，政治委員郭成柱。彭明治是湖南常寧人，為黃埔一期，曾參加東征、北伐及南昌起義，1930年加入工農紅軍，參加了長征。抗日戰爭爆發後，彭明治任115師343旅685團參謀長，後任685團團長、蘇魯豫支隊司令員、115師教導第一旅旅長、八路軍第五縱隊第一支隊司令員、新四軍第三師第七旅旅長等職，解放戰爭時期曾任十三兵團副司令員兼參謀長等職，1955年授銜中將。
新四軍第三師第八旅旅長為張天雲，政治委員李雪三。張天雲是湖北黃安（今紅安）人，1929年加入工農紅軍，抗日戰爭期間曾任115師344旅688團營長、687團團長、新四軍第三師第八旅副旅長、旅長兼兼鹽阜軍分區副司令員等職，解放戰爭時期曾任東北野戰軍第八縱隊副司令員、四十五軍副軍長等職，1955年授銜中將。
新四軍第三師第十旅旅長為劉震，政治委員金明。劉震是湖北孝昌人，1931年加入工農紅軍，八路軍成立後任115師344旅688團政治委員，後曾任344旅獨立團團長、冀魯豫支隊第一大隊大隊長、八路軍第二縱隊344旅旅長、新四軍第四師第十旅旅長、第三師第十旅旅長等職，解放戰爭時期曾任新四軍第三師副師長、東北民主聯軍第二縱隊司令員、十四兵團副司令員兼39軍軍長等職，1955年授銜上將。
新四軍第三師獨立旅為1945年4月由原淮海軍分區第2、3支隊組建，旅長為覃健。覃健是東蘭人，1929年加入工農紅軍，抗日戰爭期間曾任115師344旅688團副團長、冀魯豫支隊第二大隊大隊長、新四軍第三師第八旅23團團長、新四軍第三師10旅副旅長兼淮海軍分區副司令員、新四軍第三師獨立旅旅長等職，解放戰爭時期曾任華東野戰軍第十二縱隊副司令員、蘇北兵團參謀長、第九兵團參謀長等職，1955年授銜中將。