“卢沟桥事变”的爆发标志着日本发动全面侵华战争的开始，在此国家、民族生死存亡的关键时刻，国共双方迅速达成合作协议，抗日民族统一战线正式形成。根据协议，中国工农红军改编为国民革命军，其中位于陕北的红军主力改编为了国民革命军第八路军，南方数省坚持游击作战的红军及游击队则改编为国民革命军陆军新编第四军，分别简称八路军、新四军。
新四军成立时间稍晚于八路军，成立之初并未设师、旅等军事编制，而是辖有四个支队，全军仅1.03万余人。新四军师、旅等编制设立要到“皖南事变”新四军重建后。1941年1月上旬，新四军军部及直属部队共九千多人在由皖南北上时遭到了国民党军队八万多人的伏击，新四军遭受到了抗日战争时期最严重损失，仅两千余人突围，叶挺被扣押，项英、周子昆、袁国平牺牲。“皖南事变”后，中央迅速决定重建新四军，1941年1月20日新四军军部于江苏盐城重建，津浦路以南新四军、八路军部队统一整编为七个师及一个独立旅，其中第三师由八路军第五纵队为基础组建。
八路军第五纵队为八路军南下支援新四军作战部队，黄克诚任司令员兼政治委员，八路军第五纵队改编为新四军第三师后仍由黄克诚任师长兼政治委员。新四军第三师成立初辖第七、第八及第九旅，总兵力两万余人，是新四军重建后七个师中兵力最为雄厚的一个师。1941年9月第九旅与新四军第四师第十旅对调，此时新四军第三师辖有第七、第八及第十旅。
1945年抗日战争胜利前夕，新四军第三师兼苏北军区已经发展为拥有第七旅、第八旅、第十旅及独立旅共四个旅，主力部队三万七千多人，地方部队四万余人的庞大兵力。此时，新四军第三师四个旅旅长分别为彭明治、张天云、刘震及覃健。
新四军第三师第七旅成立初旅长为彭明治，政治委员朱涤新，1945年8月旅长仍为彭明治，政治委员郭成柱。彭明治是湖南常宁人，为黄埔一期，曾参加东征、北伐及南昌起义，1930年加入工农红军，参加了长征。抗日战争爆发后，彭明治任115师343旅685团参谋长，后任685团团长、苏鲁豫支队司令员、115师教导第一旅旅长、八路军第五纵队第一支队司令员、新四军第三师第七旅旅长等职，解放战争时期曾任十三兵团副司令员兼参谋长等职，1955年授衔中将。
新四军第三师第八旅旅长为张天云，政治委员李雪三。张天云是湖北黄安（今红安）人，1929年加入工农红军，抗日战争期间曾任115师344旅688团营长、687团团长、新四军第三师第八旅副旅长、旅长兼兼盐阜军分区副司令员等职，解放战争时期曾任东北野战军第八纵队副司令员、四十五军副军长等职，1955年授衔中将。
新四军第三师第十旅旅长为刘震，政治委员金明。刘震是湖北孝昌人，1931年加入工农红军，八路军成立后任115师344旅688团政治委员，后曾任344旅独立团团长、冀鲁豫支队第一大队大队长、八路军第二纵队344旅旅长、新四军第四师第十旅旅长、第三师第十旅旅长等职，解放战争时期曾任新四军第三师副师长、东北民主联军第二纵队司令员、十四兵团副司令员兼39军军长等职，1955年授衔上将。
新四军第三师独立旅为1945年4月由原淮海军分区第2、3支队组建，旅长为覃健。覃健是东兰人，1929年加入工农红军，抗日战争期间曾任115师344旅688团副团长、冀鲁豫支队第二大队大队长、新四军第三师第八旅23团团长、新四军第三师10旅副旅长兼淮海军分区副司令员、新四军第三师独立旅旅长等职，解放战争时期曾任华东野战军第十二纵队副司令员、苏北兵团参谋长、第九兵团参谋长等职，1955年授衔中将。