1937年7月7日，“卢沟桥事变”的爆发标志着日本全面侵华战争的开始，在此危急时刻，国共双方迅速达成合作协议，中国工农红军改编为国民革命军。由于我国在河北力量薄弱，平津地区迅速沦陷，1937年9月底日军已经沿津浦铁路进入山东境内，到1938年初“徐州会战”结束山东全境沦陷。
1937年底到1938年初数月间，山东人民发起了十多起武装起义，组建了数十支抗日武装，这些抗日武装在1938年底整编为山东纵队，隶属于八路军建制。山东纵队与后来进入山东的八路军正规部队一起配合作战沉重打击了日军，到抗日战争胜利时山东抗日根据地已经成为全国最大的抗日根据地之一，但实际上山东抗日根据地仅为山东津浦路以东部分，津浦路以西为冀鲁豫抗日根据地。
冀鲁豫抗日根据地为当地抗日武装与八路军115师一部配合开辟，曾直属于集总，1944年5月，原属晋冀豫的冀南与冀鲁豫合并组建新的冀鲁豫军区，1945年8月冀南、冀鲁豫分开分别成为新设晋冀鲁豫军区的一部分。抗日战争胜利后为保卫抗日胜利成果，晋冀鲁豫军区太行、太岳、冀南及冀鲁豫四个军区的主力部队编组为纵队，其中冀鲁豫军区部队编为第一纵队，第一纵队共有三个旅及骑兵团，司令员为杨得志，政治委员苏振华，副司令员曾思玉，副政治委员张国华，参谋长是卢绍武。
杨得志是湖南株洲人，1928年加入工农红军，参加了长征，曾任红二师师长。抗日战争爆发后，杨得志任八路军115师343旅685团团长，1938年任344旅代旅长，率部越过太行山挺进冀鲁豫区组建冀鲁豫支队，曾任冀鲁豫支队支队长、冀鲁豫军区司令员兼八路军第二纵队司令员、陕甘宁晋绥联防军教导第一旅旅长等职。
晋冀鲁豫军区第一纵队组建后，杨得志任司令员，同年11月率第一纵队北上东北，后因形势变化留在晋察冀军区，先后为晋察冀军区第二野战军第一纵队、晋察冀野战军第一纵队，1946年10月纵队第三旅撤销建制，部队分别编入第一、第二旅，11月第一纵队南下复归晋冀鲁豫军区建制，但杨得志将军留在了晋察冀军区，苏振华兼任司令员、政治委员。
第一纵队北上后，冀鲁豫军区又组建了第七纵队，辖三个旅及骑兵团，杨勇任司令员，政治委员张霖之，副司令员是赵基梅。1947年3月，第一纵队、第七纵队合并为新的第一纵队，原第七纵队第二十一旅番号撤销，所属部队分别编入第十九旅、第二十旅，第一纵队辖第一、第二、第十九及第二十旅共四个旅，司令员为杨勇，政治委员苏振华。
杨勇是湖南浏阳人，1930年加入红军，参加了长征，曾任红一师、红四师政治委员。抗日战争爆发后，杨勇任八路军115师343旅686团副团长，后任团长兼政治委员，1939年初率部随115师东进支队进入山东，曾任115师独立旅旅长、343旅旅长、教导第三旅旅长、鲁西军区司令员、冀鲁豫军区副司令员等职。1945年11月第七纵队成立后，杨勇任司令员，新第一纵队成立后任司令员。1955年，杨得志、苏振华、杨勇三位将军均被授予上将军衔。