1937年7月7日，「盧溝橋事變」的爆發標誌著日本全面侵華戰爭的開始，在此危急時刻，國共雙方迅速達成合作協議，中國工農紅軍改編為國民革命軍。由於我國在河北力量薄弱，平津地區迅速淪陷，1937年9月底日軍已經沿津浦鐵路進入山東境內，到1938年初「徐州會戰」結束山東全境淪陷。
1937年底到1938年初數月間，山東人民發起了十多起武裝起義，組建了數十支抗日武裝，這些抗日武裝在1938年底整編為山東縱隊，隸屬於八路軍建制。山東縱隊與後來進入山東的八路軍正規部隊一起配合作戰沉重打擊了日軍，到抗日戰爭勝利時山東抗日根據地已經成為全國最大的抗日根據地之一，但實際上山東抗日根據地僅為山東津浦路以東部分，津浦路以西為冀魯豫抗日根據地。
冀魯豫抗日根據地為當地抗日武裝與八路軍115師一部配合開闢，曾直屬於集總，1944年5月，原屬晉冀豫的冀南與冀魯豫合併組建新的冀魯豫軍區，1945年8月冀南、冀魯豫分開分別成為新設晉冀魯豫軍區的一部分。抗日戰爭勝利後為保衛抗日勝利成果，晉冀魯豫軍區太行、太岳、冀南及冀魯豫四個軍區的主力部隊編組為縱隊，其中冀魯豫軍區部隊編為第一縱隊，第一縱隊共有三個旅及騎兵團，司令員為楊得志，政治委員蘇振華，副司令員曾思玉，副政治委員張國華，參謀長是盧紹武。
楊得志是湖南株洲人，1928年加入工農紅軍，參加了長征，曾任紅二師師長。抗日戰爭爆發後，楊得志任八路軍115師343旅685團團長，1938年任344旅代旅長，率部越過太行山挺進冀魯豫區組建冀魯豫支隊，曾任冀魯豫支隊支隊長、冀魯豫軍區司令員兼八路軍第二縱隊司令員、陝甘寧晉綏聯防軍教導第一旅旅長等職。
晉冀魯豫軍區第一縱隊組建後，楊得志任司令員，同年11月率第一縱隊北上東北，後因形勢變化留在晉察冀軍區，先後為晉察冀軍區第二野戰軍第一縱隊、晉察冀野戰軍第一縱隊，1946年10月縱隊第三旅撤銷建制，部隊分別編入第一、第二旅，11月第一縱隊南下復歸晉冀魯豫軍區建制，但楊得志將軍留在了晉察冀軍區，蘇振華兼任司令員、政治委員。
第一縱隊北上後，冀魯豫軍區又組建了第七縱隊，轄三個旅及騎兵團，楊勇任司令員，政治委員張霖之，副司令員是趙基梅。1947年3月，第一縱隊、第七縱隊合併為新的第一縱隊，原第七縱隊第二十一旅番號撤銷，所屬部隊分別編入第十九旅、第二十旅，第一縱隊轄第一、第二、第十九及第二十旅共四個旅，司令員為楊勇，政治委員蘇振華。
楊勇是湖南瀏陽人，1930年加入紅軍，參加了長征，曾任紅一師、紅四師政治委員。抗日戰爭爆發後，楊勇任八路軍115師343旅686團副團長，後任團長兼政治委員，1939年初率部隨115師東進支隊進入山東，曾任115師獨立旅旅長、343旅旅長、教導第三旅旅長、魯西軍區司令員、冀魯豫軍區副司令員等職。1945年11月第七縱隊成立後，楊勇任司令員，新第一縱隊成立後任司令員。1955年，楊得志、蘇振華、楊勇三位將軍均被授予上將軍銜。