黃維綱，1897年出生於河南省項城，明末甲申之變（清軍入關）時，為了躲避戰禍逃到河南，隨母姓易姓為黃。黃維綱的父親黃恪濟是位私塾先生，黃恪濟娶妻王氏，育有黃維綱、黃萍兄妹二人。
1905年9月2日，清政府發布"上諭"，宣布"自丙午(1906年)科為始，所有鄉會試一律停止。各省歲科考試亦即停止"。科舉都廢除了，黃維綱也就可以不再背負父輩的希望去趕考了，黃維剛轉頭就進了項城縣立小學堂。
1911年12月，黃維綱考入開封陸軍小學堂第六期。
1915年，黃維剛升入清河第一陸軍預備學校第三期，著名的「豬將」劉峙就是在這個學校讀過書。
1917年初從清河第一陸軍預備學校畢業，畢業生們下部隊入伍訓練半年後，1917年秋，升入保定陸軍軍官學校第七期，編在步兵科第16連。1917年秋入學的這批保定軍校生由留級生和福建北伐學生軍的學生組成，共計191人，而這一期唯二兩個名將：福建學生軍的陳長捷、河南籍的黃維剛。
1919年8月，黃維綱從保定軍校畢業。
段祺瑞於1918年籌備建立的西北邊防軍，編制已經有了三個師以及一獨立團，部隊規模超5萬人。保定陸軍軍官學校最開始就是皖系掌控的軍校，自西北邊防軍成立之後，保定軍校五期至七期的畢業生只要一畢業，基本上就是去西北邊防軍任職，在這種大背景下，黃維綱一畢業就被分至西北邊防軍擔任作訓教官，不久後升參謀。
後來西北邊防軍解散，黃維綱又到了馮玉祥的西北軍中任職。中原大戰時，黃維綱擔任總司令部少將參謀處長。
1920年7月，直皖戰爭以皖系失敗告終，西北邊防軍也隨著皖系的失敗被遣散、收編，1922年，直奉大戰以後，馮玉祥率兵進逼河南，驅逐趙倜，馮玉祥自任河南總督，而沒地方去的黃維綱就在這時候投身馮玉祥的部隊任連長。
黃維綱為人正直，富有愛國思想和民族氣節。平時治軍嚴謹，與官兵同甘共苦，作戰時身先士卒，指揮有方。
1924年，馮玉祥發動北京政變，推翻「豬仔總統」曹錕執掌的政府，馮玉祥所部擴充為國民軍第一軍，黃維綱順勢升為第一師（鹿鍾麟）第一旅（韓復榘)第二團(丁漢民)的營長。
1925年底，國民一軍擴軍達十五萬人，韓復榘升任陸軍第一師師長，丁漢民升任第三混成旅旅長，黃維綱也水漲船高的升任第七團團長。
1926年9月，馮玉祥率領國民軍在綏遠五原宣誓集體加入中國國民黨、參加國民革命，國民軍在軍制上仿效蘇軍，實行「三三制」，即一軍轄三師，一師轄三旅，一旅轄三營，取消團一級編制，原來的旅長變成師長，團長變旅長，所有團以上軍官直接官升一級。一直到1927年6月，國民革命聯軍改編為國民革命軍第二集團軍，黃維綱依然在韓復榘的第六軍任旅長。
1927年12月3日，韓復榘率軍東下，占領徐州車站。33集團軍的軍報「七七周報特刊」提到了：黃維綱參加北伐戰爭，轉戰蘇魯豫冀，勇略冠時，徐州之役以一旅破直魯軍萬眾，臂部被創...」。黃維綱的英勇表現得到馮玉祥了的通電錶彰。
張學良入關後，他收編反蔣聯軍的殘部為東北邊防軍。張自忠為保西北軍血脈，聯繫駐晉西北軍各部共同受編，這些部隊整編成為東北邊防軍第3軍，1931年1月16日，宋哲元通電就職。
黃維綱原兵力三千人左右，打了敗仗以後，士兵開小差、擅自離隊的不少，所以張學良將黃維綱剩下的官兵編為一個團，番號為東北邊防軍第3軍第2師(張自忠)第4旅(童玉振)第2團。好在張自忠深知一個有完整軍事修養的軍校生對一支部隊起到的作用不是舊式軍人和半路出家的將領能比擬的，所以張自忠對黃維綱頗為倚重。
不久，東北邊防軍第3軍改番號為陸軍第29軍，所屬師、旅、團番號隨之更改，黃維綱的第2團變為第223團，隸屬第38師（師長張自忠）第112旅，駐山西娘子關、平定一帶。
1931年7月18日，石友三在張學成（
日偽東北自衛軍總司令、張學良堂弟
）等人的鼓動下，他
在順德通電
接受汪精衛廣州國民政府的任命，
就任廣州政府委任的第五集團軍總司令，
出兵反對張學良，出兵後的石友三遭到蔣介石和張學良的南北夾擊。7月23日宋哲元等華北將領通電聲討石友三。7月31日，石友三的部隊全軍覆滅，石友三逃往山東德州。
8月15日，宋哲元自晉南向河北開拔調防，16日，宋哲元到北平拜謁少帥張學良。9月18日，日軍找藉口炮轟瀋陽北大營，「九一八事變」爆發。
19日，日軍侵占瀋陽。
20日，宋哲元聯名自己麾下的七名將領通電全國：宣布29軍與日作戰，"寧為戰死鬼，不為亡國奴"！
宋哲元擁護張學良、宣布抗日的行為得到了張學良的回報。張學良給了宋哲元察哈爾省的地盤，黃維綱移駐察哈爾的張家口、蔚縣、陽原一帶。
1932年年底，黃維綱轉任38師112旅旅長，下轄3個團。
黃維綱為人正直，富有愛國思想和民族氣節。平時治軍嚴謹，與官兵同甘共苦，作戰時身先士卒，指揮有方。1933年1月1日，日軍進犯山海關，進窺熱河。張學良決心抵抗，向冀熱邊區增派部隊，二十九軍奉命向冀東的三河、薊縣和寶坻地區集結。
3月，
熱河日軍鈴木服部兩旅團1萬餘人，由平泉向喜峰口進犯，3月11日，黃維綱的112旅進駐撒河橋
，抗擊進犯日軍，在與日軍交戰中，他赤膊上陣，指揮戰士，反覆衝殺，迫使日軍潰退。14日，112旅再次擊敗日軍，喜峰口之戰中，
黃維綱一直在第一線督戰，絕不准部隊後退一步，並派人燒掉換防時搭建的臨時橋樑，以示決不撤退、血戰到底的決心。
1935年，華北局勢微妙，國民政府為穩定華北和西北地區的駐軍，特頒發當年的參戰者宋哲元等四十九位各級軍官以青天白日勳章，黃維綱也在其列。
1938年3月上旬，日軍板垣師團圍攻臨沂，戰況吃緊
，
3月15日，黃維綱親臨前線指揮夜襲日軍，他赤膊指揮戰鬥，率軍鏖戰至16日子夜二時，號稱「鐵軍」的板垣師團，再無抵抗能力，遺屍千餘具，倉惶向臨沂北50華里的湯頭潰退。中國作戰軍隊，乘勝追擊到董官屯、白塔、魯村與湯頭之敵對峙。
3月25日，38師回援臨沂，38師向敵側背發動攻擊，日軍亦全力反撲。38師在毫無憑藉的情況下，前仆後繼，浴血奮戰，雖傷亡相繼，但士氣旺盛，勇往直前，以血肉相拼搏，激戰到3月31日，日寇終於向北潰退。黃維綱指揮的兩次臨沂戰鬥，殲滅板垣師團和板本旅團的兵力過半，為以後台兒莊大捷打下了基礎。而經過這兩次戰役，黃維綱所率的38師轄三個旅，戰前全師15000人，戰鬥結束後，剩下不足3000人。
1938年9月，38師轉移到河南信陽一帶整補，不久，38師奉調開赴潢川阻擊西進之敵，38師在左、180師在右，從宴家河起至淮河止，兩支部隊沿潢水左岸布陣，阻擊日軍前進，使其多次進攻均不得逞。9月底，武漢還是失守了。
1940年5月，
1940年5月，日軍為了控制長江交通、切斷通往重慶運輸線，集結30萬大軍發動
棗宜會戰
。
黃琪翔、湯恩伯、張自忠三支集團軍分別擔任正面和左右翼作戰。湯恩伯為了保存實力，在戰爭打響後，擅自不戰而退。將棗陽暴露在日軍的鐵蹄之下，張自忠所率的74師及手槍營和騎兵一部只有
1500餘人，他們被近6000名日寇包圍在南瓜店以北的溝沿里村，
雙方因眾寡懸殊，
5月16日下午4時，張自忠所部全軍覆沒，張自忠
將軍為國捐軀。
5月17日，38師的便衣隊路遇張自忠副官馬孝堂，得知張自忠犧牲的消息後，黃維綱立即自己脫下上衣帶著貼身的警衛便衣隊，一個個持著短槍去殺回
溝沿里村，終於
找回張自忠的遺體，將張自忠將軍的遺體帶回。
5月22日，馮治安繼任張自忠為總司令，為了對五十九軍將領表示安撫，馮治安上報李文田為集團軍副總司令，張克俠為參謀長，黃維綱繼任五十九軍軍長。
自「七七」事變抗戰以來，黃維綱追隨張自忠將軍轉戰南北，很少離開部隊，以致積勞致疾，生活不能自理。此事連蔣介石都驚動了，蔣介石對張克俠說：黃軍長
如需藥品，我全力當供給。
大病只是稍稍好轉，黃維綱就又繼續到前線參與軍事訓練和指揮戰鬥，直至病情加重，突然高熱昏迷，經搶救無效，不幸於1943年8月3日病逝於湖北南漳抗戰前線安家集金華寺防地，時年僅四十六歲。
黃維綱將軍隨殮的只有：日軍戰刀一把，經他批註的孫子兵法一部，馮玊祥所贈的金筆、手錶各一支。