1875年3月19日（光緒元年二月十二日），張作霖出生於奉天省海城縣小窪屯的一個貧苦農家，從他的出生環境看，很難與後世那個顯赫一時的軍閥首領相提並論。但也正是貧窮的家境，讓他早早走上了當兵吃糧的路。公元1894年（光緒二十年），張作霖投靠清軍宋慶所部當兵，並很快升任哨長。但次年，隨著甲午中日戰爭的爆發，清軍移防離開東北，張作霖不願遠離故土，於是離隊回鄉，一度靠當獸醫維持生計。
靠著剿匪和鎮壓革命黨的功勞，控制奉天城
在當獸醫的幾年裡，由於經常給附近的土匪醫治馬匹，耳濡目染之下，張作霖也投身綠林，拉起了一票人馬，並不斷發展壯大。1902年，張作霖等人被清政府招撫，擔任新民府游擊馬隊管帶；1907年，他剿滅遼西巨匪杜立山「立功」而被任命為奉天省巡防營後路統領，從此開始了他及其奉系軍閥的崛起之路。
1911年辛亥革命爆發時，東三省總督趙爾巽急於從各處調兵鎮壓革命黨人士起義。張作霖由於第1個率軍趕到奉天城（今遼寧省會瀋陽市）保駕，因此被趙爾巽委以「奉天國民保安會」軍事部副部長重任。後來，靠著血腥鎮壓革命黨起義的功勞，張作霖經趙爾巽保奏，被清廷任命為關外練兵大臣，以總兵記名，併兼任奉天巡防營總辦，從此控制了山海關外最重要的城市——奉天城。
周旋於袁世凱等大佬身邊，謀取東三省大權
不久，隨著清帝的退位，張作霖緊急轉向，也剪掉辮子擠進了革命軍行列，並緊緊抱住了袁世凱的大腿。1912年9月11日，袁世凱重新整編東三省軍隊時，奉天巡防營被改編為陸軍第27師,由張作霖任師長，授陸軍中將銜。1916袁世凱自封為洪憲皇帝，國內反袁浪潮四處高漲。張作霖見袁已經倒了行市，立即將袁的親信、奉天將軍段芝貴驅逐回北京，自己奪取了奉天將軍（後改為督軍）職位，併兼任奉天巡按使（後改為省長），掌握奉天全省軍政大權。
但張作霖並不滿足於對奉天的統治，為了完成統一東北霸業，他又把權勢擴張的矛頭指向為北面的吉林和黑龍江。1917年,張作霖借黑龍江督軍畢桂芳與省長許蘭洲互相爭鬥、兩敗俱傷之際,向北京政府推薦同鄉加親家鮑貴卿為黑龍江督軍,從此將黑省囊入袖中。1919年，吉林督軍孟恩遠因「寬城子事件」被北洋軍政府免職，張作霖的把兄弟孫烈臣被任命為吉林督軍，至此，東北三省全部被張作霖掌控，其多年來一統關外建立東北王國的心愿得以實現。
助直討皖，成功將勢力延伸至關外
統一東北後，張作霖並不滿足於現狀，開始以東三省為跳板劍指中原。由於日本在中國扶持的代理人，除了奉系張作霖以外，還有皖系段祺瑞，為了能夠獨占日本的扶持，1920年直奉戰爭中，張作霖加入直系曹錕、吳佩孚的「八省反皖聯盟」,協助直系一舉打垮了皖系。「當皖系潰敗時，奉軍從中漁利，繳獲大批軍械、彈藥以及北京南苑的12架飛機等軍用物資。」同時，奉系也從此成為日本的「獨寵」。
直皖戰後，曹錕和張作霖把持北京政權，與張作霖因為分贓不均，也很快產生了矛盾，加上直系背後的英美兩國挑唆，直奉兩系之間矛盾日益加劇。1922年，第一次直奉戰爭爆發，奉系的12萬軍隊大多是收編的土匪武裝，戰力低下，剛一接戰就潰不成軍，迅速敗退關外，5月10日，北洋軍政府宣布罷免張作霖本兼各職。
與吳佩孚時戰時和，逐步走上全力巔峰
張作霖也毫不示弱，公開宣布東三省自治，改稱奉軍總司令。同時，張作霖成立「東三省陸軍整理處」，由自己的長子張學良負責，對奉軍進行全面強化整編，大量培養和錄用軍官學校的軍事將才，並全力增加兵工生產，擴建海空軍。經過兩年的精心準備，1924年9月，張作霖借江浙戰爭之機，自任鎮威軍總司令，再次率兵進關，第二次直奉戰爭爆發。由於準備充分，戰略部署得當，加上直系大將馮玉祥臨陣倒戈，張作霖很快將吳佩孚率領的直系軍隊打垮，控制了長江以北廣大地區。
1926年，為了對抗步步進逼的北伐軍，張作霖被各方勢力推舉為安國軍總司令，完全掌握了北京政府的實權。1927年6月18日，又當上了夢寐以求的北洋軍政府陸海軍大元帥，個人政治生涯達到頂峰。