1875年3月19日（光绪元年二月十二日），张作霖出生于奉天省海城县小洼屯的一个贫苦农家，从他的出生环境看，很难与后世那个显赫一时的军阀首领相提并论。但也正是贫穷的家境，让他早早走上了当兵吃粮的路。公元1894年（光绪二十年），张作霖投靠清军宋庆所部当兵，并很快升任哨长。但次年，随着甲午中日战争的爆发，清军移防离开东北，张作霖不愿远离故土，于是离队回乡，一度靠当兽医维持生计。
靠着剿匪和镇压革命党的功劳，控制奉天城
在当兽医的几年里，由于经常给附近的土匪医治马匹，耳濡目染之下，张作霖也投身绿林，拉起了一票人马，并不断发展壮大。1902年，张作霖等人被清政府招抚，担任新民府游击马队管带；1907年，他剿灭辽西巨匪杜立山“立功”而被任命为奉天省巡防营后路统领，从此开始了他及其奉系军阀的崛起之路。
1911年辛亥革命爆发时，东三省总督赵尔巽急于从各处调兵镇压革命党人士起义。张作霖由于第1个率军赶到奉天城（今辽宁省会沈阳市）保驾，因此被赵尔巽委以“奉天国民保安会”军事部副部长重任。后来，靠着血腥镇压革命党起义的功劳，张作霖经赵尔巽保奏，被清廷任命为关外练兵大臣，以总兵记名，并兼任奉天巡防营总办，从此控制了山海关外最重要的城市——奉天城。
周旋于袁世凯等大佬身边，谋取东三省大权
不久，随着清帝的退位，张作霖紧急转向，也剪掉辫子挤进了革命军行列，并紧紧抱住了袁世凯的大腿。1912年9月11日，袁世凯重新整编东三省军队时，奉天巡防营被改编为陆军第27师,由张作霖任师长，授陆军中将衔。1916袁世凯自封为洪宪皇帝，国内反袁浪潮四处高涨。张作霖见袁已经倒了行市，立即将袁的亲信、奉天将军段芝贵驱逐回北京，自己夺取了奉天将军（后改为督军）职位，并兼任奉天巡按使（后改为省长），掌握奉天全省军政大权。
但张作霖并不满足于对奉天的统治，为了完成统一东北霸业，他又把权势扩张的矛头指向为北面的吉林和黑龙江。1917年,张作霖借黑龙江督军毕桂芳与省长许兰洲互相争斗、两败俱伤之际,向北京政府推荐同乡加亲家鲍贵卿为黑龙江督军,从此将黑省囊入袖中。1919年，吉林督军孟恩远因“宽城子事件”被北洋军政府免职，张作霖的把兄弟孙烈臣被任命为吉林督军，至此，东北三省全部被张作霖掌控，其多年来一统关外建立东北王国的心愿得以实现。
助直讨皖，成功将势力延伸至关外
统一东北后，张作霖并不满足于现状，开始以东三省为跳板剑指中原。由于日本在中国扶持的代理人，除了奉系张作霖以外，还有皖系段祺瑞，为了能够独占日本的扶持，1920年直奉战争中，张作霖加入直系曹锟、吴佩孚的“八省反皖联盟”,协助直系一举打垮了皖系。“当皖系溃败时，奉军从中渔利，缴获大批军械、弹药以及北京南苑的12架飞机等军用物资。”同时，奉系也从此成为日本的“独宠”。
直皖战后，曹锟和张作霖把持北京政权，与张作霖因为分赃不均，也很快产生了矛盾，加上直系背后的英美两国挑唆，直奉两系之间矛盾日益加剧。1922年，第一次直奉战争爆发，奉系的12万军队大多是收编的土匪武装，战力低下，刚一接战就溃不成军，迅速败退关外，5月10日，北洋军政府宣布罢免张作霖本兼各职。
与吴佩孚时战时和，逐步走上全力巅峰
张作霖也毫不示弱，公开宣布东三省自治，改称奉军总司令。同时，张作霖成立“东三省陆军整理处”，由自己的长子张学良负责，对奉军进行全面强化整编，大量培养和录用军官学校的军事将才，并全力增加兵工生产，扩建海空军。经过两年的精心准备，1924年9月，张作霖借江浙战争之机，自任镇威军总司令，再次率兵进关，第二次直奉战争爆发。由于准备充分，战略部署得当，加上直系大将冯玉祥临阵倒戈，张作霖很快将吴佩孚率领的直系军队打垮，控制了长江以北广大地区。
1926年，为了对抗步步进逼的北伐军，张作霖被各方势力推举为安国军总司令，完全掌握了北京政府的实权。1927年6月18日，又当上了梦寐以求的北洋军政府陆海军大元帅，个人政治生涯达到顶峰。