後元二年（前87年），在位時間長達55年的漢武帝走到了生命盡頭。病重時刻，武帝命人把年僅八歲的太子劉弗陵帶來，對大司馬霍光等人託付身後事。霍光之所以如此位高權重，固然是極有才幹得到了武帝賞識，但他另一個身份是霍去病的同父異母弟，三十多年前霍去病在世時就已經把他引薦入朝。
「託孤現場」除了霍光，還有金日磾（jīnmìdī）、上官桀和桑弘羊三個重臣，都在武帝床前。上官桀「演技」很好，哄得武帝高興，又大走霍光門路，登上高位；桑弘羊是天分很高的「會計師」，憑本事熬出來的，為漢帝國的財政經濟做出了很大貢獻。在場的四個人都是天下知名。上官桀和桑弘羊也可謂根正苗紅。漢武帝最終決定霍光擔任第一輔政，加封大將軍；金日磾以車騎將軍的身份位列第二，排在上官桀和桑弘羊前面。四個人共同掌握了漢帝國最高權力。
四個人里金日磾最特殊，他是匈奴休屠王的兒子，當年入跟隨族人入關歸順了漢王朝。金日磾最初淪為養馬的奴僕，他性格沉穩莊重，後來因緣巧合被漢武帝欣賞，一下子成了皇帝的近臣。他極其忠誠，侍奉漢武帝幾十年，小心謹慎從沒犯過錯，還挫敗了一起刺殺漢武帝的陰謀。漢武帝對金日磾的信任大家都看到了，中原王朝出了個史上絕無僅有的匈奴輔政大臣。
當初有人在林光宮行刺漢武帝，金日磾奮不顧身救駕，霍光與上官桀也迅速行動抓捕謀反者，平息了事端。漢武帝留有遺詔，將他們三人封侯。日後朝廷宣布此事，金日磾以漢昭帝年齡尚小的緣故堅決推辭，結果霍光和上官桀也不敢受封。
金日磾的謙讓是他的處世態度。漢武帝在世時，曾賞賜給金日磾美貌宮女，金日磾無法推辭，卻從來不敢接近宮女。武帝又提出把他的女兒納為嬪妃，金日磾說什麼也不肯，武帝不由得對他大為敬重。這也體現了金日磾的睿智，不願跟後宮是非之地扯上關係。那麼金日磾為什麼願意接受輔政大臣的職位？這很簡單，一來他不忍拒絕漢武帝的臨終託付，二來這時候他也該承擔起責任了，以他的威望制衡另外三人，穩定朝局。
金日磾並不排斥名利，卻又「非義不取」，推辭的是皇帝的偏愛，唯恐招人忌恨而已。但封侯這事兒，是多少古人一輩子的夢想，金日磾大概覺得受之有愧，才找理由推託。西漢有非軍功不得封侯的規定，名將李廣跟匈奴打了一輩子仗，就因為斬殺敵人的數量不夠標準，到死也沒有封侯，可謂千古憾事。漢武帝儘管倚重霍光、金日磾等人，同樣找不到給他們封侯的理由，只得留下遺詔辦理此事。
漢昭帝始元元年（公元前86年），漢武帝去世剛一年，金日磾也因病與世長辭，終年49歲。君臣一前一後離去，金日磾似乎就是為了與漢武帝相遇才來到世間。在他臨終時，霍光以朝廷名義捧著印信、綬帶前來探望，在病榻前把金日磾封為秺（dù）侯，也不管他是否樂意。
金日磾死後又被賜諡號敬侯，這個「敬」字是朝廷商議而定，含義豐富，可以說相當公允，基本概況了金日磾身上的閃光點。《逸周書諡法解》定義了諡號用法，「夙夜警戒曰敬，合善典法曰敬」。「夙夜警戒」的意思是，像君子一樣朝夕警惕，不敢犯錯。「合善典法」可以簡單理解為廉潔奉公，盡忠職守。所以「敬候」的諡號也是莫大的榮耀。
朝廷為金日磾舉辦的葬禮也甚為隆重，出動大軍護送靈柩，隊伍從長安浩浩蕩蕩排到漢武帝的陵寢（茂陵）。金日磾的墓葬就在茂陵不遠處，與霍去病的墓相距僅一百米（陝西省興平市南位鎮）。所有這些「身後榮光」，大約也可以慰藉這位匈奴王子、大漢權臣的在天之靈了。
金日磾在後世成為忠孝謹敬的代名詞。唐代的番將右驍衛大將軍、薛國公阿史那，「所歷皆以清謹見稱，時人比之金日磾」（《舊唐書列傳第五十九》）。南朝宋文帝劉義隆與臣下討論人才，感嘆道，「金日磾忠孝淳深，漢朝莫及，恨今世無復如此輩人」（《宋書卷六十五列傳第二十五杜驥列傳》）。後世名人們對金日磾的讚美之詞也不少，不再贅述。
春秋吳國的公子、大賢者季札，有很多典故流芳百世，人稱延陵季子，與孔子同時代。當時的吳國是中原人眼中的「南蠻」，不妨礙季札成為聖賢，被孔子推崇盛讚。如果孔子能夠得知金日磾的事跡，恐怕也要開金口吐玉言褒揚一番。華夏人民本就同根同源，這些不世出的楷模無論來自哪個民族，都是我們的驕傲。金日磾身上那些閃亮的品質，在物慾橫流的現代社會顯得更為稀缺。