在李泌的幫助下，唐肅宗在評定叛軍，收復兩京。但在這功成名就的時候，李泌突然提出辭官歸隱。雖然心中不舍，但看對方去意已決，肅宗便也不好再挽留。
李泌從小就很聰明，被人們成為神通。七歲時，神童的名號傳到了皇帝耳朵里。當時正值唐玄宗李隆基當政，在聽說有民間個神童，李隆基就下詔名人將李泌帶到宮裡。說來也巧，當時李泌進宮的時候唐玄宗正在和燕國公下棋。
看到被人們傳為神童的李泌，張說忍不住試他一試。他要李泌賦「方圓動靜」，聽到張說的話，李泌思考片刻後對答如流。
後來這個情景還被記載在了《新唐書李泌列傳》中，李隆基看到李泌小小年紀就如此聰慧，心中不禁大喜。這件事情後，玄宗命李家好生對待李泌，還賞賜了不少財寶。
李泌年幼說話直，指出了張九齡在平時的一些問題，這讓他更受到張九齡的賞識。在這樣的環境下，李泌一直待到成年。成年後的他不僅在文學研究方面有很高的造詣，還鑽研《易經》。
在這一思想的影響下，李泌一直仰慕成仙長生不老之術。當時不少準備入仕之人都會隱居山中，以此來引起皇帝重視。李泌也是出於這種心理，所以他平時大部分的時間都在嵩山、鍾南山等地雲遊。
在聽了李泌的講解後認為他講的不錯，所以玄宗任命李泌為翰林，並擔任太子李亨的老師。
後來在宮裡生活的過程中李泌見到了很多權貴的阿諛奉承，他厭惡這些人的嘴臉，所以寫詩抨擊了這些人。後來這件事情傳了出去，李泌就遭到了奸人陷害，一氣之下他離開了朝廷開始了隱居生活。
離開朝廷後，李泌又開始了辛苦生活。他在群山之中體會萬物道理，領悟世間真諦，這是他遠離黑暗官場的一種方式。後來隨著唐朝吏治腐敗，外戚在朝廷內部把持政權，安史之亂爆發。
在這種局面之下，玄宗倉皇出逃，李亨在出逃途中慌忙繼位，也就是後來的唐肅宗。李亨這個孩子記得父親李隆基說過的話，所以在繼位後就盡力尋找這個曾經被父親肯定的「神童」。
恰好這時候李泌剛好雲遊到李亨駐地附近，李亨找到李泌後立即商量對策。當時李泌知道時局為難，就當時的情況做了詳細的分析，在聽了李泌的分析後，李亨頓時明白了時局。對此他感到非常高興，當即就要授予李泌官位。
所以後來李泌提出自己輔佐肅宗度過危機之後還要繼續去雲遊四海的想法後。見李泌的想法這樣堅決，肅宗也不好再堅持下去，所以只授予了他做散官。雖然官職不重要，但是但這也是迫於無奈之舉。
平日裡肅宗還是像以前一樣稱呼李泌為先生，這也看出兩個人關係親密。從這裡開始，肅宗在平日裡對待李泌總比別人特殊一些，他並沒有把李泌當做自己的下屬，而是還當做自己的老師。
後來，李亨還讓李泌輔佐過廣平王，也就是後來的唐代宗。在肅宗看來，李泌輔佐過自己的父親，如今又幫助自己，有這個實力在廣平王左右。就這樣，李泌又在朝廷內部做了一段時間的官。
在和叛軍作戰時，肅宗曾經詢問過李泌的意見，當時正值叛軍勢力強盛的時候，所以李泌認為此事著急不得。對於李泌的這個回答，肅宗雖然心中萬分急迫，但是也欣然答應了。畢竟李泌說的也並不是完全沒有道理。
後來，李泌在了解清楚形勢後制定了一整套剿滅叛軍的計劃，在這一計劃的指示下，肅宗一步一步實施。
因為李泌的這套計劃可以用最少的損失換來最大的收穫，同時把事情的利弊都說的很清楚，所以肅宗並沒有急功近利。但是身為一代君主，他也有自己的打算，在一些事情上並沒有聽從李泌的建議。
雖然當時肅宗收復失地非常喜悅，要授予李泌爵位。但是他並沒有因此而受到誘惑，李泌心裡清楚，肅宗和自己如此親近，必然會導致朝內眾多權貴對自己不滿。
李泌已經厭惡了這種爾虞我詐的生活，所以後來平定叛亂後李泌主動申請離開了這個充滿危機的權力中心。
試想一下，如果當初李泌沒有離開朝廷的話，收到的封賞一定不會少。但是相比與權力，權貴更讓李泌感受到壓力。
他們看到的只是一些表面的東西，更深層次卻一點都不了解。如果當初李泌沒有離開朝廷的話，就沖當時肅宗和李泌的親密程度，一定會給自己招來殺身之禍的。
像當時的權臣崔圓、李輔國就都是威脅，一旦李泌上位，那麼這些人的利益必將受到威脅。他們自然是不會就這樣白白忍受的。這也就是當時朝廷內部黑暗的一個重要原因，權臣們都是爾虞我詐，沒有一個人是想要真心讓國家強大起來。
反而是像李泌這樣和怎心想要為國家做貢獻的人更顯得奇怪，他們盡力想要讓國家強大起來，但是還不能享受任何好處。因為他們一旦享受好處，那些權貴就畢竟有人不高興。
一旦有人不高興，他們就會在背後搞小動作。當初李泌離開官場就是因為如此。他並不是害怕被這些權貴報復，只是不想要過這種浪費腦筋的生活。厭惡如此黑暗的官場，也不想處在這樣的生活中。