在李泌的帮助下，唐肃宗在评定叛军，收复两京。但在这功成名就的时候，李泌突然提出辞官归隐。虽然心中不舍，但看对方去意已决，肃宗便也不好再挽留。
李泌从小就很聪明，被人们成为神通。七岁时，神童的名号传到了皇帝耳朵里。当时正值唐玄宗李隆基当政，在听说有民间个神童，李隆基就下诏名人将李泌带到宫里。说来也巧，当时李泌进宫的时候唐玄宗正在和燕国公下棋。
看到被人们传为神童的李泌，张说忍不住试他一试。他要李泌赋“方圆动静”，听到张说的话，李泌思考片刻后对答如流。
后来这个情景还被记载在了《新唐书李泌列传》中，李隆基看到李泌小小年纪就如此聪慧，心中不禁大喜。这件事情后，玄宗命李家好生对待李泌，还赏赐了不少财宝。
李泌年幼说话直，指出了张九龄在平时的一些问题，这让他更受到张九龄的赏识。在这样的环境下，李泌一直待到成年。成年后的他不仅在文学研究方面有很高的造诣，还钻研《易经》。
在这一思想的影响下，李泌一直仰慕成仙长生不老之术。当时不少准备入仕之人都会隐居山中，以此来引起皇帝重视。李泌也是出于这种心理，所以他平时大部分的时间都在嵩山、钟南山等地云游。
在听了李泌的讲解后认为他讲的不错，所以玄宗任命李泌为翰林，并担任太子李亨的老师。
后来在宫里生活的过程中李泌见到了很多权贵的阿谀奉承，他厌恶这些人的嘴脸，所以写诗抨击了这些人。后来这件事情传了出去，李泌就遭到了奸人陷害，一气之下他离开了朝廷开始了隐居生活。
离开朝廷后，李泌又开始了辛苦生活。他在群山之中体会万物道理，领悟世间真谛，这是他远离黑暗官场的一种方式。后来随着唐朝吏治腐败，外戚在朝廷内部把持政权，安史之乱爆发。
在这种局面之下，玄宗仓皇出逃，李亨在出逃途中慌忙继位，也就是后来的唐肃宗。李亨这个孩子记得父亲李隆基说过的话，所以在继位后就尽力寻找这个曾经被父亲肯定的“神童”。
恰好这时候李泌刚好云游到李亨驻地附近，李亨找到李泌后立即商量对策。当时李泌知道时局为难，就当时的情况做了详细的分析，在听了李泌的分析后，李亨顿时明白了时局。对此他感到非常高兴，当即就要授予李泌官位。
所以后来李泌提出自己辅佐肃宗度过危机之后还要继续去云游四海的想法后。见李泌的想法这样坚决，肃宗也不好再坚持下去，所以只授予了他做散官。虽然官职不重要，但是但这也是迫于无奈之举。
平日里肃宗还是像以前一样称呼李泌为先生，这也看出两个人关系亲密。从这里开始，肃宗在平日里对待李泌总比别人特殊一些，他并没有把李泌当做自己的下属，而是还当做自己的老师。
后来，李亨还让李泌辅佐过广平王，也就是后来的唐代宗。在肃宗看来，李泌辅佐过自己的父亲，如今又帮助自己，有这个实力在广平王左右。就这样，李泌又在朝廷内部做了一段时间的官。
在和叛军作战时，肃宗曾经询问过李泌的意见，当时正值叛军势力强盛的时候，所以李泌认为此事着急不得。对于李泌的这个回答，肃宗虽然心中万分急迫，但是也欣然答应了。毕竟李泌说的也并不是完全没有道理。
后来，李泌在了解清楚形势后制定了一整套剿灭叛军的计划，在这一计划的指示下，肃宗一步一步实施。
因为李泌的这套计划可以用最少的损失换来最大的收获，同时把事情的利弊都说的很清楚，所以肃宗并没有急功近利。但是身为一代君主，他也有自己的打算，在一些事情上并没有听从李泌的建议。
虽然当时肃宗收复失地非常喜悦，要授予李泌爵位。但是他并没有因此而受到诱惑，李泌心里清楚，肃宗和自己如此亲近，必然会导致朝内众多权贵对自己不满。
李泌已经厌恶了这种尔虞我诈的生活，所以后来平定叛乱后李泌主动申请离开了这个充满危机的权力中心。
试想一下，如果当初李泌没有离开朝廷的话，收到的封赏一定不会少。但是相比与权力，权贵更让李泌感受到压力。
他们看到的只是一些表面的东西，更深层次却一点都不了解。如果当初李泌没有离开朝廷的话，就冲当时肃宗和李泌的亲密程度，一定会给自己招来杀身之祸的。
像当时的权臣崔圆、李辅国就都是威胁，一旦李泌上位，那么这些人的利益必将受到威胁。他们自然是不会就这样白白忍受的。这也就是当时朝廷内部黑暗的一个重要原因，权臣们都是尔虞我诈，没有一个人是想要真心让国家强大起来。
反而是像李泌这样和怎心想要为国家做贡献的人更显得奇怪，他们尽力想要让国家强大起来，但是还不能享受任何好处。因为他们一旦享受好处，那些权贵就毕竟有人不高兴。
一旦有人不高兴，他们就会在背后搞小动作。当初李泌离开官场就是因为如此。他并不是害怕被这些权贵报复，只是不想要过这种浪费脑筋的生活。厌恶如此黑暗的官场，也不想处在这样的生活中。