北宋末年，遼國逐漸衰落，位於遼國東邊的女真族在完顏阿骨打的帶領下，逐漸強大起來，建立了大金國。這個時候，宋朝趁著遼國衰落，便想趁機奪回燕雲十六州。於是便和金朝好做，撕毀持續了100多年的澶淵之盟，向遼開戰，與金前後夾擊。但是這回是偷雞不成反蝕把米，在金滅掉遼之後，不但沒有按之前的約定歸還燕雲十六州，反而是得寸進尺，要吞併宋朝。並且很快揮師南下，兵臨城下，把宋徽宗，宋欽宗等等皇室所有成員全部給俘虜到北方去了。史稱「靖康之難」，此後北宋滅亡。
不過好在，這個時候，康王趙構並不在京城，為宋朝留下了唯一的皇子。趙構回到開封之後，金朝建立的「偽楚」政權張邦昌就立刻把皇位傳給了趙構。趙構找了個吉日在南京（今商丘）登基，史稱「南宋」。趙構為宋高宗。趙構登基後，收復舊都，迎回二帝的呼聲就越來越高。開封周圍，最初由宗澤組織義軍，抵抗金朝的南下，並一心想迎回二帝。宗澤死後，杜充接替宗澤留守開封。但是杜充卻反其道而行之，向南撤退，使得金軍南下，宋高宗聞聽跑到海上躲了幾個月。回到陸地之後，便在杭州建都，不再向北方踏進。
此時的南宋，稍微有一些抵抗力的軍隊就只有岳飛和韓世忠了。岳飛是一直帶領軍隊北上，打到了開封附近的朱仙鎮，但是被宋高宗十二道金牌給喚回了朝廷。不久就被處死了。實際上，岳飛的死，並非秦檜所害，如果沒有宋高宗的支持，秦檜是斷然殺不了岳飛。宋高宗之所以想讓岳飛死，就是因為在岳飛的骨子裡，一心想迎回二聖。並且多次向宋高宗提出來。眼看岳飛就要收復開封了，這個時候斷然不能讓他成功，必須要找個理由殺了他。那麼宋高宗不行收復舊都麼？實際上也不是。宋高宗活了81歲，宋孝宗是因為宋高宗禪位才坐上皇位的，宋孝宗繼位後進行北伐，宋高宗並沒有阻攔，說明宋高宗是想收復舊都的，只是那個時候，已經沒有可以收復的將才了。
宋高宗為什麼不肯迎回二聖呢？其實這個答案很簡單，宋徽宗和宋欽宗被接回來之後，宋高宗到底是讓位不讓位呢？而且宋欽宗的位置也是宋徽宗在迫不得已的情況下禪讓給宋欽宗的，就算趙構禪位，那麼是給宋徽宗呢，還是給宋欽宗呢？這些都是當時不能調和的問題。而且本身宋徽宗和宋欽宗之前，也並不是十分的和諧，他們同時回來，就像兩顆定時炸彈，隨時會發生動盪。
北宋的滅亡，和黨爭有相當大的關係。在北宋中後期，王安石改革之後，改革派和守舊派就不斷的互相傾軋，是你方唱罷我登台，各自上台之後，都要將對方「趕盡殺絕」（北宋時期是不殺文臣的，所以他們用最大能力將對方貶謫），使得朝廷烏煙瘴氣的，國力也是迅速的下降。趙構身邊很多都是前朝舊臣，二聖回來之後，這些大臣各自站隊，相互鬥爭，那麼國家還怎麼繼續發展？所以情願不要失地，也不能將二聖迎回來。如果當初真把他們迎回來了，也不會有日後杭州的繁榮景象。