960年，趙匡胤發動陳橋兵變，從剛去世不久的周世宗柴榮的兒子柴宗訓手裡奪得政權，建立宋朝。
趙匡胤當上皇帝之後，為了確保政權的長治久安，確實採取了一系列不同以往朝代的改革，這些改革大刀闊斧，包括「以文御武」、改革官職和科舉等等。使得宋朝不像後梁、後唐、後晉、後漢和後周一樣成為短命王朝。
趙匡胤曾經在立了一塊石碑，告誡後世皇帝，放在太廟裡。新皇帝繼位都必須親自去太廟誦讀碑文，如同現代領導人「宣誓就任」一樣。那碑上到底什麼內容呢？在北宋時期，除了皇帝無人知曉。就算新皇帝入內誦讀，也只能讓一位文盲內侍跟從，其餘人不得入內。後來靖康年間，金兵攻破汴京，北宋亡，太廟一宮門被打開，人們才知道石碑上的誓約不過簡簡單單的三條：
一、柴氏子孫有罪不得加刑；
二、不得殺士大夫及上書言事之人；
三、不加農田之賦
其中第二條、第三條可以說是宋朝立國之本。第二條是拉攏知識分子「共治」天下，第三條則是減輕農民的負擔。第二條做得比較好，第三條則不是那麼好。
第一條則是針對柴榮的後裔，柴榮在世的時候，趙匡胤和柴榮形同手足兄弟，感情不錯，利益也比較一致。趙匡胤還是柴榮的救命恩人。趙匡胤發動陳橋兵變奪取柴家天之後，還發了「丹書鐵券」給柴家，永免死罪。所以趙匡胤對待柴家或許是真心的。當然也有可能是，趙匡胤看到五代的皇帝像走馬燈一樣變換，後裔均不得善終，善待柴家後裔也相當於善待自己的後裔。
那麼柴家的真實情況如何呢？很多古代小說都有提及，例如《水滸傳》里虛構了一位英雄人物，柴家後裔柴進，家境富裕，仗義疏財。後來上來梁山，招安之後征方臘，最後在老家無疾而終。是水滸傳中少有的善終之人。可見在民間人們的想像當中，柴家後裔應該是衣食無憂了。不過柴進等人畢竟是虛構人物。
另一個比較可靠的記載是關於潘惟吉的故事。趙匡胤奪權後第一次進入皇宮見到兩個小孩，嬪妃回答說是周世宗之子柴熙讓、柴熙誨。趙匡胤問身邊大臣該如何處置，趙普等人建議斬草除根；趙匡胤問潘美，潘美害怕得沒有回答。趙匡胤說，我從柴家獲得皇位，不忍心這麼做。潘美回答說，如果我勸說陛下殺掉這個孩子，則對不起周世宗；如果勸說陛下手下留情，陛下肯定會懷疑我。於是趙匡胤把其中一個小孩送給潘美做侄子。此後趙匡胤從未過問過這個小孩，這個小孩只認潘美為父，但不認潘家其他人。這個人就是潘惟吉。
潘美就是《楊家將》中的奸臣潘仁美。其實他是北宋名將，並不是什麼奸臣，因為一些文人認為楊業之死與潘美有關，所以把他黑得很慘。當然也許是後世小說家為了襯托楊業的忠勇，特意塑造一個鮮明的反面人物。
還有個說法是趙匡胤想殺，但是被潘美巧妙勸阻。潘美收養柴家小孩之後，柴榮後人的一支均姓潘。後來潘惟吉做了宋朝的官員。根據其墓碑，基本可以旁證他確實是柴榮後裔。
那麼另一個小孩到哪裡去了呢，史書沒有記載，只說（兩個小孩都）不知所終。而根據浙江省東陽市《采盧村志》記載，柴熙誨改姓名為盧璇。趙匡胤左右侍衛本來打算殺死柴熙讓和柴熙誨，後周開國將軍盧琰冒死進諫，說應該像舜一樣接受帝位，但不廢堯的後代。潘美則用手捏著殿柱，低頭不語，趙匡胤問他你也覺得不可以殺嗎？潘美說，我沒說不可以，但是殺柴家小孩從道理上講不過去。於是趙匡胤把一個孩子交給盧琰，改名盧璇；另一個則交給潘美。
盧琰不願意入仕宋朝，後來，宋朝處理了周恭帝等人之後，問起柴熙誨下落。後來盧琰為了安全，經過轉折回到老家永康，躲在靈山，此地現在屬於磐安。後代有分出，遷徙到近鄰縣仙居、東陽、縉雲等地。
另外，根據福建的林氏族譜，趙匡胤奪得大位之後，柴宗訓叔侄逃到南唐，改姓林。宋滅南唐之後，林姓再度逃到深山老林之中的長汀，迄今有宗訓公祠和天子地（宗訓公墓）。
還有一種說法是，趙匡胤死後，柴熙讓擔心宋太宗迫害，帶著才5歲的小孩柴少嬰逃到江西永豐，覺得此地不錯，故意製造跳水自盡假象，被擺脫跟蹤。所以當地有口池塘叫做龍袍塘。
此後，因為當地一個寧姓老婦救助過柴家，於是柴姓改為寧姓。