司馬遷是陝西韓城縣嵬東鄉高門村人。在離高門村不遠芝川鎮南嶺有司馬遷祠墓，人稱司馬廟。祠內高懸匾額「文史祖宗」及楹聯「剛直不阿留得正氣凌霄漢，幽而發憤著成信史照塵寰」，就是司馬遷的後裔所獻立，署名「徐村裔孫」。徐村即高門村， 高門分東、西、南、北四高門，司馬遷家居南高門。漢時高門地震，原村被毀，後續建新村，改名續村，現訛為徐村。司馬遷的後裔現已傳三十二代。
司馬遷三十八歲時因其父司馬談去世，子襲父職，擔任太史令，從事撰寫史學著作《史記》。《史記》尚未完成，他就遭李陵之禍，受刑入獄二年零兩個月。他罹禍的原因是為在作戰時投降匈奴的好友李陵說了公道話，觸怒了漢武帝。當時，領兵與匈奴作戰的元帥是漢武帝愛姬李夫人的長兄李廣利，其弟為李延年，李陵是李廣利部將。李陵作戰失利與李廣利的作戰部署，及未能及時供應糧草有直接關係。司馬遷在指責李陵降敵的同時，不畏權貴，把當時的真實情況一一奏明武帝，直接冒犯了李廣利、李延年弟兄。司馬遷在向武帝陳奏了自己的看法之後，回到家裡還憤憤不平地和他的兩個兒子談論這件公案。
司馬遷共有二男一女，長子叫司馬臨，次子叫司馬觀，女兒司馬英。司馬英當時只有十幾歲年紀，由於父親的言傳身教，深通事理，擅長詩文。父親撰寫《史記》，她還幫著搜集和整理史料。司馬英知道父親替李陵辯護，冒犯了權貴，非同小可，必然要大禍臨頭，就勸兩位哥哥立即外逃避罪，以免株連。司馬遷當時卻不以為然地說：「李陵投降匈奴，連三尺孩童都知道是犯了叛國大罪，至於是真降假降，現在誰也難以斷定，也不必妄加推測，但李廣利援兵不發，糧草不到，卻也是鐵的事實。我作太史令的人難道連這樣的事實都不能講嗎?至於降罪的事，那就要看聖上的裁決了。」誰知他的話剛說完，聖諭就到：傳司馬遷受審。他從此受刑入獄。
司馬英怕有不測，立即對司馬臨、司馬觀說：「兩位哥哥可速離京師長安，以免和爹爹同遭不測之禍。」
「那妹妹你呢?」司馬弟兄問。
「爹爹已將我許配楊敞公子，雖未成親，但我卻可去楊府避難。楊家聲勢顯赫，李廣利弟兄雖為皇親國戚，諒也奈何楊家不得。至於家中其他人等我另有安排，哥哥不必操心。
司馬臨弟兄告別了司馬夫人和妹妹等正準備起身時，司馬英又說道：「兩位哥哥外逃，朝廷必要派人捉拿，不如改名換姓，以防萬一。」
司馬弟兄覺得有理，但改為何姓，卻頗費思索。司馬英見他們為改姓這件事反覆商議，一時難決，怕延誤了時間，就接著說：「現在改姓，仍要不忘是司馬子孫。妹妹以為可將司馬二字分開，一家姓司，一家姓馬，或將司字加一豎改為同，將馬字加兩點改為馮。這樣雖千百代後亦可知為司馬氏之後。」
自此，長門司馬臨支在「馬」字旁加兩點，改姓「馮」；次門司馬觀支在「司」字旁加一豎，改姓「同」。逃往荒無人煙的巍山老牛坡下，村名定為「續村」，表示「高門之續」。後又擔心被官家識破，取同音字為「徐村」。「徐」，又有「余村雙人」寓意，暗指司馬遷有兩個兒子：即長門司馬臨，次子司馬觀，說明司馬氏家庭後繼有人。司馬遷父子都是西漢太史官，後裔逃匿「徐村」後為祭祀祖宗司馬遷，合族興建了「漢太史遺祠」，並教育後代若有官家追問，就說是祭祀司馬談的(司馬遷之父)。影星馮遠征就是司馬遷長支後裔。