司马迁是陕西韩城县嵬东乡高门村人。在离高门村不远芝川镇南岭有司马迁祠墓，人称司马庙。祠内高悬匾额“文史祖宗”及楹联“刚直不阿留得正气凌霄汉，幽而发愤著成信史照尘寰”，就是司马迁的后裔所献立，署名“徐村裔孙”。徐村即高门村， 高门分东、西、南、北四高门，司马迁家居南高门。汉时高门地震，原村被毁，后续建新村，改名续村，现讹为徐村。司马迁的后裔现已传三十二代。
司马迁三十八岁时因其父司马谈去世，子袭父职，担任太史令，从事撰写史学著作《史记》。《史记》尚未完成，他就遭李陵之祸，受刑入狱二年零两个月。他罹祸的原因是为在作战时投降匈奴的好友李陵说了公道话，触怒了汉武帝。当时，领兵与匈奴作战的元帅是汉武帝爱姬李夫人的长兄李广利，其弟为李延年，李陵是李广利部将。李陵作战失利与李广利的作战部署，及未能及时供应粮草有直接关系。司马迁在指责李陵降敌的同时，不畏权贵，把当时的真实情况一一奏明武帝，直接冒犯了李广利、李延年弟兄。司马迁在向武帝陈奏了自己的看法之后，回到家里还愤愤不平地和他的两个儿子谈论这件公案。
司马迁共有二男一女，长子叫司马临，次子叫司马观，女儿司马英。司马英当时只有十几岁年纪，由于父亲的言传身教，深通事理，擅长诗文。父亲撰写《史记》，她还帮着搜集和整理史料。司马英知道父亲替李陵辩护，冒犯了权贵，非同小可，必然要大祸临头，就劝两位哥哥立即外逃避罪，以免株连。司马迁当时却不以为然地说：“李陵投降匈奴，连三尺孩童都知道是犯了叛国大罪，至于是真降假降，现在谁也难以断定，也不必妄加推测，但李广利援兵不发，粮草不到，却也是铁的事实。我作太史令的人难道连这样的事实都不能讲吗?至于降罪的事，那就要看圣上的裁决了。”谁知他的话刚说完，圣谕就到：传司马迁受审。他从此受刑入狱。
司马英怕有不测，立即对司马临、司马观说：“两位哥哥可速离京师长安，以免和爹爹同遭不测之祸。”
“那妹妹你呢?”司马弟兄问。
“爹爹已将我许配杨敞公子，虽未成亲，但我却可去杨府避难。杨家声势显赫，李广利弟兄虽为皇亲国戚，谅也奈何杨家不得。至于家中其他人等我另有安排，哥哥不必操心。
司马临弟兄告别了司马夫人和妹妹等正准备起身时，司马英又说道：“两位哥哥外逃，朝廷必要派人捉拿，不如改名换姓，以防万一。”
司马弟兄觉得有理，但改为何姓，却颇费思索。司马英见他们为改姓这件事反复商议，一时难决，怕延误了时间，就接着说：“现在改姓，仍要不忘是司马子孙。妹妹以为可将司马二字分开，一家姓司，一家姓马，或将司字加一竖改为同，将马字加两点改为冯。这样虽千百代后亦可知为司马氏之后。”
自此，长门司马临支在“马”字旁加两点，改姓“冯”；次门司马观支在“司”字旁加一竖，改姓“同”。逃往荒无人烟的巍山老牛坡下，村名定为“续村”，表示“高门之续”。后又担心被官家识破，取同音字为“徐村”。“徐”，又有“余村双人”寓意，暗指司马迁有两个儿子：即长门司马临，次子司马观，说明司马氏家庭后继有人。司马迁父子都是西汉太史官，后裔逃匿“徐村”后为祭祀祖宗司马迁，合族兴建了“汉太史遗祠”，并教育后代若有官家追问，就说是祭祀司马谈的(司马迁之父)。影星冯远征就是司马迁长支后裔。