建安十三年（208年），北方基本大定，曹操趁劉表新喪，局勢未穩，率大軍兵鋒直指荊州，剛接管荊州的劉琮以己弱不抵強敵而選擇投降。面對突如其來的變局，劉備只好放棄新野，向南投奔劉琦。然而，就是劉備逃難的過程，還帶領著十餘萬之眾，如果不是曹操的精騎在當陽擊敗了他，劉備還不願棄民獨走。《三國演義》一書將此事歸於劉備的「仁義」，更是大書特書，以反襯曹操的奸詐。那麼，帶領十餘萬民眾撤退是真的出於他的「仁義」嗎？
首先，自黃巾起義之後，軍閥割據，戰爭不斷，而此過程的軍費、軍隊等活動離不開人的參與，自然民眾就是軍閥爭奪的資源之一。標榜光復漢室的劉備內心十分清楚此道理。面對不可挽回的巨大損失，他更希望的是將損失降至最低，帶著民眾逃離至少可以留下東山再起的力量。事實上，除了劉備外，官渡之戰前夕，曹操曾智解白馬之圍，遷走白馬民眾；失去街亭後，諸葛亮也曾遷走西縣千餘家人口。當然，後面兩位遷民成功，而劉備失敗。
其次，此時劉備尚沒有一塊穩定的割據地，正規兵役制度當然不能建立起來。當時他的兵勇主要依靠招募和收降。特別是收降，除了帶來兵源外，軍官還帶來士兵的家屬。此外，針對劉備集團兵源不足，諸葛亮曾建議將不在政府的編戶之內的流民集中起來，編為軍戶，作為兵士的來源，他們也是有家庭的。面對強大的曹操集團，劉備選擇了撤退，自然明白可能短時間內無法再控制新野，甚至被趕出荊州。如果此時讓士兵拋棄妻兒跟隨自己難逃，很容易造成軍心大亂，軍隊不戰自潰。後來，東吳攻取關羽的大本營江陵，並俘獲了全部軍戶，造成荊州兵全面敗潰便是一個例子。
除了劉備必須遷走的民眾外，當然也會有一些自願追隨他的民眾，他們的數量應該不會太多。但劉備不是曹操，曹操也不是袁紹，劉備軍隊不僅沒有擊敗曹軍的追擊，反而被擊敗。最後，劉備只能忍痛割愛，帶領著諸葛亮、張飛等數十騎逃走。至於這些民眾的歸宿，歷史沒有明確記載，但有一部分可以肯定的是又歸營重建。