耒陽自秦設縣，有時我們看到耒陽歷史沿革介紹的時候還提到了元代昇州，千古以來耒陽地名與轄地幾乎沒什麼大的變更。
然而，有一個歷史細節，不知為何被耒陽史料迴避了，那就是：王莽篡政時改耒陽縣為南平亭，改桂陽郡為南平郡，那時桂陽郡治已在耒陽。到了東漢，桂陽郡與耒陽縣恢復原名，根據《湖南通志》與《衡陽古蹟考》等典籍記載，桂陽郡故城在耒陽西。文博專家蔡德初考證，桂陽郡至少到公元151年還在耒陽，郡治估計在現新華酒店對面的佳福樂超市那一塊，但那邊似乎沒有古城後續傳承跡象。如果翻開光緒耒陽古城區地圖，你會看到一個很奇怪的現象，在西正街(現五一東路)與東橫街(現五一廣場北二棟後)以北老縣城三分之一多的大塊地段，除縣署外，還有連在一起的龍王廟、武廟、藥王廟、忠靖祠、崇德祠和三個學宮，這一邊都是官方用地，是不是可以推測故郡原來在這裡：郡、縣衙門相鄰而設，縣在東郡在西?(關於桂陽郡設於耒陽的史料，蔡德初有專門考證，但有人為把蔡倫坐實成現桂陽縣人，弄的百度資料也真是拼了。)
耒陽人為什麼要迴避「桂陽」這個名字，讓人有些不解。從今衡南縣城由衡陽市區遷出來看，似乎有點玄機。當然尷尬也還是不可避免，雲集怎麼叫都像個鎮，就因為這個縣的名字沒冠到它頭上來。
一個郡設到縣裡來，占了你的地擠了你的權，看來沒有得到什麼好處。但就在這個歷史節點上來了三位桂陽太守，改變了耒陽的發展走向，讓耒陽成為湖湘文化的重要源頭。
到了西漢建武二(26)年，衛颯字子房，河北修武人，從襄城縣令提拔擔任了桂陽太守。這裡不比中原，百姓民智未開，基本禮序都沒建立，他一下車就著手做了三件事：一是開堂招生辦學肇啟民智，二是設立婚姻禮節開啟民風，三是設立鐵官取締私鑄，建立官產。衛颯在任十年，勤政務實，居官如家，讓這個地方經濟開始起步、文化開始啟蒙。
接位衛颯的太守是茨充字子河，宛(今河南南陽)人。他上任時，走出長沙界，就發現這裡的百姓一年四季不穿鞋，衣服也不會做。於是他教會百姓種植桑柘麻苧、養蠶織布、做衣做鞋。茨充在任二十年，將這些技藝從耒陽逐步傳播到江南一帶，南方生產力的發展受益於他。
緊接其後上任的太守是許荊字少張，會稽陽羨(今江蘇宜興)人。他在任十二年，繼續推動和改進辦學，建立了喪祭婚姻制度，形成了基本的地域民風與禮儀。
要說這三位太守的歷史貢獻，那就是將耒陽這個民智未開的蠻荒之域，提升到漢文化舉足輕重之地。試想，從公元前221年設縣以來兩百多年，包括耒陽在內的南方大片蠻夷之地從來沒出過一個像樣的歷史名人(希望看官舉例打臉)，自從這三位太守在任之後，耒陽歷史上開始文化名人輩出，僅東漢一百多年的時間，耒陽就有湧現蔡倫、谷永、羅陵、谷朗、胡紹等載入中華史冊先聖先賢。
東漢桂陽郡人蔡倫，入宮當了宦官，一步步升遷，後來被封為龍亭侯，他發明的造紙術造福了人類，並帶來了世界文明史上的巨大革命。桂陽縣因此將他列為當地歷史文化名人，但可惜只是打了個秋風，不像我們耒陽敢囂張地對全世界打出名片「蔡倫故里」。
東漢耒陽人谷永。靈帝時升為鬱林太守，建寧三(107)年，以恩信招降烏滸族人十萬內屬，開置七個縣，對中華民族大融合建有蓋世奇功。有人誤把西漢大司農谷永(長安人)當成《後漢書·南蠻西南夷列傳》記載的耒陽人谷永。
東漢耒陽人胡紹。曾任耒陽縣吏、河內郡懷縣令。他在當縣令時，辦事果斷雷霆，在肅匪時由一個強盜審出黨羽，誅數百人。他注重為國儲糧，每十天要到倉庫去一次，官衙不設釜灶，將俸米製作成乾糧，每天就吃這個，清廉節儉到如此境界，是天下為官者不可企及的。後八年胡紹升任為九真太守、零陵太守。
東漢三國(吳)耒陽人谷朗。歷任右職守陽安長、王府除郎中、尚書令史、郡中正、劉陽(今瀏陽)令，征拜立忠都尉尚書郎、廣州督軍校尉，拜五官郎中。交州叛亂時，谷朗奉命征討，恩威並施，平亂成功後調任九真(今越南境內)太守。谷朗的成就不在他的官績，而是他身後的國寶級文化遺產《九真太守谷朗碑》，據說這是傳世三塊半楷書母體碑中最完整碑，故宮藏有明拓本。
東漢三國(吳)耒陽人羅陵。在桂陽郡為吏，汲府君被府官羅織罪名誣陷，郡衙上下只有羅陵敢站出來辯誣，結果被施以五種毒刑逼供，他始終未動搖，最後朝廷來的審官拿刀讓他割下自己的舌頭，才相信他的辯冤，最終使該案得到昭雪。其事跡載《桂陽先賢畫贊》、《太平御覽》、《湖南通志》。
耒陽人為國效忠、為民請命、捨生取義、勇於擔當的文化性格就是從東漢時期形成的，並成為湖湘文化的重要特徵，這一切都得益於三位高瞻遠矚的桂陽郡太守，在治下興辦學堂提升文化素質，建立良俗純化民風而來。