文昌書院，又名文昌閣，位於廣東省懷集縣城東1公里的綏江北岸，始建於明萬曆四十七年(1619年)，建成於明天啟元年(1621年)，該建築於清順治、康熙、同治、光緒年間曾重建或修繕過。五十年代初，作為書院的附屬建築全部被拆毀，僅存文昌閣。1991年7月，文昌閣的附屬建築按原樣開始重建，文昌閣亦同時修葺一新。2008年11月8日，廣東省人民政府辦公廳發出《關於公布第五批廣東省文物保護單位通知》， 懷城文閣被列入廣東省文物保護單位。
文昌書院為當年懷集縣令謝君惠倡建，占地面積430平方米，建有北門、庭院、正堂、廂房，屬中國傳統式的四合院建築，山門兩側有觀闕、楹桂、石鼓;進入山門是一道木影壁，其後是前院，正面石壁上嵌有太極八卦、洛書、河圖;穿過左右側良廊，步上幾級石階便是正堂和兩側之廂房;繞過正堂後門的木雕屏風，即抵後院。文昌閣就座落在後院正中。
書院坐東向西而建，前有書院，後有文塔，五層六角形塔體直插雲天，似文星拱照之巨筆，如鎮守河道之大將。平面布局是坐東向西，建塔宗旨是鎮鎖一縣河流傾瀉，為興人才而聚財氣，寓懷集人才輩出，繁榮昌盛之意。建成時總稱懷集文昌書院，因院內有塔，也稱懷集文昌塔。歷三百八十餘載滄桑，是祖先留下的一件珍貴歷史文化遺產。
文昌塔高約25米，共分為5層，從底層開始都是六角形，牆厚53厘米，門口寬內為 1.l米，外 l.11米，高2.9米，門側牆厚66厘米;六個牆角每個內長3.15米，外長3.9米。正門頂上有"梯雲"二字。第二層至第四層正面均是方形或棱形窗口，上方依次寫上"得祿""桂籍""參天"字樣，最頂層窗口是圓形的，上方有"文閣"二字。每層均建有瓦檐，檐下面都描繪著各式各樣的圖案，還雕有蓮花瓣，以裝飾塔身。塔內繪有鍾馗、仙女等圖畫。塔頂似圓錐式，瓦脊坡度基本上是垂直向下延伸，頂部鐵桿上安裝有葫蘆狀的瓷塔剎。原為兩個"葫蘆"的，據傳某年一國民黨軍官為顯示威風，舉槍射擊而打掉了一個。塔頂六個角都裝有"翹手"(卷草)，工藝較為精巧，使文昌塔顯得雄偉壯觀。