灵寿县城灵寿镇是一座著名的历史文化古城，至今己有二千多年的历史了。
灵寿自战国时期即成县的雏形。公元前408年，乐羊率魏师伐中山，经过3年
苦战，灭掉中山，魏文侯以战功封乐羊为“灵寿君”。可见在魏属中山时期，已形成灵寿这一重要城邑。公元前390年，灵寿君乐羊死，葬于灵寿。约在公元前381年，中山武公杀死魏国封于中山的最后一个君主──尚。中山桓公于公元前378年，迁都于灵寿(平山三汲)。
在城垣建设方面，位于太行山东麓的中山都城灵寿，无论是作为河北省先秦时期三大故都之一，还是作为当时“方百五里”内的中心城市，其规模和地位都是十分显赫的。据考古发现证明，当时的宫殿建筑规模宏大，装饰十分华丽，手工业作坊区分工细密，手工业技术非常精湛。有专门的陶器、青铜器、铁器、骨器、玉器、货币铸造等作坊。由此可见当时中山都城的繁荣。
据《史记·赵世家》记载：公元前296年，赵灭中山，“起灵寿，北地方从，代道大通”。由此可见，“灵寿”之名，至晚在战国初期已出现，而且整个战国期间一直沿用。
秦统一中国后，灵寿属钜鹿郡。 西汉汉高帝元年(前206年)置灵寿县，治所在今县城西北十里灵寿村(故城村)。此后2000余年间，本城除隋末短短数年内置为燕州外，或自为县，或省为镇，“灵寿”之名一直未变。这在各地名称不断变更的我国历史上，亦较罕见。
灵寿县城在晋代时迁于今治。建于松阳河下游开阔处，东依东岭岗，西靠赤岸岭，南濒河，北枕坡，其形若箕，城居箕里。城为胶土夯实，池引松阳水注。城周3里，城高2丈。开东西南3门，东门直通府州大道，西门迎接山西客商，南门临河低洼，只为农耕进出；城北水涝溷浊，防灌未开城门。这种形势，据说经阴阳家观测，灵寿城为凤凰展翅，朝阳腾翔。城西北角，有翠柏一株，傲然挺立，说是凤尾；城东南郊有井泉两口，说是凤眼，赤岸岭、东岭岗则为展开的双翅。并说北城开门，将有三斗三升芝麻官员出现。对灵寿县人抱忌妒心的府州台宪，坚决不准开北门。灵寿城就此四门缺一。
灵寿土城常年受风雨冲刷，剥落坍塌时有发生，多次动工修补。历朝历代对城墙修缮的有：明成化十八年(1482年)，知县尚濂，始改为砖堞，并建小房于各门之上。崇祯十二年(1639年)，知县曹良直增建瓮城、重门3座，以为屏蔽。民国24年(1935年)，北关乡绅傅昆山倡议募款，开通并修缮北城门，架石桥于护城河上，城北始为通衢。自此，东门“启明”、西门“观城”、南门“迎薰”，四门俱开，而城墙之缺豁依然四出。
1938年日军侵占灵寿，役百姓修城浚壕，堵塞缺口，加厚城墙，将护城壕深挖6尺，残破土城竟成豺狼巢穴，从此人民受尽苦难，达7年之久。1945年县城解放，铲除四门，夷平城垣及护城壕，现仅剩西北隅城址一段。1985年维修围墙，以石加固，保护了这段遗迹。
灵寿城垣虽小，而衙署、公廨、庙堂、书院一应俱全。 县衙在城西门里大街路北。县治照壁，临街横亘；县衙大门上有谯楼更鼓，进内仪门、大堂、二堂、三堂、内宅、东西科房，西有营署，东有土地祠，西科房之西有监狱，布局森严，令人望而生畏。明崇祯十一年戊寅，清兵掠城，县衙被焚，翌年重建，规制如旧。“七七”事变前为国民党县党部、县议会。事变后，整个旧衙署成为日本侵略军司令部。1945年解放后人民政府驻此。而今庭院重建，屋宇整修，县委在此办公。县委在此办公。