鲁肃阅军楼创建以后，随着西晋太康元年（280）巴丘置巴陵县，古城池进行修建，阅军楼也进行了整修并改称巴陵城楼，将此楼与县齐名，可见当时统治者对比的重视和其楼的地位。但在东晋义熙年间（405—418）以前很长一段时间楼毁无存。据《宋书·朱超龄传》记载：东晋末的义熙八年（412），后来代晋称帝的刘裕曾经西伐刘毅，朱超龄和弟弟朱超石奉命“以步骑出江陵”，行未到，刘毅及其党羽便被刘裕部打败、诛戮。朱超石行滞巴陵时有感而作《夜泊巴陵》一诗：

    月夜三江静，云雾四边收。

    淤泥不通挽，寒浦劣容舟。

    回风折长草，轻冰断细流。

    古村空列树，荒戍久无楼。

    诗中的巴陵仅指今岳阳城。“荒戍久无楼”，这说明，412年前巴陵城有楼，但此后很久一段时期却无楼。

    在东晋义熙八年至南朝宋元嘉三年的14年间（412—426），岳阳古城楼有过一次重修。南朝宋元嘉三年，始安（今广西境内）太守、诗人颜延之被赦免后，从始安回京都，他与湖州刺史张纪在汨罗凭吊屈原后，同到巴陵登巴陵城楼，写有《始安郡还都与张湘州登巴陵城楼作》：

    江汉分楚望，衡巫奠南服。

    三湘沦洞庭，七泽蔼荆牧。

    经途延旧轨，登访川陆。

    水国周地险，河山信重复。

    却倚云梦林，前瞻京台囿。

    清氛霁岳阳，层晖薄澜澳。

    凄矣自远风，伤哉千里目。

    万古陈往返，百代劳起伏。

    存没竟何人，炯介在明淑。

    请从上世人，归来艺桑竹。

    颜延之（384—456），字延年，琅琊临沂（今山东临沂）人，曾任始安、永嘉太守，官至金紫光禄大夫。晋宋之际著名诗人，与谢灵运齐名，世称“颜谢”。

    这首诗前四句写岳阳楼的地理位置和磅礴气势，接着八句描绘城楼环境。从诗中可以看出，当时的巴陵城楼建在城墙上，地势高峻，楼体兀高，能够俯视三湘、七泽，鸟瞰云梦、京台；四周山环水复，异样清幽，引人“归来艺桑竹”。 这是描写岳阳楼绮丽风光的第一首诗歌，第一次在诗歌中出现“岳阳”二字，也第一次用诗歌记载巴陵城楼这个名字，拉开了岳阳楼由鲁肃阅军楼向观光赏景楼演变的序幕。

    南朝宋元嘉十六年（439），分长沙郡北部的巴陵、蒲圻、下隽及江夏郡的沙阳县置巴陵郡。随着郡治晋升，城池进行了维修，“沿肃旧围再筑”，对鲁肃阅军楼进行重修，岳阳楼已初具规模，但仍定名为巴陵城楼。

    此次修葺后，巴陵城楼直至南朝梁中期还矗立着。南朝梁元帝萧绎，在南朝梁普通七年（526）、南朝梁太清元年（547），曾两度出任荆州刺史。一次，他去荆州赴任，行经巴陵时，作《赴荆州泊三江口》（一作《行经巴陵部伍》）诗：

    涉江望行旅，金钲间彩旒；

    水际含天色，虹光入浪浮；

    柳条恒扫岸，花气尽薰舟；

    丛林多故社，单戍有危楼；

    叠鼓随朱鹭，长箫应紫骝；

    莲舟夹鹤氅，画舸覆缇油。

    榜歌殊未息，于此泛安流。

    他虽公务在身，没有登上巴陵城楼，但诗中点明，三江口附近的“危楼”（今岳阳楼），是用于眺望敌阵的谯楼。