1952年，海军总部奉命将这栋建筑物移交“总统府”第三局接管，整修后作为蒋介石在南部“驻跸”之所，并且定名为“西子湾行馆”。由于西子湾背山面海，蒋介石在此心情备感舒畅，因此时常同宋美龄南下“驻跸”。尤其自1951到1966年间，每年6月16日“陆军官校”校庆，蒋介石都会亲自南下主持，并住在行馆中。
两层楼的西子湾行馆，绿墙白瓦，每层楼面积约429平方米，绿色外观和蓊郁林木相互掩映，建筑多处可见匠心，行馆内古木、花台、石灯、奇花、小桥、池塘的庭园造景优雅，可眺望西子湾美景。附近几栋较小房舍由警卫与随从人员居住，分别由木构的过水廊道连接，廊道动线与内部空间紧密接合，廊道屋瓦材料则与主体建筑相同。
西子湾沙滩广阔，风景宜人，蒋介石与宋美龄常常在西子湾沙滩散步、观落日，当时担任戒备的海军为保安全，常派驱逐舰警戒，并派一排陆战队士兵与两辆水陆两用战车滩头防卫。事实上，“要塞警备森严，像一道城墙一样，根本没有办法进去，再加‘总统府’内部警备森严……恐怕还有电网地道”。
1958年金门炮战期间，蒋介石也曾长时间住在西子湾行馆，与金门防卫司令部讨论战术指导，并由此赴澎湖督运军用物品，每日办公均在十小时以上，前后长达一个月。为担负军事指挥功能，台湾军方也在寿山邻近蒋介石行馆处设置地下临时战情指挥中心，地势东高西低，入口两处，除有碉堡式警卫室，并具防原子辐射功能，三道金属制重门厚均超过10厘米。
指挥所内外都有发电室，通风良好；内部石壁外加一层金属皮，通道仅可容两人侧身而过，每隔一段路就会有凹进墙壁的警备空间，不过战情中心仅数平方米大，房中有日光灯、吊灯等设备，并铺有木地板，平均高度约两米。尤其第三道门内通道有处莲蓬头，应该是进入防原子辐射指挥所内冲去辐射物用，不过目前早已荒废数十年。
◆西子湾行馆也曾是会见贵宾的场所，各类设施配置都十分讲究。车库停放着1948年出厂的美国Packard 轿车，是蒋介石来台前在南京的座车，1949 年从南京运到台北，再从台北运到高雄；直到1955 年蒋介石赴金门视察，这部座车还曾运到金门供蒋介石乘坐。如今这辆座车作为蒋介石纪念馆重要收藏，安静地停放在车库内，虽有发动保养，但不再开出去。
◆ 1999 年，“中山大学”重新整修行馆，将行馆的侍卫室、起居室、浴室及厨房改建为约270 平方米空间的艺廊，作为艺文展览场所，称为“西湾艺廊”。其余如大厅、卧室等则保持原状，开放供公众参观。