总计蒋介石三度登阿里山，除休息住宿，更是为避寿，躲开台北官场的送往迎来。不过20世纪50年代后期，他未再光临阿里山。但由于考虑到蒋介石仍可能前来“驻跸”，行馆因此不对外开放，虽然每天都有管理人打扫，但门禁管制森严。除少数贵宾外，其他人均不得擅入。事实上，当时台湾山区属于军事管制区，出入都受严格管制，除非正式申请入山证，一般人连到阿里山游览都相当麻烦，遑论想住进贵宾馆。
至于行馆屋内简朴素雅，有“总统”房、夫人房、会客室及侍卫房，也有幕僚休息室、会议室及浴室、厨房等设施，但房间内只有简单的几张床铺及暖炉。至于行馆内部摆设，包括中西桌椅寝具与各项器物，一直保持蒋介石进住时式样，没有太大改变，只是相较其他行馆似乎较为冷清。倒是行馆原本桧木原色不知何时被涂上深绿色油漆。
其间行馆一度整建、维修，但也仅在园内增添梅花、海芋及野百合等花卉，或在外围步道栽种紫色毛地黄和海芋、菊唐草等观赏植物。倒是庭园造景雅致，除有紫藤花棚，因海拔高度与湿度均适合，馆前山坡有众多一叶兰［一叶兰，系台湾高山原生兰之一，以阿里山铁路旁数量最多。为兰科观花植物，多年生常绿宿根性草本，叶自根部抽出，直立向上生长，只长一片叶子就开花，故称之为一叶兰。］生长，淡紫色花蕊满布在绿草如茵山坡，相当醒目。
阿里山在1963年停止官营伐木事业，转型森林游乐区，凭借着多样性动植物生态，绝美的云海、日出、晚霞，及每年赏枫、赏樱时节的缤纷，成为最受民众青睐的游憩地，只是行馆依旧是禁区。反倒附近有栋造型类似的日式桧木屋——第一员工寄宿舍，原本为裕仁的随员、侍卫所预备，以便就近执勤，内部为日式通铺，每间房可容纳8至12人；蒋介石入住行馆时，随从也在此入住。
因广植吉野樱，花期景致十分壮观，加上离民居较近，所以意外成为赏樱的好去处。
直到1998年，林务单位才将行馆有限度开放供游客参观，但无法住宿。之后经历“九二一”大地震，山区受创严重，祝山观日楼因结构毁损而被拆除，高山森林铁路位移坍塌，行馆内会议室烟囱倒塌，部分墙壁剥落，整栋行馆被贴上危楼黄单，直到2002年才修复完成，再度对外开放，但仅在星期三开放参观。