早在澄清湖整治之前，为承接蒋介石每年南下巡视、游览的需求，于1958年由“国防部”设计、台湾银行出资，在湖中仁山半岛一块小高地上，建造一座三层楼西式建筑，充作蒋介石行馆。
这处钢筋混凝土房舍隔着一汪湖水，与湖畔另一景观得月楼遥遥相望，占地仅614平方米，即大贝湖别墅、大贝湖招待所。行馆面积虽不大，反倒是一旁侍卫大楼“传习斋”占地达2000多平方米，且有喷水池、网球场、篮球场等设备。至于行馆内则配置齐全，比较其他行馆，还多了一间宋美龄的画室。
1961年1月7日，大贝湖行馆被蒋介石改名为“澄清楼”。但其实早在1959年，台湾当局就在澄清湖大门入口左侧的山坡内，建起了秘密的地下作战指挥中心，以防蒋介石在此度假时突遇战事。指挥中心入口在侍卫大楼“传习斋”后方山丘下，地下通道宽约两三米，全长约200余米，通道曲折蜿蜒，共有10多个房间，四周由钢筋水泥建造，并在多个要冲处设有坚固屏障墙与机枪射击孔。
指挥中心除独立空调系统外，入口处一堵大门重约5吨，外层为纯钢材料，内部灌铅，防止空袭时产生的巨大震力及增强核子防护效果。据说当时整个中心设有通信、发电、军粮仓库、会议室、弹药库等完整的指挥作战设施，还设有蒋介石卧室及卫浴室，只是空间都不大；钢门上还写着：“此门重达5000千克，外钢内铅，可防辐射线穿透。”
1963年2月6日，蒋介石检阅部队后夜宿西子湾宾馆，之后几天则迁居澄清湖宾馆，当时和夫人宋霭龄来台小住的孔祥熙已84岁，但中风未愈、行动不便，不过刚好宋子文、宋子安[宋子安（1906年－1969年2月25日），祖籍海南文昌，宋氏家族六兄弟姊妹中的幼弟。1928年于美国哈佛大学毕业，先后就任中国国货公司董事、广州银行董事会主席、西南运输公司总经理等职，较少涉足政治。1948年经香港转到美国旧金山定居，常往来香港与旧金山之间，1969年香港广东银行董事长任内于香港因脑出血病逝，是宋氏六兄弟姊妹最早去世的一人，1971年4月25日，宋子文在纽约因意外去世。]自美来台，因此3人在宋美龄的招呼下一同搭机南下，晋谒蒋介石并共度元宵佳节，蒋介石在澄清湖以丰盛晚宴款待远道而来的孔宋家人。
◆ 宋美龄的小弟宋子安及夫人胡其英与蒋氏夫妇及孔令仪的合影（左起：宋子安、胡其英、蒋介石、 宋美龄、孔令仪）1963 年初，蒋介石分别亲自去电给在美国的孔祥熙、宋子文，盛情邀请连襟和郎舅能合家到台湾来一块过旧历新年，以示家族团聚之意。宋子文接连受到电邀，却之不恭。宋子文的弟弟宋子安携家人先于数日到达台湾，下榻在台北圆山大饭店。2 月8 日适逢元宵节， 一家人联袂前往台湾南部澄清湖，在那里，东道主蒋介石夫妇以丰盛的晚餐招待了大家。
这是三大家族来台后首度也是最后一次正式聚会。不过三人南下后，宋子文、宋子安住在高雄圆山饭店，孔祥熙则与蒋宋夫妇同住澄清湖。至于陈果夫已逝，陈立夫被远逐美国，陈氏家族已不复当年。
◆ 黄杰自富国岛回台后，在蒋经国家中吃饭合影
1949 年解放军四野和二野在“宜将剩勇追穷寇， 不可沽名学霸王”的号令下，横扫华南，国民党军队节节败退，黄杰率残部近2 万人从广西败入时为法国统治的越南富国岛，加上其他一些残部和眷属平民， 入越的人数后来达到33000 多人。兵败又逃亡他国的偏僻孤岛，直到1953 年6 月最终抵台，“海上苏武”黄杰的一首《忆江南》应是很多官兵那时心境的写照：“……南国梦，望断是斜阳，西贡城中灯如锦，暹罗湾上月如霜，微醉立苍茫。南国梦，长忆故国秋，何日金陵逢故旧，秦淮河畔月当头，横笛泛中流。”
宋子文也借着这次机会，于2月13日在台北见到了1961年即被国民党宣称已解除“管束”的张学良；张学良此时会客均仍需事先请示，宋子文此行也不例外。在“联勤总司令”黄仁霖陪同下，两人在张学良的北投寓所见面，仅晤谈约一刻，宋子文即离去，当天张学良在日记中记载：“多年别来，相见无限凄然。”[宋子文在西安事变营救蒋介石的过程中，与张学良结为好友，但张学良护送蒋介石返回南京后遭到监禁，让居中穿梭的宋子文与宋美龄相当受挫，外界更质疑宋子文未依承诺保护张学良，对他殊多抨击，不满的宋子文更一度对蒋介石呛声。张学良当然知道宋子文的为难，因此他在“两蒋”故去后口述历史再谈宋子文，仍称两人是很好的朋友，但也说宋子文“在蒋先生那里是没有朋友的，我知道他是没有力量的”，更直言“蒋先生不喜欢他（宋子文）”，足见其无奈。]宋子文在台期间，后又见过张学良一面，并在张学良住所餐叙，随即于2月18日因妻伤返美，这两次见面也成了两人最后的会晤。之后，宋子文于1971年4月病逝纽约，宋美龄本有意赴美出席告别式，但传言人在大陆的宋庆龄也将出席，因此突然打了回票，杜绝了外界关于国共接触的联想。
其实宋子文与蒋介石关系一直不好，蒋介石1949年后在反省大陆军事失败时，还直指经济财政的失败才是主因，同时宋子文出任阁揆时为遏止通货膨胀大量抛售国库黄金，蒋介石更直斥这是宋子文误国的最大过错，并后悔“误用宋子文一人”。
宋子文去世时，除了宋美龄未出席葬礼，蒋介石也仅送了一面匾额，待遇远不如孔祥熙。但宋子文外孙女仍说，宋子文在美期间，依旧积极帮蒋宋找最好的医生和药物，并把医生送到台湾替蒋介石看病；宋美龄每次到纽约，宋子文也会代妹约妥当地医生就诊。
至于孔祥熙则于1966年2日28日再度返美，结束台湾为期3年4个月的生活，且从此未再返台，反倒是他的女儿孔二小姐长期留在宋美龄身旁，成为士林官邸的一员。