外宾来台时，西子湾行馆也是蒋介石在南台湾重要的宴会场所，例如蒋介石于1957年即在此处接待访问台湾地区的约旦国王侯赛因。又如伊朗国王巴列维于1958年访问台湾地区，也是到南部参观海军基地与三军演习，并由蒋介石在西子湾晚宴；不过由于西子湾行馆空间较小，因此蒋介石当晚系安排巴列维赴高雄圆山饭店休息。1960年，越南总统吴庭艳访台，蒋介石也是选在西子湾行馆与他餐叙，就军事问题交换意见。
由于西子湾行馆算是较正式的贵宾会见场所，因此相较之下，各项摆设都比较讲究。例如：目前行馆保存的餐具就是为接待侯赛因特地从台北的“总统府”搬运而来；行馆客厅皮制沙发椅是蒋介石由南京运来；餐厅内别具南国风味的贝壳沙发则由前高雄市长陈启州呈献。行馆车库停放1948年出厂的美国Packard轿车，是蒋介石来台前在南京的座车，1949年从南京运到台北，再从台北运到高雄；直到1955年蒋介石赴金门视察，这部座车还曾运到金门供蒋介石乘坐。
1964年，宋美龄最宠爱的幺孙蒋孝勇前往位于南台湾高雄的“陆军官校”预备班就读，继蒋孝文与蒋孝武都无法就读军校之后，蒋孝勇选择在军校就读，成了蒋介石的希望所系，更是台湾当局对外宣传的正面焦点；尤其蒋孝勇聪明伶俐，课业优秀，让“两蒋”都寄予厚望。据说蒋孝勇就是在这段时间，还利用休假日到行馆庭院筹设了鸟园。
只是运气不好的蒋孝勇，竟然于1969年在军校一次演训中伤了右脚踝，由于没有实时妥善治疗，导致软骨硬化，甚至连动两次大手术，才把软骨取了出来。当时蒋介石南下巡视，已改住较安静的澄清湖行馆，不过西子湾宾馆仍是门禁森严的招待所，蒋孝勇在养病这段期间，就在西子湾行馆内静养。宋美龄也曾多次前往探视。
1969年2月24日，蒋介石还写了封信给蒋孝勇，信中说：“昨闻你已病入医院，不胜系念。今特写信交武孙带来慰问，如你下周仍未痊愈，我与祖母就要南来看你，想与你同住几日；在西子湾养病或比医院为佳易愈也。余不多言，望早痊愈。”日后蒋介石还手书“持志养气、耐心养病”，希望为幺孙打气。只是受脚踝伤势影响，蒋孝勇已无法负担军事操练，最终还是放弃了军校梦，返回台北赴台大政治系就读。