士林官邸并非蒋介石行馆，而是他在台25年正式居所。
国民党政府迁台前夕，时任台湾省主席的陈诚亲自挑选台北、草山、大溪、日月潭、高雄、四重溪、澎湖两处共八处地点，供蒋介石选择作为官邸，最后拍板，三面环山，位于芝山岩的南方的士林官邸脱颖而出。
官邸用地前身是创立于1908年的士林园艺试验分所，原属“台湾总督府”园艺用地，据说日本人在此引种繁殖柑橘。1949年，官邸用地由目前士林园艺所前身的园艺试验分所接收，同年，台湾省政府（东南长官公署）在此兴建七栋外宾招待所。蒋介石择定此地为官邸后，随即由大陆工程负责兴建，1950年完工。
据当时蒋介石幕僚周宏涛回忆，由于担心蒋宋夫妇迁入新邸会引起外界批评，因此他与曹圣芬、夏功权、俞济时等蒋介石身边的年轻干部，曾共同联署签呈请蒋介石暂勿迁居，甚至宋美龄也当面应允了。但蒋介石还是在1950年5月间正式搬入官邸，从此士林官邸便成为军机要地，外人难窥究竟长达数十年。
士林官邸虽然有大片的园艺用地，其布局却仍维持俭朴风格；核心建筑是最内侧，由蒋宋两人居住的二层楼正房。连驻守侍卫都说，最初见到正房只觉得有一片森林、几栋平房，还有个大烟囱，丝毫没有深宫大院、富丽堂皇的感觉；正房大门朝北偏东，后侧有空调仓库两间，前左边有一间洗石子外观的水泥屋则是官邸招待所，除款待国际贵宾外，另外宋美龄侄女孔令伟自1962年来台后，也常住其中。花圃设有鱼池、假山、凉亭，中央设有升旗台，经常升着青天白日旗。
由于往来官邸之人均属国际政要，因此官邸的保护与隐蔽性也是一流，5个对外出入口均设有岗哨，建材不但是当时少见的RC钢骨结构，四时并有宪兵把守交通要道，为防突击、空袭，正房、侍卫警营房墙面皆粉刷为灰绿色，与周围森林环境协调，以发挥保护色作用。甚至装甲部队与宪兵营也曾在此驻守，使当地形同圆山地区战时指挥所。
士林官邸虽未如传言有通道可到松山机场紧急撤离，却有据称可抵抗核爆的山区隧道，可由园艺管理所边紧急避难，办公、休憩设备一应俱全，以避免临时攻击。至于花园附近一条大水沟，则是当年湖口兵变后，担心装甲车进占官邸才临时抢挖的，日后也都拉上电网防护。
◆士林官邸的正房，以1949 年台湾省政府兴建的外宾招待所为基础加以修建，主体为简便、实用的两层楼斜顶建筑，结构上融合木构造及钢筋混凝土。蒋介石在世时，士林官邸曾做增减与修整。蒋介石逝世后，为了保护历史建筑及尊重前“国家元首”，士林官邸长时期保持戒严，内里未做一丝变动。2006 年起，士林官邸进行了为期三年的大规模维修，后得以开放示人。
◆士林官邸，不论是蒋介石与夫人生活起居的正馆，或侍、警卫人员驻守的营房，均漆以灰绿色，与周边树林色调调和，兼具隐蔽、防护作用。对外界来说，这里是与世隔绝的禁区，而在官邸内部，也发生着如普通百姓家里一样的爱恨情仇，悲欢离合。士林官邸并非传说中的富丽堂皇，在绿树当中更显得隐秘而低调。在朝鲜战争爆发后，同时作为贵宾馆的“总统府邸”，士林官邸接待了无数大名鼎鼎的人物，其重要地位无可替代。（左图）
◆士林官邸的会客厅位于一楼，十分宽敞明亮，每年农历新年、圣诞节、蒋宋生辰等重要的日子，官邸里总是人头攒动，欢乐不断。尤其是在蒋介石10 月31 日生日时，即使只愿与家人分享生日喜悦，各界的祝寿贺礼依旧会纷至沓来，经过层层检查摆满客厅，可见是如何的盛况。（下图）