大溪，古名“大姑陷”，源自平埔族凯达格兰人霄里社等台湾少数民族对大汉溪、大水的称呼。境内群山耸立，东南有角板山、水流东山，北有鸟尖山、插天山，西临八德、龙潭台地，并有大汉溪南北贯流，多年侵蚀让河的东岸形成了一列悬崖，高约50米，蒋介石行馆正是位于崖边南北狭长、向西突出的台地上，居高临下，视野辽阔。
清代雍正年间，大溪开始有汉族移民入垦，建立街肆；道光年间，林本源家族为避漳泉械斗之祸，移居至大溪，招募垦民。刘铭传任台湾巡抚后，于光绪十三年（1887），在大溪设置全台抚垦总局，以“大嵙崁”名之，直到日据时期废厅设州，才正式改名“大溪郡”。
大溪今日的老街景色，源自大嵙崁在英法战争后被英国列入淡水港范围，成为淡水河系内河航运最上游河港，也是台湾地区最早期通商口岸之一，许多洋行均设点从事茶叶、樟脑买卖。当年各商船均停泊在大溪崖边供货物集散，俗称“崁津”，伫立崖缘即可俯瞰大溪古吊翁桥四周风帆云集，而以“崁津归帆”列入“台湾十二名胜”。
日据时期，殖民政府于1912年开辟大溪公园，成为全台最早的公园之一，日本人除了于1932年在公园南端兴建“公会堂”，由三座单栋建筑组成，提供地方集会典礼使用外［大溪地区最早兴建的公会堂，于1921年设于邻近公园旁的普济路街区，1923年4月25日，日本裕仁皇太子“御使差遣”（侍从官）前往角板山巡视时，也是以大溪公会堂作为中午进餐与休憩场所，不过之后则被新建成的大溪行馆所取代。］，并在园内新建了大溪神社。1945年日本战败，大批日本象征性建筑，如全台各地日本神社等陆续被破坏捣毁，大溪神社也不例外，不但被铲除，正殿础石旧址还盖上一座三层楼高的超然亭；公会堂则被保留下来，但改名为“大溪中山堂”，也因缘际会地被陈诚列在蒋介石行馆名单之上。
1949年6月21日，蒋介石结束西子湾行馆停留行程，转赴冈山搭机北上，再乘车赶往桃园大溪行馆留宿。当他看到溪口酷似家乡的清幽景色，百感交集，虽只停留几天，却念念不忘。他召见当溪中学校长傅纬武时就曾说，“这是我的第二故乡，大溪中学就等于武岭学校”。就连蒋经国也说，大溪山水很像溪口，气候特别凉爽。
不过在大溪行馆停留没多久，蒋介石就因为要稳住菲律宾，同时推销“反共民主阵线”构想而准备出访并会见菲律宾总统季里诺，为不失礼仪，极少穿西服的蒋介石甚至从台北请来一位老师傅，在大溪行馆连夜缝制了一套出访时穿着的全新西装，这是蒋介石晚年少见着西服的正式场合，更是蒋介石来台后的第一套西装，目前保留在大溪行馆。
紧接着，为召开东南整军会议，蒋介石结束大溪行馆的短暂停留，于6月24日上午9点抵达台北，入驻草山宾馆，并宣布成立“东南军政长官公署”，之后蒋介石即搭机出访，展开另一段挽救败局而奔波的仓皇岁月。