“庐山”昔称“巴奥隆”，位于浊水溪左岸与其支流马赫坡溪汇合处东北方高地，即雾社东北方约9000米处，海拔1250米，早被擅长狩猎闻名的泰雅族、赛德克族视为圣地。日据时期，“庐山”被划入台中能高郡雾社，成为著名台湾少数民族抗日行动“雾社事件”[日据时期，因不满日本“总督府”与地方政府压迫，赛德克族马赫坡社屡起争端，1930年10月27日，马赫坡社趁日本人举办联合运动会警备疏忽之际，首先发难，由莫那鲁道率部落分队袭击附近警察分驻所13处，砍杀日本人136名，震惊全台，日本殖民政府调派警察与军队、飞机进攻雾社。赛德克族反抗主力渐退到马赫坡社，再转进高山峡谷周旋，日本军队则进行毒气弹攻击，并发动其他族居民围攻，赛德克族弹尽援绝后，选择战死或在巨木下自缢。莫那鲁道亦持枪自杀，该族几遭灭族，幸存生还者也遭集体迁村。“雾社事件”是日本统治台湾期间最后一次激烈的反抗行动。但因日军采取屠杀、攻击不设防村落等手段进行镇压，严重违反《海牙公约》与相关国际法，因此被严厉谴责。莫那鲁道尸体于1934年才被寻获，送到台北“帝国大学”当作人类学标本，后来才被送回雾社安葬。]的舞台。1931年，日本人将参与雾社事件的马赫坡社人强迫移至清流，“庐山”一度荒废，不久后，另有太鲁阁群迁至“庐山”耕种，但定居者不多。
“庐山”温泉在台湾少数民族心目中，是带有灵气，而且可以医治百病的神泉，耕种、打猎之余，便以溪边温泉泡澡。日据时期，因驻守当地的日本警察发现温泉泉源丰沛、泉质优良，因此于1941年正式开发，并建造温泉疗养所，供驻守人员使用。
因“庐山”气势雄伟，远观酷似富士山，因此日本人改称当地为“富士温泉”，又因附近天然樱花林繁盛，也称“樱花温泉”，与附近雾社、春阳合有“樱都”雅号。每逢二月，樱花盛开，热闹非凡，甚至当时还有携歌伎在樱花树下席地饮酒赏樱的习俗。
“庐山”温泉温度均达87℃，属强碱性碳酸氢钠泉，神奇的是，温泉水温会依季节而改变，在寒冷的冬天会升高到98℃，夏天又降温到75℃；清澈无味、可饮可浴，对风湿、神经痛、慢性胃炎、高血压、动脉硬化等疾病有一定疗效，相当受日本人重视。
光复后，“庐山”温泉始对外开放。1946年，蒋介石光复后首度来台，将当地改名为“‘庐山’温泉”。当时日本警察疗养所已被国民党接收，改称“警光山庄”，有大小日式房子两栋，蒋介石下榻在山庄辖下一间日式平房，浴池分室内和露天，设备简洁。之后这座平房也被改为蒋介石行馆，作为他避暑休憩之地。“庐山”温泉也因此号称“天下第一泉”。
蒋介石光临“庐山”温泉时，当地并未大幅开发，仅靠羊肠小道对外联络，不过当地温泉出名后，引来许多外来人向当地人收购土地，“庐山”人口大量增加；同时随业者投入，当地逐渐形成温泉产业聚落，隶属台湾南投县仁爱乡精英村管辖。
尤其20世纪60年代初中横公路开通后，交通与观光资源大幅改善，“庐山”逐渐成为台湾民众旅游热区，原本宁静的山野村落突然沦陷在喧闹繁华中，恬静气氛渐被商业化环境取代。蒋介石原本偶尔还会搭汽车前来休憩，之后也转向中横沿线其他风景更独特、安维更严密的新景点。至于蒋介石行馆则长期维持严密管制，由警光山庄负责维护，少有平常人出入。同时，为了满足蒋介石的喜好，山庄周边广植梅花，一到冬天，满园雪白暗暗飘香，充满诗意。
蒋介石去世后，这间木造温泉行馆因警光山庄经费不足，年久失修，湮没在荒芜杂草中，屋内木头腐朽，有如废墟，相较附近新旧温泉旅馆杂陈的景象，落差非常大。直到2000年，为发展地方观光，南投县政府才争取到补助经费，完成翻修与周边环境绿化美化，让行馆焕然一新，供游客到“庐山”温泉泡澡之余，也能来此拍照参观。