行館歷史發展分為四個時期，創建時期(1935-1937)、軍管時期(1937-1951)、行館時期(1952-1975)及後行館時期(1975-迄今)，自2002年起中山大學再利用為西灣藝廊及蔣公文物展示空間。 第一次整修為行館時期（1951-1975），因應使用者改繕，有修繕行為，將原本較開放的空間轉化為較私密的使用。 第二次整建（1981），國家安全局移交後，委託喻肇川建築師事務所進行整建工程,這 介石行館在中山大學設校後，第一次大規模的整修。 第三次整建（約1999），行館移交中山大學已久，中山大學也希望朝向多用途的發展，朝永續開放使用，整修內部，於2001年(民國90年)完成西灣藝廊整建工程。 行館創建與1935年（昭和10年）4月高雄商工調查會配合始政四十週年博覽會高雄地區的地方特設館設置有關。考量多方因素，遂決議在西子灣的海水浴場設置一處高雄州物品陳列賣場，以新建一棟建築物的作法，接待大量的遊客。為始政四十週年博覽會高雄分館使用。 從1935年4月開始籌備，當年9月底便完工。工程花費46,000日圓。觀光館主要展示在一樓，分別是高雄州物產陳列室及土產賣場。樓上有7間娛樂休憩室，樓下則是男女有別的潮湯浴場。為配合博覽會的舉辦，壽海水浴場還增設一座溫浴場及兒童游泳池，溫浴場便是觀光館內部的溫浴池，觀光館另外一處使用的空間，是高雄州物產陳列室。整個二樓的空間提供遠來的遊客休憩使用。展示館使用僅有兩個月的時間。 始政四十週年博覽會結束後，溫浴場大約在1935年（昭和10年）底至1936年（昭和11年）初時開始啟用，昭和12年因中日戰爭爆發，高雄要塞建置後，西子灣地區納入要塞管制區結束。從1937年（昭和12年）到戰後之間，蔣介石行館位於日軍高雄要塞管制區內，此段時間的使用用途，有兩種說法，一為日軍的軍官招待所，一為陸軍醫院的官兵療養所。 戰後，由海軍接收管理。1952年（民國41年)，海軍總司令部奉令移交總統府第三局接管，將此地區部分房屋加以整修， 作為蔣介石在南部駐蹕之所，定名為「西子灣行館」，簡稱「蔣介石行館」。軍方之後將行館移交總統府，正式成為蔣介石南下視察時的行館。 1975年（民國64年)蔣介石逝世後，行館由國家安全局接管。1999年（民國88年）中山大學基於活化校園人文藝術精神為出發點，開始籌畫改善蔣介石行館的空間，歷經3年重新裝修改裝展示空間，並命名為西灣藝廊。2004年（民國93年)4月，高雄市政府文化局將整個行館指定為市定古蹟。 112年所有權人中山大學函文提報古蹟名稱變更審議，經主管機關 113年4月26日審議通過，更名為西子灣行館(原高雄觀光館)。
| 類別 | 日期 | 文號 | 備註說明 |
|---|---|---|---|
| 指定/登錄 | 2009/12/24 | 高市府文二字第0930020248號 | |
| 變更/修正 | 2009/12/24 | 高市府文二字第0980075437號 | 變更定著範圍 |
| 指定/登錄 | 2024/07/15 | 高市府文資字第11331360901號 | 重新指定古蹟名稱 |
