在鄭荷和談,讓出普羅民遮城之後,鄭成功三路出兵進攻熱蘭遮城,但久攻不下,鄭成功便開始屯墾。荷蘭人於西元1624年,在安平建造了臺灣第一座城堡「熱蘭遮城」,也就是現在的安平古堡,這裡曾是荷蘭人統治的中樞,更是對外貿易的總樞紐,原本的建築格局分為方形內城與長方形外城。西元1661年,鄭成功來台驅荷後,將此地改名為安平,故熱蘭遮城也稱為「王城」或「臺灣城」,俗稱安平古堡,是臺灣最早的一座城池。 清康熙年間,正式將臺灣納入版圖,政治中心移至府城內,進而逐漸喪失其價值。後來曾破壞城壁紅磚挪為建造億載金城之用,到了日治時期,內城荷式建築全毀,四周以紅磚砌成方形階臺,臺上建造西式平房作為海關宿舍。而成為今日的紀念館風貌,二戰後改名為安平古堡,目前紀念館邊殘存七十多公尺長的外城南牆殘壁依然屹立,老榕攀爬,紅磚班駁,是300餘年來僅存的歷史遺跡,訴說著曾經過往的滄桑。