香港公园位于一个军营旧址﹝称为域多利兵房﹞的上半部。1979年，政府决定将该地段的下半部拨作商业发展及兴建政府楼宇，其余部份则发展为一个公园。这个公园由前市政局与前英皇御准香港赛马会携手兴建。