A'Famosa堡垒的历史始于1511年,当时葡萄牙航海家兼殖民者阿方索·德·阿尔布克尔克率领舰队攻占马六甲。这座堡垒的建立标志着葡萄牙在东南亚殖民扩张的重要里程碑。堡垒的名称"A'Famosa"在葡萄牙语中意为"著名",恰如其分地反映了它在当时的重要地位。
堡垒的建设工程浩大,动用了大量劳工,耗时数年才完成。最初的堡垒规模宏大,拥有四座主要塔楼和厚重的城墙,城墙厚度据说达到2.4至4.5米,高度约18米。堡垒内部设有总督官邸、士兵营房、教堂、医院和监狱等设施,形成了一个完整的殖民据点。
在葡萄牙统治的130年间,A'Famosa经历了多次攻防战。其中最著名的是1568年亚齐苏丹国的围攻,以及1606年荷兰与柔佛苏丹国联军的进攻。这些战役都证明了堡垒坚固的防御能力,但也暴露了其战略位置的局限性。
1641年,在经过六个月的围城后,荷兰东印度公司终于从葡萄牙手中夺取了马六甲。占领者将堡垒更名为"荷兰堡垒",并进行了一系列改造工程。他们在城门上刻下了荷兰东印度公司的缩写"VOC"和建造年份"1670",这些痕迹至今仍然可见。荷兰人还加固了堡垒的防御工事,将其与圣保罗山上的教堂连接起来,形成了一个更为完善的防御体系。