Por sugestão de Isidoro de Almeida, o arquitecto Tomaz Benedito de Pesaro desenhou, ao gosto italiano, esta fortaleza. Foi terminada no tempo de El-Rei D. Sebastião, donde retira a invocação. Demonstra uma nova ideia de defesa costeira, já sensível e consciente das novas funções de apoio portuário, ao contrário do Castelo de Sãpo Luis da Memória, interior e desajustado à realidade das ilhas(onde hoje se localiza o obelisco da Memória).