Existia neste local, antes de 1518, uma ermida dedicada à N. Sra. da Conceição, bem como um pequeno forte destruído pelo mar em 1606. A ermida também foi destruída pelo mar, em 1641. Este forte foi mandado construir no reinado de D. Sebastião (1554-1578), tendo, provavelmente, as obras começado apenas em 1644 (D. João IV – 1640-1656). Na construção das muralhas de defesa da ilha foi usado inicialmente o tufo. Após terramoto de 1757 e pelas cheias de 1856, foi necessário proceder-se à substituição de grandes troços de tufo por paramentos de basalto. Hoje em dia, o forte foi revitalizado pela Câmara Municipal de Velas como é o cado do Centro Cultural e Auditório Municipal. Encontra-se consolidado e relativamente conservado, mantendo a sua planta original em alguns pontos.