Em 1592, na ermida dedicada ao Espírito Santo, foi instalada a primeira igreja e hospital da Misericórdia da vila. O edifício e a fachada atuais, agora conhecidos como Igreja do Senhor dos Passos, foram construídos entre os séculos XVII e XVIII, representando um exemplo da arquitetura barroca nos Açores.