As ruínas do Convento da Sra. do Rosário persistem hoje apenas através de uma sucessão de arcadas do antigo claustro. Contudo, a história deste local é rica. Este convento foi edificado em 1678, reinado de D. Pedro II, e tratava-se de um convento destinado à educação das filhas das principais famílias da ilha. Pertencia à regra de Santa Clara de Assis e providenciava ensinamentos literários, de culinária, de doçaria e de bordados. O fundador e padroeiro deste convento foi o Pe. Amaro Teixeira Fagundes.