A ermida foi fundada por Pedro Velho Cabral ou de Travassos (?-1517), sobrinho materno de Gonçalo Velho Cabral, o descobridor de Santa Maria. No seu testamento, datado de 19 de novembro de 1511, Pedro Velho declarou ter destinado a sua terça parte dos bens para que estes permanecessem "místicos com a ermida até ao fim dos tempos". O fundador foi sepultado junto ao altar, onde também foram enterrados sua segunda esposa e o filho primogénito, numa sepultura marcada por uma lápide. Nela, podia-se ler que ele e a sua mulher, Catarina, mandaram construir a ermida com o propósito de serem ali sepultados após a morte. Pedro Velho, já numa idade avançada quando ergueu a ermida, dedicou o templo a Nossa Senhora dos Remédios. A sua velhice e a necessidade de “remédio” que essa fase da vida acarreta podem ter influenciado a escolha dessa invocação para a ermida.