Um antigo porto piscatório, situado perto da zona da Vitória, que conserva uma pequena rampa de varagem e apresenta ainda restos de uma grua manual que serviu para içar pequenas embarcações usadas na pesca costeira. Também se podem observar pequenas grutas naturais que foram posteriormente escavadas com o propósito de serem utilizadas como armazéns para o abrigo de barcos de pesca e  respetivos utensílios ligados a essa atividade. Devido à erosão marítima, o Porto Afonso apresenta-se hoje como um local de grande interesse geológico com arribas altas e calcinadas onde as diferentes camadas geológicas construtivas da ilha podem ser apreciadas no seu esplendor, apresentando um conjunto diferente de espessuras, granulometria e cores que vão desde o cinza dos piroclastos ao vermelho dos cones de escórias de bagacina. O nome primitivo de Afonso do Porto, segundo os historiadores, advém do facto de terras onde o porto se encontra terem pertencido, nos inícios do povoamento da ilha, a alguém com esse nome. No dia 19 de Maio de 1623 houve um assalto de piratas da Barbária à ilha, com entrada por este porto. No entanto os seus habitantes conseguiram expulsa-los sem que estes tenham conseguido os seus intentos. Em comemoração desse acontecimento foi construída perto deste local a Ermida de Nossa Senhora da Vitória. De acordo com a tradição, os moradores conseguiram matar o líder do assalto, que terá ficado sepultado em local próximo à atual ermida. O capitão escravizado referido era Pedro Cunha Ávila.