A Ermida da Memória, elemento central do Santuário, situada no topo da escarpa sul da Baía dos Lagosteiros, assinala o local onde, segundo a lenda, apareceu em 1410 a imagem da Virgem que deu origem ao culto a Nossa Senhora do Cabo Espichel.

A elevada afluência de peregrinos ao local, pautada pela constituição, em 1432, da Confraria de Nossa Senhora do Cabo, levou a que, entre 1701 e 1770, fossem erigidas as principais edificações que hoje compõem o complexo arquitetónico: a Casa da Água, datada de 1770 e abastecida por um aqueduto, a Igreja, edificada entre 1701-1707, em estilo chão, duas alas de hospedarias construídas após 1715 e ampliadas entre 1745-1760 e a Casa de Ópera, de finais de oitocentos.

Com as invasões napoleónicas, o culto entra em progressivo declínio, travado, contudo, por diversas obras de recuperação realizadas ao longo das últimas décadas.

Atualmente, o culto no Santuário de Nossa Senhora do Cabo Espichel encontra-se vivo, nomeadamente através das celebrações dos círios de Azoia, Palmela e Sesimbra, cujas festividades se realizam nos meses de março e abril e agosto e setembro, respetivamente. A sua recuperação para fins turísticos, salvaguardando sempre a sua componente religiosa, está programada para os próximos anos.