Oltre al castello Doria, Vernazza era difesa da mura di cui rimangono pochi resti. Una porzione di cinta muraria è visibile accanto alla chiesa sconsacrata di San Francesco, nei pressi dell'ex convento dei Padri Minori Riformati di San Francesco, oggi sede comunale.
Proprio davanti, sul versante opposto, si alza il Torrione, a base circolare.