Bien visible de la mer et de l'arrière-pays, le château Doria de Vernazza se dresse sur l'éperon rocheux de la ville qui s'étend vers la mer à plus de soixante-dix mètres de hauteur.
Mentionné au XIIIe siècle, bien qu'une structure défensive antérieure était déjà présente, le château appartenait aux évêques de Luni, Da Passano et Fieschi, qui au XIIIe siècle cédèrent le village à la République de Gênes. Après une brève période sous Pise, il est revenu à Gênes sur une base stable.
De plan irrégulier adapté à la forme de l'éperon rocheux sur lequel il se dresse, la fortification était bien protégée de tous côtés, l'accès n'était et n'est possible que par un escalier long et raide. La tour de Belforte à proximité avec des fonctions d'observation a complété les défenses. Aujourd'hui, il ne reste que des pans des murs et surtout la haute tour cylindrique au centre de l'esplanade, la partie la plus ancienne de la fortification, restaurée au XXe siècle. La chapelle du château dédiée à Saint-Jean-Baptiste est cependant complètement perdue.
Vers la fin de la Seconde Guerre mondiale, le château a été utilisé comme poste antiaérien par les forces allemandes. Actuellement, il peut être visité moyennant des frais et abrite des expositions culturelles.