À l'époque médiévale, toute la côte ligure était sujette à des raids de pirates. Manarola ne faisait pas exception. Pour se défendre de ces attaques, un château surplombant la mer a été construit, où se trouvent aujourd'hui les maisons aux couleurs pastel caractéristiques. Complètement disparu, le seul vestige visible est le bastion caractéristique qui se détache parmi les maisons, probablement antérieures au XIIIe siècle.
Le souvenir d'une fortification défensive est également resté dans la toponymie du village. Le bastion, en fait, aujourd'hui une maison privée, a une porte d'accès via del Baluardo.
Au XVIIIe siècle, une cartographie de Matteo Vinzoni montre la structure fortifiée.