Portovenere in Matteo Vinzoni, Il Dominio della Serenissima Repubblica di Genova in terraferma, 1773, edizione anastatica in 2010 copie dell'Istituto Geografico De Agostini, pubblicata nel 1959 in occasione del cinquantenario (1905-1955) della Compagnia Imprese Elettriche Liguri (C.I.E.L.I.), (coll.priv.). L'originale, in due volumi, si trova presso la Biblioteca Civica Berio di Genova
Sebbene le origini di Portovenere vengano fatte risalire al VI secolo a. C., quando nel sito fu edificato un tempio dedicato al culto della dea Venere, la storia vera e propria del borgo risale alla prima metà del XII secolo, quando la Repubblica costruì un Castrum vetus sulla punta San Pietro, all'estremità occidentale della baia.
Quel primo insediamento fu racchiuso da una muraglia che dalla chiesa di San Pietro arrivava a proteggere l'intera area del borgo antico.
La chiesa di San Pietro fu eretta tra il 1256 e il 1277, in segno di ringraziamento per la vittoria sui Pisani, in suggestiva posizione prominente sul promontorio.
Fu costruita sui ruderi di una pieve paleo-cristiana, a sua volta innalzata sui resti di un tempio pagano, dedicato a Venere, di cui le tracce sono state trovate sotto l'impianto duecentesco.
Si compone di due corpi separati, di cui il più grande è munito di campanile con bifore ed è rivestito dal tipico paramento a pietre alterne bianche e nere.
Sul pianoro alle spalle della chiesa sopravvivono i resti di due corpi cilindrici che probabilmente erano mulini con funzioni di avvistamento, come se ne trovano di frequente lungo le Riviere.
Quell'insediamento fortificato rappresentò quindi la difesa della Repubblica, al confine con il territorio sotto il controllo dei Pisani. Intorno al 1160 furono ulteriormente costruite le cortine di levante, con la porta protetta dalla garitta circolare a destra, e dalla possente alta torre a sinistra.
Di lì a poco fu innalzato il castello in posizione dominante, congiunto da cortine alle due torri a base quadrangolare, che completavano le fortificazioni del sito, base navale avanzata di Genova nel quadro della secolare lotta tra le due Repubbliche marinare. Distrutto verso la metà del Quattrocento, il castello fu riedificato nel suo assetto attuale nel Cinquecento.
La fortezza, a pianta pentagonale, con saliente fortificato verso monte, è rafforzata sul lato a mare da tre robusti bastioni, e si compone oggi di due elementi distinti: una parte arretrata cinquecentesca, circondata dalle spesse murature secentesche, rafforzate da arconi interni e prive di aperture, e quindi atte alla difesa contro armi pesanti.
In epoca napoleonica la fortificazione fu adibita a prigione e, successivamente abbandonata, andò incontro al decadimento da cui è stata salvata, negli scorsi decenni, grazie a un articolato intervento di restauro.