Il pirata Dragut, riacquistata la libertà dopo la cattura da parte di Giannettino Doria e diversi anni di prigionia, nel 1549 si diresse verso le costa ligure, sapendo la flotta genovese impegnata altrove.
La popolazione fu allertata ma i pirati sbarcarono in tre punti diversi della costa e si sparsero per ogni dove, senza che i Rapallesi potessero organizzare una resistenza efficace. Non rimase loro altro che fuggire sui colli.
La città fu saccheggiata, in diversi persero la vita, parecchi furono rapiti e sbarcati ad Algeri l'anno successivo, venduti come schiavi o in qualche caso resi alle famiglie in cambio di onerosi riscatti.
Il Senato della Repubblica, sollecitato dai Rapallesi, addivenne pertanto alla decisione di costruire un forte a protezione della spiaggia, affidandone la progettazione all'architetto Antonio Carabo.
A questo fine fu aperta una sottoscrizione pubblica, ad integrazione dei fondi stanziati dal Senato, che incontrò le resistenze dei facoltosi cittadini interpellati, cosicché si rese necessaria l'imposizione di imposte a carico della popolazione.
Finalmente, nel 1551, il forte era completato e armato con artiglieria adeguata, divenendo quindi un deterrente decisivo contro altre scorrerie barbaresche. È una struttura singolare, per la forma compatta, accentuata dal cordolo che divide in due metà quasi uguali la base a scarpa e la parte soprastante, e per la posizione in mezzo all'acqua - in questo simile alla Torre Scuola, al largo della Palmaria, e alla Torre Prarola - isolato rispetto alla terra, alla quale è collegato da un piccolo istmo.
Il castello ripreso ...
... da due angolazioni diverse
Nel corso del tempo il forte fu ampliato e mutò destinazione: nel 1608 Rapallo fu elevata al rango di Capitaneato e il castello divenne la residenza del Capitano, mentre il piano interrato fu adibito a prigione.
Dopo l'unità d'Italia, come anche altre difese costiere fu assegnato alla Guardia di Finanza, pur mantenendo la sua funzione di carcere. A quel periodo risalgono l'apertura di grandi finestre e il tamponamento delle cannoniere e dell' "abside" voltata terminale, in origine aperta verso il mare aperto.
Nel 1958, infine, fu acquistato dall'Amministrazione Comunale e, negli anni, è stato sottoposto a interventi radicali di restauro che lo hanno reso un'elegante sede espositiva, nella sua inconsueta e suggestiva posizione sull'acqua.
Particolare del soffitto
Un antico graffito raffigurante una galea, al secondo piano del castello