Il borgo di Rollo di Andora, documentato negli annali cinquecenteschi come probabile insediamento protetto contro le incursioni saracene, si articola in tre nuclei lungo il pendio coltivato, non distante dalla Via Ligure Costiera, su un probabile tracciato di origine romana, che dalla marina saliva a Capo Cervo.
I due più antichi sono i più elevati, denominati Ca' Banda di Là e Ca' Berneri, forse dal nome di antiche famiglie.
Nel nucelo principale, più a valle, oltre alla barocca Chiesa della SS. Trinità, si trova il castello quattrocentesco, esempio tipico di architettura fortificata contro gli assalti barbareschi; ha pianta quadrangolare, spesse alte mura a scarpa e quattro garitte agli angoli del coronamento. L'accesso originario è, come di consueto, sul versante a nord, dove oggi si trova una scala che accede al secondo piano, in origine forse munita di ponte levatoio.
In passato è stato sede della Pretura, e poi è divenuto casa canonica.
Perfettamente restaurato, l'antico castello è anche utilizzato come foresteria e casa-vacanze per prelati.