Il Castello sorge su una piccola penisola (nel Medioevo definita "isola"), legata alla terraferma da una sottile lingua di terra, che viene pertanto a formare un piccolo porto naturale, insidioso per gli scogli affioranti e per le correnti, che costituiscono una sorta di difesa naturale contro gli attacchi.
Camogli, guelfa, fu nel Duecento attivamente patecipe dei fermenti politici della regione, schierata accanto ai Fieschi contro i ghibelllini Spinola e, nel Trecento, partecipò all'espugnazione di Rapallo.
Tuttavia, del castello non si hanno notizie certe, salvo citazioni frammentarie e non documentate. È probabile che nel Medioevo l'intero promontorio roccioso dell'isola fosse fortificato a difesa del centro abitato. Nel Quattrocento sono registrati interventi alterni di potenziamento e di abbattimento della fortificazione, per effetto dei perduranti attriti tra Genova, Camogli e Rapallo.
Il castello è una fortezza bassa a pianta irregolare, all'estremità dello sperone roccioso a strapiombo sul mare, sormontata da una torre larga e tozza, munita ai vertici di guardiole rotonde con copertura a cupola, dotate di feritoie.
La chiesa - Basilica di S.Maria Assunta - e le case ad essa addossate, sul versante occidentale, hanno inglobato i resti delle antiche mura che, da un documento del 1438, risultano edificate già tre secoli prima, all'esterno della chiesa. Nella seconda metà dell'Ottocento, con una parte dei proventi della florida marineria camoglina, questa fu ampliata e ornata di affreschi e dorature, assumendo l'attuale assetto monumentale, sottolineato dalla creazione della piazza tra l'abitato e l'isola, e dell'imponente scalinata che ora vi accede.
Nel 1997 il maestro Armando Porta, già dipendente della Soprintendenza per i Beni Architettonici ... della Liguria, realizzò nella piazza una grande rosa dei venti nel tipico mosaico di ciottoli bianchi e neri, di cui egli era abilissimo famoso artefice.
La pavimentazione antistante l'ingresso alla Basilica è nello stesso mosaico che, nella piazzetta alla base del castello, compone un ottante in memoria della tradizione marinara della città.