Su alcune carte cinque-secentesche, tra i tanti prospetti stilizzati di città rilevanti, compare Genova di cui si evidenziano, se l'autore è genovese, elementi architettonici realistici e inequivocabili. Tra questi non solo la Lanterna - da sempre simbolo della Città - ma anche il Castelletto.
L'area su cui fu eretta la fortezza sorge su un'altura, chiamata Monte Albano già in epoca romana, e la più antica menzione del "Castelletum" risale al X secolo. Gli annalisti successivi citano un' antica robusta torre, eretta a difesa del locale monastero, che faceva parte del sistema difensivo cui apparteneva anche l'analoga situata nei pressi del Carmine, poiché l'area era fuori delle mura cittadine ed era quindi particolarmente esposta alle incursioni barbaresche.
Dopo il XII secolo la cinta muraria inglobò la collina, che si popolò di residenze patrizie, ma progressivamente anche di case di malaffare, un vero quartiere delimitato da un recinto, all'ingresso del quale era disposto un servizio di controllo per l'esazione di gabelle sul meretricio, che andavano a finanziare opere pubbliche.
Invece, di lì a qualche anno il Castelletto, considerato proprietà personale del Re, fu ulteriormente potenziato e trasformato in una cittadella fortificata a pianta quadrangolare, dalle robuste mura a scarpa, con quattro possenti torri ai vertici e un sistema di cortine merlate e bastioni, che scendeva alle pendici del colle. Su una lapide all'ingresso principale l'iscrizione, che per i Genovesi era il suggello della sottomissione ai Francesi:
Nel 1409 la fortezza fu assaltata ed espugnata, segnando la resa del governatore francese. Dopo il breve governo di Teodoro di Monferrato, cui la signoria era stata offerta dagli stessi Genovesi, il Castelletto fu in parte nuovamente abbattuto in occasione di un'altra sommossa. Ricostruito dal duca di Milano Filippo Maria Visconti, che assunse il governo della Città per mano di Erasmo Trivulzio, fu ancora una volta parzialmente distrutto dal popolo in rivolta contro l'oppressore.
Negli anni successivi il governo visconteo lo ricostruì e lo potenziò, ma nel 1435 l'insurrezione vittoriosa contro la dominazione del Duca di Milano, guidata da Francesco Spinola, portò all'ennesima distruzione da parte del popolo, che nel Castelletto vedeva il simbolo della dominazione foresta.
La fortezza fu riedificata e ulteriormente potenziata verso la metà del secolo dal Doge Giano Fregoso, che ad essa restituì il suo ruolo di centralità come postazione dominante sulla città.
Alla fine del Quattrocento la Francia impose il suo dominio sulla Repubblica, scomoda ma a un tempo allettante confinante per il suo potere commerciale e militare nel Mediterraneo, e il Castelletto tornò ad essere le residenza armata del crudele governatore Galeazzo di Salazar. L'insurrezione del 1507 contro le sue vessazioni, volta a distruggere una volta ancora la fortezza, fu soffocata dall'esercito francese al comando dello stesso Re.
Il popolo ebbe la sua rivincita nel 1528, riacquistando la libertà e abbattendo le possenti torri del Castelletto; due anni dopo ne fu deliberato il definitivo smantellamento, affinché fosse cancellato un simbolo e uno strumento di oppressione inconciliabile con le aspirazioni democratiche di un popolo governato dalla legge.
Andrea Doria si oppose risolutamente alla volontà spagnola di riedificare la fortezza, e le rovine furono occupate da privati cittadini e ospitarono persino la fabbrica di polveri della Repubblica, fino alla sua definitiva collocazione nella Polveriera del Lagaccio.
Il Castelletto ricostruito dai Piemontesi, in un acquerello di P. D. Cambiaso
Alcuni locali e le dipendenze terriere a sud del Castelletto furono destinate a usi vari, finché la riedificazione non fu affidata dal governo sabaudo, nel 1819, all'ingegnere militare Chiodo, per tenere sotto controllo la popolazione riottosa contro l'amministrazione piemontese.
La fortezza tornò dunque a rappresentare per i Genovesi il simbolo dell'occupazione foresta e, durante i moti del 1848, fu nuovamente abbattuta, come del resto accadde anche a Forte San Giorgio.
Ne fu quindi deliberata la definitiva demolizione e l'area venne in parte frazionata e venduta in lotti edificabili.
Un ampio giardino alberato precedeva il suggestivo belvedere sulla città antica e sul mare.
All'inizio del Novecento, fu costruito l'ascensore pubblico che scendeva nella sottostante Piazza Portello, sulla cui terrazza esisteva un Caffè rinomato.
L'ascensore con il Caffè sulla terrazza soprastante
Con il passare degli anni gli edifici civili hanno occupato la maggior parte dell'area, di cui oggi rimane solo il belvedere sulla Città.