Pizzo Calabro, oggi in provincia di Vibo Valenza, si trova sul declivio di una rupe che strapiomba in mare dominando il golfo di Sant'Eufemia, da cui il nome locale "u pizzu".
Gli abitanti sono quindi detti Pizzitani, ma anche, con termine dotto, Napitini, poiché alcuni storici del passato avevano identificato il paese con l'antica Napetia, ricco centro costiero della Magna grecia.
Già gli Angioini, nella seconda metà del 1200, avevano fortificato il paese con una cinta muraria sul fronte mare, nel 1380 potenziata con un torrione, a difesa dalle incursioni barbaresche.
Tra il 1488 e il 1492 Ferdinando I dAragona, duca di Calabria, fece erigere l'attuale castello per presidiare il territorio governato dal feudatario Carlo Sanseverino - che si era ribellato al Re partecipando alla II Congiura dei Baroni - e vi insediò Diego De Mendoza, generale delle Galee, fedele alla corona.
Per diritto di successione il comprensorio passò al casato dei Silva, al quale apparteneva il Duca dellInfantado che ne ebbe il possesso fino al 1806. Abolita in quell'anno la feudalità per Decreto del re Giuseppe Napoleone, il castello fu oggetto di numerose dispute fino ad essere incamerato dal Governo, che lo adibì a caserma e prigione. Alcune delle strutture originarie andarono perdute con il terremoto del 1783, che ne distrusse parzialmente gli ambienti nello spiazzo al di sopra del cordolo, restaurati nel 1790.
Gioacchino Murat, re di napoli e cognato di Napoleone Bonaparte, dopo la definitiva caduta di quest'ultimo mise in atto un estremo tentativo di riconquista del regno di Napoli, sbarcando alla marina di Pizzo domenica 8 ottobre 1815, nella speranza di provocare una sollevazione popolare contro Ferdinando IV di Borbone. Ma lui e i suoi uomini furono sopraffatti e imprigionati nel castello dove il 13 ottobre, dopo un processo sommario, Murat fu condannato a morte dalla Commissione Militare istituita dal Governo borbonico.
Il castello divenne una meta del "grand tour" di molti visitatori stranieri, tra cui Alessandro Dumas, che volle rendere omaggio a Murat nel luogo dell'esecuzione e portò copia della sua lettera di addio alla moglie Carolina, che risiedeva a Firenze.
Nel 1884 il castello fu ceduto dal Demanio al Comune, con limpegno che fossero preservati i luoghi murattiani, ma gli accordi furono disattesi e l'uso del castello fu stravolto, mentre il fossato fu trasformato in una strada comunale. La disputa si concluse alla fine dell'Ottocento, quando il castello fu dichiarato monumento nazionale e fu elaborato un progetto di sistemazione museale. Il terremoto del 1908, che compromise ulteriormente l'integrità del manufatto, determinò l'abbandono di ogni iniziativa di recupero.
Il restauro definitivo del castello risale al 1996, mentre il museo murattiano è stato finalmente allestito nel 2001.
Il castello è costituito da un massiccio corpo quadrangolare a picco sulla rupe, che ingloba la precedente torre angioina, oggi detta Torre Maestra, a nord-ovest, affacciata sull'odierno Piazzale Gagliardi.
La fortezza, e quindi anche la Torre Maestra - modificata rispetto al primitivo impianto angioino - segue i canoni dell'architettura militare rinascimentale, con base a scarpa accentuata e cordolo di raccordo ai soprastanti volumi, con un vistoso orecchione orientato a sud-est, affacciato sulla Piazza della Repubblica.
Il castello è composto da un piano a livello stradale e da un piano superiore. Sotto il piano a livello stradale, vi sono i sotterranei ai quali è vietato l'accesso, ma si narra che conducano fuori città, nei pressi di Vibo Valentia (circa a 11 Km) e verso il lago Angitola (circa a 7 Km).
Al livello stradale, al di là dell'entrata vi sono, sulla sinistra, gli accessi ai sotterranei e, sulla destra, l'accesso ai vari servizi del forte : armeria, prigioni, cisterna per l'acqua potabile ecc. Al centro si trova la scalinata che conduce al piano superiore, dove sono i saloni con i cimeli dell'epoca e la cella in cui fu rinchiuso Murat, il luogo della sua fucilazione e la sala dove fu svolto il processo.
Le prigioni degli ufficiali di Murat sono collocate al pianterreno, mentre la prigione di Gioacchino è collocata al piano superiore, nella Torre Maestra; i cimeli murattiani così come i cannoni sono invece sia a pianterreno sia al piano superiore.