Nel mese di giugno 1561 la costa ligure fu flagellata dalle scorrerie dei pirati barbareschi, che approdarono a Capo Don e devastarono la costa fino a Santo Stefano.
Taggia, invece, riuscì a respingere l'attacco del rinnegato Ulugh-Alì, il "Lazzaro Calabrese", alias Giovanni Galeni, rapito da bambino dalle orde di Kair-el-Din Barbarossa, durante un'incursione barbaresca nei pressi di Capo Rizzuto.
Probabilmente per sottrarsi alla schiavitù, non ammessa dal Corano per i Musulmani, si era convertito all'Islam ed era diventato una figura chiave nella marineria ottomana, specialmente dopo la morte, nel 1565, di Dragut, ucciso durante un assalto all'isola di Malta.
Le devastazioni e i rapimenti continuarono negli anni successivi, mentre le comunità rivierasche andavano rapidamente innalzando baluardi di difensa e allertamento.
Nel 1563 la popolazione di Taggia e di Bussana si accollò l'onere della costruzione di una torre, probabilmente su di un precedente impianto romano del II secolo, di cui tuttavia sono andati perduti i ruderi e la lapide che ne testimoniavano l'esistenza.
Quel primo castello era stato occupato dai Saraceni in più riprese prima del Mille e, quando era stato nuovamente espugnato e trasformato in covo corsaro nel 1270, il Senato ne aveva disposto la distruzione per sconfiggere gli occupanti.
Ripresentatasi la minaccia turco-barbaresca nel Cinquecento, la torre fu riedificata. Il manufatto - a pianta romboidale, con alta scarpa e cordolo di raccordo al soprastante parapetto e scala interna in muratura - si erge sul promontorio della grotta dell'Arma e non ha subito trasformazioni nel corso del tempo.
Per queste sue caratteristiche somiglia alle torri di Aregai e di Riva Ligure.