Il castello sorge nell’antico “Pagus mandela” i luoghi di cui, nel I secolo d.C., Orazio scriveva appassionate descrizioni dalla sua Villa di Licenza. Fu costruito come torre difensiva nel periodo delle incursioni saracene, probabilmente dai monaci dell’Abbazia di San Cosimato. Alla fine del XII secolo papa Celestino III lo concesse in feudo agli Orsini che ne fecero una vera e propria fortezza militare.
La trasformazione in palazzo baronale si deve invece ai marchesi Nuñez Sanchez, che subentrarono agli Orsini a metà del Seicento. I Nuñez operarono un’imponete ristrutturazione costruendo i corpi abitativi, la chiesa barocca e un giardino pensile con splendide vedute sui luoghi oraziani.
Nella prima metà dell’Ottocento fu acquistato dai marchesi Del Gallo, gli attuali proprietari. Alessandro del Gallo e sua moglie Giulia Bonaparte, nipote di Napoleone, ne fecero una residenza estiva, dove Giulia, che aveva un rinomato salotto letterario, poteva ricevere artisti e intellettuali. Sulla scia della moda dell’epoca, creò un parco all’inglese con alberi di alto fusto e, per lasciare una completa indipendenza ai suoi ospiti, fece costruire il casino in pietra di fronte alla Chiesa di San Vincenzo Ferrer, la cosiddetta Torre Giulia.