S'ipotizza che l'impianto originario del castello di Brindisi di Montagna abbia avuto origine o nel IV secolo, quale originaria abitazione di ritiro e di raccoglimento, oppure tra il VI e il VII, quale fortezza di riparo all'epoca delle incursioni dei saraceni. Nel 1268 ne prese comunque possesso Guidone de Foresta, primo signore di Brindisi, al quale si succedettero altri nel corso del tempo. Dopo il terremoto del 5 e del 10 dicembre del 1456 il villaggio che sorgeva ai suoi piedi venne un pò alla volta completamente abbandonato. Sarà ripopolato tra il 1532 e il 1534 da una trentina di famiglie albanesi che, provenendo dalla città di Corona, si chiamavano Coronei.  Fu in questo periodo che dovette essere costruita, nelle immediate vicinanze, la torretta: luogo che doveva molto probabilmente servire da prigione ed anche da patibolo. Il periodo di maggiore splendore per il castello è forse quello che fa capo alla famiglia degli Antenori e che va dal 1634 al 1811 anche se intorno al 1861 il castello fu di nuovo protagonista ma, questa volta, non dei banchetti o delle scene di caccia nobiliari ma delle vicende civiche del brigantaggio, con Crocco e Borjes che avevano fatto del castello un loro avamposto e da quell'altezza controllavano il restante territorio.