Edificato per la prima volta nel IX secolo, il castello di Prata fu distrutto nel 1134 e fu interamente ricostruito nel XV secolo, quando il feudo di Prata pervenne ai Pandone che dotarono il Borgo di un muro di cinta a protezione dell'abitato. Il castello ha assunto la sua attuale forma in età angioina, dopo un ampliamento dell'antica struttura longobarda con le caratteristiche torri cilindriche poste su basi tronco coniche, di notevole altezza, che ne rendono evidente la primaria funzione difensiva.

Di forma rettangolare, il castello si articola intorno ad un cortile, la cui pavimentazione ricopre una cisterna dove confluiscono le acque piovane. Subito dopo l'arco d'ingresso al borgo, un portone introduce alle rampe d'accesso al castello, costruite in pietra ad ampie gradinate. Il portone d'ingresso si apre su un androne in pietra viva e su una scalinata che separa le due ali del palazzo. Le stanze abitate sono distribuite su tre piani. Il piano terreno ospitava anticamente i locali della servitù; precede il vano delle cantine e, poi, della prigione, che occupa la base della Torre piccola, un vano circolare sulle cui pareti sono incise le emozioni dei prigionieri.

I due vani, posti dopo il cortile, mostrano gli accorgimenti difensivi nella costruzione del castello. Nel vano più spazioso dell'ala sinistra sono visibili zone d'intonaco dipinto, la cappa di un camino e finestroni circolari che guardano verso il cortile. Da qui si accede alla torre Nord dove vi sono un affresco con racemi e una piccola Annunciazione. Il secondo vano, al quale si accede mediante una scala ottocentesca in cotto, ripercorre la suddivisione delle stanze del secondo piano; da qui è possibile raggiungere la terrazza posta sulla Torre piccola e ammirare l'intero Borgo fino alle pianure di Venafro e la valle di Pratella.