La caratteristica del Castello e dell'adiacente Borgo S. Castrese, situato nel centro storico di Castel Volturno, è quella del sito adagiato sull'ultima ansa disegnata dal fiume Volturno prima di sfociare nel mar Tirreno, in contrasto con le consuetudini medioevali, che preferivano innalzare i borghi fortificati su alture inaccessibili.
La fondazione di un fortilizio o quanto meno di un luogo fortificato alla foce del Volturno risale, secondo i documenti storici, alla fine del IX inizio X sec, allorquando i castaldi longobardi della nuova Capua, rifondata ne 856 sulle rovine dell'antico porto romano di Casilino, ebbero bisogno, per difendersi dalle incursioni - soprattutto saracene - che arrivavano via mare risalendo a forza di braccia la corrente del fiume, di un avamposto militare strategico che bloccasse l'ingresso dei navigli nemici alla foce. La prima fabbrica del castello di Volturno fu certamente opera del vescovo longobardo Radiperto, fu, infatti lui, secondo il carme sepolcrale che chiudeva la sua tomba, a innalzare sul veloce scorrere del fiume un'alta torre (Extulit altifluam pracelso culmine turrim) e a cingere di mura (moenibus arcem) il borgo fortificato. Il castello fu eretto su un'arcata superstite dell'antico ponte romano sul Volturno della Via Domiziana fatto costruire dall'imperatore Domiziano nel 95 d.C., e che si snodava in un viadotto sorretto da pilae, che si susseguivano per un lungo tratto sulla sponda opposta del fiume.
L'antica costruzione dovette essere di forma oblunga, perpendicolare all'andamento del fiume e in asse con l'antico tracciato della via Domiziana. Adiacente alla torre dovette svilupparsi ad est il borgo murato di S. Castrese. Nel 904 il piccolo complesso fortificato era governato dal castaldo Gaideri; nel 982 erano conti di Volturno e Patria i fratelli Guaiferio detto Alo e Guaiferi figli di Wiferi; nel 988 conti di Volturno erano i fratelli Daoferi e Daoferio; agli inizi dell'anno 1000 conte di Volturno era Doferi, successivamente, il possesso del forte, fu assegnato, dai Normanni di Aversa a Guaferi.
Con l'incoronazione di Ruggero II a re di Sicilia (1130), Castello a mare del Volturno fu tolto a Ugone conte di Boiano, che lo aveva occupato. Nel 1206 l'imperatore Federico II di Svevia donò il Castello del Volturno alla mensa Arcivescovile di Capua, mentre durante il regno della regina Giovanna II d'Angiò (1414-1435) il castello fu recuperato dalle mani del de Sconnito grazie all'aiuto di Filippo Barile e rientrò a far parte dei beni della corona e come tale fu assegnato da Alfonso I d'Aragona (1435-1458) alla figlia Eleonora, che lo portò in dote al marito Marino di Marzano duca di Sessa e quando questi, nel 1460, si ribellò al cognato Ferrante o Ferdinando I re di Napoli (1459-1494), il castello fu costretto a subire un lungo assedio.
Il Castello e il vasto tenimento di Castel Volturno, furono tenuti in signoria dai capuani. Il Castello e il Borgo murato di S. Castrese hanno conservato attraverso i secoli sia i limiti urbani che l'impianto viario originari; sono parte dell'arco del ponte domizianeo del I secolo d.C. e le grossa mura perimetrali, costruite con i basoli di roccia leucitica prelevate dall'antica via Domiziana e con i blocchi di travertino e tufo proveniente dallo spoglio di edifici della colonia romana di Volturnum. Sia l'impianto delle stradine (vico I, II, III, IV, V e VI) tutte perpendicolari alla piazzetta principale (Largo S. Castrese) a modello dei castra romana e che doveva costituire la piazza d'armi del forte.
I documenti storici attestano attraverso i secoli l'esistenza di un castrum, di una torre, di un castello e di un borgo fortificato alla foce del fiume Volturno fin da epoche molto antiche, ma non hanno tramandato le modifiche e le trasformazioni cui esso, attraverso il tempo, è andato incontro a causa delle intemperie, degli eventi sismici o bellici o della mano dell'uomo. In un'antica raffigurazione pittorica, conservata nella Chiesa Arcivescovile di Capua, oggi scomparsa, era raffigurato come una “Rocca cinta di mura”, con la scritta CASTRUM MARIS DE / VOLTURNO QUOD EST DE / MAIOR ECC. CAPUANA.
Nel corso dei secoli le strutture murarie del Castello e del Borgo fortificato di S. Castrese hanno subito profonde modifiche, alla primitiva torre e mura, fatte costruire dal vescovo longobardo Radiperto, coniugando, evidentemente come era costume per le fortificazioni del IX e X secolo, legno, prelevato della vicina silva Gallinaria, e muratura, il cui materiale proveniva dalla spoliazione della via Domiziana e dalla colonia romana di Volturnum, fu sostituito, nel corso del XII secolo, un fortilizio in muratura con mura e mastio, che diventò la chiave di difesa dell'intero borgo fortificato. La primitiva torre longobarda, probabilmente in legno e circondata da una palizzata e da un semplice fossato, lasciò il posto ad un più massiccio mastio con un borgo attorniato da mura e fossati pieni d'acqua. L'avvento delle armi da fuoco, che distrussero l'antica cinta muraria durante l'assedio del 1460, portò ad un ulteriore modifica. Il Castello e il borgo dovettero essere difesi da un doppia cinta di mura, in parte ancora esistente e da diverse torri e posti di guardia fortificati con un maggior rafforzamento del mastio, che assunse la forma di un vero e proprio bastione nel XVII secolo, quando le coste campane ripresero ad essere oggetto delle incursioni piratesche, per cui si dovette provvedere a rafforzare le porte e le mura, che furono dotate di feritoie per gli archibugieri, le colubrine e le bombarde. Tanto il castello quanto l'edilizia presente all'interno del borgo fortificato di S. Castrese è stato fortemente rimaneggiato attraverso il tempo, tanto che è difficile, senza il sostegno di un apposito scavo archeologico o lo studio dei vari strati sovrapposti di muratura, ascriverne, ad un periodo preciso piuttosto che ad un altro, le varie trasformazioni e sovrapposizioni stratigrafiche. Le attuali costruzioni esistenti, ad una prima ricognizione visiva, non vanno al di là del Sei-Settecento. Il solo Castello ha la forma quadrata delle torri difensive seicentesche del periodo vicereale, sul lato esterno di Piazza Castello; di antica fattura la rampa di accesso lastricata in opus spicatum, sulla cui sommità si erge un portone di più recente costruzione, che introduce nel cortile interno del mastio, che è ricavato quasi certamente nel camminamento della ronda della doppia cinta muraria. Sul lato opposto, in via Fratelli Daoferi e Daoferio sono ancora visibili un barbacane e nel muro due strette feritoie simmetriche, attraverso le quali, forse doveva scivolare la catena che azionava il ponte levatorio, che pure doveva esserci, se il Castello, come testimoniano le fonti, era circondato da fossati pieni d'acqua, in parte probabilmente ricavata dai bracci dal vecchio porto romano. Il Castello all'interno, a causa dei rimaneggiamenti Otto-Novecenteschi, ha perso la sua caratteristica natura difensiva. Il portone di acceso a Largo S. Castrese non deve essere più antico del Seicento, per la forma tozza e per l'assenza delle scalanature della saracinesca. L'attuale Torre dell'orologio in Piazzetta Radiperto, originaria torre posta a guardia della porta, non deve essere più antica del Settecento nella sua parte alta, in quanto solo dal 1757 è attesto, nei conti comunali, il pagamento dell'onorario all'orologista. Le facciate delle abitazioni interne al borgo S. Castrese non vanno al di là del XVIII-XX secolo per i continui rimaneggiamenti e stravolgimenti subito. Esse sono costruite in pietra e seguono tutte lo steso schema, per lo più sono costituite da due vani unici sovrapposti non comunicanti, l'accesso ai piani superiori avviene mediante una scala esterna in muratura. Lo schema strutturale presenta mura portanti, in comune i laterali, isolati i frontali e solai con travi in legno.