Imponente lungo il margine settentrionale del centro storico di Conversano, dove il degradare del terreno verso il mare possedeva caratteristiche difensive, si eleva il complesso castellare della città. Fondato dai normanni, intorno al 1054, su preesistenti strutture, vide protrarsi la sua edificazione fino al 1187. Fu castello feudale e sede della ricca Contea di Conversano in possesso della potente famiglia dei Del Balzo Orsini. Per un affare di dote passò agli Acquaviva che lo tennero fino al 1847. In gran parte di proprietà privata, tranne la torre maestra, può essere ammirato esternamente, dove meglio se ne colgono i caratteri: ha pianta trapezoidale, il lato lungo è rivolto verso il mare ed è racchiuso tra una torre cilindrica e una torre dalla originalissima e suggestiva pianta dodecagonale (XV secolo), avente evidenti funzioni difensive: le sue sfaccettature dovevano deviare i tiri delle armi da fuoco. Adiacente a questa si erge una torre quadrangolare, mentre all'angolo opposto la Torre Maestra è testimonianza diretta della fase normanna. Essa è la più certa testimonianza dell'antica struttura, probabilmente a pianta quadrata. Nel cortile è possibile osservare come questa torre poggi su strutture molto antiche, forse risalenti al VI secolo d.C. e alle guerre greco - longobarde. Numerose sono le tracce di antiche decorazioni scultoree e pittoriche: finestre ogivali, stemmi scolpiti e dipinti. L'atrio ha un carattere tipicamente medievale e vi si rintracciano chiaramente le strutture murarie risalenti all'antichità e all'alto medioevo. La trasformazione in residenza nobiliare riguardò le sale al piano nobile che si affacciano sul cortile, e in parte verso l'esterno, con un elegante loggiato con arcate a tutto sesto su colonne, realizzato nel 1710. Il castello ha oggi una destinazione museale.