Il primo nucleo fu voluto dai normanni nel 1131, come segno di conquista e dominio.
In spregio ad un intero quartiere della Bari bizantina, abbattendo anche una chiesa, fu costruito con pianta quadrata, mantenuta nei secoli, come una fortezza imprendibile dal mare e da terra, con il ruolo di difendere e dominare, soprattutto, una città indomita.
Assaltato dagli stessi baresi nel 1155, fu ricostruito, mentre la città veniva rasa al suolo dal suo re Guglielmo detto il “Malo”. Ampliato e abbellito da Federico II tra il 1233 e il 1240, fu da questi riconciliato con la città, ricostruendolo, ampliandolo, decorandolo e dandogli una funzione più rappresentativa che militare.
Splendido è l’androne che immette nel cortile, sorretto da colonne i cui capitelli sono uno dei più alti esempi di quel momento di passaggio tra romanico e gotico che caratterizza l’architettura sveva. Anche gli angioini vi misero mano rendendolo più confortevole e arricchendolo di uno splendido porticato interno.
Isabella d’Aragona vi si trasferì con la sua splendida corte, essendo divenuta signora di Bari. Ai primi del Cinquecento fu quindi adattato non solo alle esigenze residenziali ma anche a quelle militari ottenendo una originale fusione tra medioevo e modernità: la cinta bastonata che si innesta sulle strutture federiciane, spessore e pendenza tipiche di una struttura destinata a difendersi dalle armi da fuoco e caditoie medievali.
L’ultima età di splendore e fervore edilizio fu quella di Bona Sforza, figlia di Isabella, e feudataria di Bari, che rese più coerente l’ammodernamento. Danneggiato da un’esplosione accidentale nel ‘600, fu radiato dalle fortezze del regno nel 1831. Tutte le aggiunte sono oggi state eliminate fino a raggiungere la veste complessa ed articolata che secoli di vicende gli hanno dato amalgamandosi perfettamente come in un libro di storia fatto di pietra.
Oggi è sede di mostre permanenti e itineranti.