Il rifacimento della facciata posteriore, ad opera di Cola dell'Amatrice, ha dato inizio ad un ciclo di lavori che doveva dar nuovo volto al palazzo, inizialmente costituito da un pianterreno ed un piano superiore. La trasformazione, invece, è stata così profonda da far perdere quasi al fabbricato l'antica fisionomia d'arte medievale, comprese le merlature. Il palazzo ha subito gravi danni, soprattutto nella facciata anteriore, nell'incendio del 1535, fattovi appiccare dal commissario pontificio Quieti per snidare alcuni faziosi che vi si erano rinchiusi. Il fuoco, protrattosi per un'intera notte, mandò in fumo, tra l'altro, il copioso archivio comunale, comprendente antichi statuti, capitoli, deliberazioni, riforme, che tanta luce avrebbero potuto portare sull'Ascoli medievale. Nei nuovi lavori le finestre rettangolari, corniciate, sostituirono le ampie luci ad arco gotiche, trifore. La stessa facciata si allargò oltre la torre, incorporandola. Nel 1549, a perenne riconoscenza verso Papa Paolo III, che aveva ristabilito con la forza la pace tra le opposte fazioni ribelli e restituito agli Ascolani il possesso di undici castelli prima tolti, fu costruito un nuovo portale monumentale, su cui venne collocata una statua in travertino in suo onore.
Il fronte posteriore, a tre ordini stilistici, è del 1520 e porta la firma di Cola dell'Amatrice. La ridondanza delle cornici, le finestre pesanti e poderosamente frontonate, nonché la torbida ricerca dei contrasti violenti dei volumi non danno del Cola la migliore espressione d'arte.
All'interno del Palazzo è un cortile con stupendo porticato a logge in tre piani, del XVI secolo, su disegno dell'ascolano Camillo Merli.
Dopo un restauro durato anni, il Palazzo offre oggi un percorso archeologico di grande interesse. Consente di godere ininterrotte strutture sovrapposte appartenenti a vani abitativi del periodo repubblicano, ad ambienti dell'era imperiale pavimentati in opus signinum, in spicatum, in latericium contornati da muri con paramenti in opus reticulatum o in mixtum, a poderose forme medioevali costituite da blocchi squadrati e ciottoli di fiume sapientemente scelti. L'apertura di questa zona costituisce, nelle Marche, il primo esempio di area archeologica urbana musealizzata.