Nel [[1701]]<ref name="ref2"/> [[Michele Imperiali]] decise di trasformare la fortificazione in residenza (i lavori continuarono fino al [[1730]]).<ref name= "Clavica, Poso 74_75" /> Nel [[1739]] [[Michele Imperiali (junior)|Michele Junior]] lo fece isolare, facendo demolire un muro ed alcune botteghe dal lato nord e demolendo archi e colonne che sostenevano un pergolato sul portone d'ingresso.<ref name= "RefB" >{{Cita|Clavica, Poso|p. 75.|Clavica, Poso, 1990}}</ref> Nonostante non servisse più come fortezza, il castello fu comunque dotato di prigioni sotterranee e, probabilmente, anche di trabocchetti da usare contro i nemici del principe.<ref name="Ref3">{{Cita|Coco|p.92|Coco, 1988}}.</ref> In questa fase, inoltre, le sale superiori del castello furono abbellite con decorazioni, tele di un certo valore artistico, assieme ad una grande biblioteca contenente anche documenti pergamenacei (oggi andati quasi tutti perduti) e una cappella situata al pianterreno.<ref name="Ref3"/>
Alla morte di Michelino ([[1782]]), mancando gli eredi, il palazzo fu incamerato tra i beni del regno come proprietà feudale, ma l'erede designato da Michelino, [[Vincenzo Imperiali]] di [[Latiano]], dopo aver intentato causa al Regio Fisco ottenne il titolo di principe di [[Francavilla Fontana]], ereditando dal castello anche gioielli, mobili, arredamento, libreria, attrezzatura del teatro.<ref name= "RefB" />
