Le modifiche ottocentesche
Le modifiche interne
Gli interventi di ristrutturazione ed ampliamento del palazzo realizzati da Francesco Paoli portarono notevoli modifiche sia alla struttura esterna dell'edificio che alle sale interne.
Rimase per lo più intatto il nucleo centrale: al primo piano la sala degli specchi, la cappella e l'appartamento dei genitori di Antonio; al secondo piano le stanze sopra la sala degli specchi, la stanza natale di Antonio e l'appartamento dello zio Ambrogio.
Al terzo piano - fatto innalzare ex novo - il Paoli realizzò una serie di locali che utilizzò in parte come abitazione per i confratelli Rosminiani e in parte - in circa dieci stanze - cercò di attuare concretamente il "progetto culturale" di Antonio Rosmini, ovvero la sistemazione delle raccolte di stampe, di quadri e della grandiosa biblioteca, frutto della passione collezionistica dall'architetto Ambrogio Rosmini-Serbati, alle quali il nipote Antonio aveva notevolmente contribuito ad incrementare.
La "loggia alta" che in origine si elevava sopra il tetto del palazzo ed era illuminata da 10 finestre, con i lavori di innalzamento venne incorporata nel palazzo e con la chiusura di sette finestre trasformata in oratorio domestico.