In suggestiva posizione, alle pendici del Monte Nerone, il borgo castellano di Piobbico fu a lungo feudo dei Brancaleoni, potente famiglia signorile che estese il proprio dominio a tutta la Massa Trabaria, prima di confluire nell'orbita dei Montefeltro (XV secolo).

Il castello, che si erge sullo sperone roccioso dominando il sottostante Borghetto, deriva dalla trasformazione di un primitivo fortilizio duecentesco di cui restano tracce visibili nel portale d'accesso e nelle strutture murarie dell'ala nord-orientale.

Per quest'ultima campagna di lavori è stato avanzato, pur con molte incertezze, il nome di Bartolomeo Genga, succeduto al padre Girolamo in qualità di sovrintendente alle costruzioni ducali.

La decorazione a stucco degli ambienti interni, ivi compresa quella della cappella ottagonale, è riferita all'ultimo periodo di attività di Federico Brandani, mentre il ciclo di affreschi si deve a Giustino Salvolini, detto l'Episcopi, e a Felice Damiani.

Ai piedi del castello, il Borghetto di Piobbico mantiene il proprio carattere di castrum fortificato, tuttora circoscritto tra le due porte urbiche.

E' invece andato perduto l'antico ponte a schiena d'asino che collegava il borgo con il quartiere commerciale (il Mercatale) sorto sulla riva opposta del fiume.

L'enorme costruzione, articolata attorno a varie corti interne e costituita da una sequenza interminabile di stanze più o meno decorate di affreschi, stucchi, citazioni, camini e stemmi vari, venne dapprima rimaneggiata nel XIV secolo, quindi radicalmente trasformata nella seconda metà del Cinquecento, allorché perse definitivamente la sua originaria funzione militare - individuabile ancora nell'ala nord-est del palazzo - per assumere l'aspetto di elegante dimora signorile, che tuttora conserva.