Il castello di Santo Polo compare per la prima volta nella documentazione farfense nel gennaio del 1102.
Nel territorio di Santo Polo aveva consistenti interessi il monastero di S. Andrea in Flumine che vi possedeva diversi beni fondiari che gravitavano intorno alla chiesa dipendente intitolata a S. Vittoria.
Nel 1368 il castello, insieme ad altri, fu infeudato a seconda generazione mascolina da papa Urbano V a Francesco e Buccio Orsini, figli del defunto rettore del patrimonio Giordano. Rimasto nel patrimonio degli Orsini, fu incamerato nel 1604 alla morte di Enrico Orsini, marchese di Stimigliano.
L'antico castello medioevale è caratterizzato da vicoli che s’insinuano tra case e vecchie cantine che si aprono in piazzette, ritrovo prediletto degli abitanti.

Nel cuore del borgo si trovano case con particolari architettonici in sintonia con l’atmosfera del paese: pavimento in cotto, coperture a travi, ecc.
Silente, tranquilla, dignitosa, la vita di questo antico borgo è scandita dai ritmi della natura dove il gusto delle cose semplici ci allontana dalla frenesia della vita moderna.