A testimoniare l’antica gloria del castello non rimangono ormai che alcuni resti posti sulla sommità del colle, a poche centinaia di metri dalla Pieve di San Pietro a Romena. Edificato probabilmente intorno al X secolo è considerato il più antico tra i castelli del Casentino. Anticamente il castello, con le sue pertinenze, costituiva un enorme centro fortificato dotato da due cerchie murarie: la più esterna a protezione del borgo la più interna del castello, e undici torri di guardia con quattro porte che ne permettevano l’accesso, delle 4 solamente una è giunta fino a noi.

Fonti del 1081 lo citano come “castrum” appartenente alla Signoria di Spoleto, solamente più tardi divenne di proprietà dei conti Guidi che qui tennero la loro residenza fino alla costruzione del castello Poppi. Nel tempo il maniero è stato citato da Dante Alighieri che qui vi soggiornò ospite dei conti Guidi e da Gabriele d’Annunzio che visitò il luogo ospite dei Conti Goretti, attuali proprietari. Il castello infatti dopo essere stato ceduto dai conti Guidi al Comune di Firenze venne acquistato, quando ormai versava in pessime condizioni, dalla famiglia Goretti di Flamini.