Il "castello dalle rosse torri", costruito nel 1358 da Amedeo VI di Savoia detto il Conte Verde, fu sede di avvenimenti politici e di sontuose feste medioevali, mantenendo sino ai nostri giorni il caratteristico aspetto di fortezza difensiva.

L'edificio venne inserito accanto alla Cattedrale nella parte alta della città, luogo di comando sin dall'alto Medioevo con il complesso capitolare vescovile e il Municipio.

E' una costruzione a base quadrangolare, con le quattro torri cilindriche sorgenti direttamente dal terreno; si sviluppa su tre maniche, alte quattro piani, che si affacciano sul grande cortile interno; lungo il perimetro delle mura corre il camminamento di ronda.

Il castello eporediese fu costruito soprattutto con funzione difensive, ma molto spesso fu teatro di feste,balli e tornei ospitando addirittura i Savoia. Nel dicembre 1522 fu luogo dei festeggiamenti in occasione del battesimo di Adriano, figlio del duca Carlo II e di Beatrice del Portogallo (futura madre di Emanuele Filiberto). Si svolsero grandi festeggiamenti anche il 13 giugno 1648, quando Cristina, Madama Reale, fece proclamare Duca Regnante il figlio quattordicenne Carlo Emanuele II.

Nel XVII secolo il castello fu quasi esclusivamente fortezza militare. Nel 1676 un fulmine caduto sulla torre nord-ovest, la torre mastra adibita a polveriera, provocò un'esplosione che causò molti morti, la distruzione di case e danni irreparabili alla torre stessa, che da allora è mozza.

Dal 1700 l'edificio venne adibito a carcere, mantenendo tale funzione fino al 1970. In questo lungo periodo subì diverse modificazioni. Nel 1970, con la chiusura del carcere il castello rimase inutilizzato per nove anni al termine dei quali si avviarono i primi lavori di recupero: furono demoliti i corpi di fabbrica aggiunti nel cortile, vennero revisionate tutte le coperture e restaurati le torri e i merli. Il castello eporediese, proprietà dello Stato e in concessione al Comune dal 1994, offre oggi una suggestiva atmosfera che, da un lato riporta al tempo del Conte Verde e del Conte Rosso, dall'altra per le celle buie e scomode e fa pensare alla dura vita dei prigionieri di un tempo.