Posto a 4 chilometri dalla città di Fussen e a soli 2 chilometri dal castello di Newschwanstein l'edificio venne edificato nel XII secolo con le fattezze di una fortezza medioevale dai Cavalieri di Schwangau. Nonostante appartenga al circuito dei castelli di Ludwig II è l'unico castello che non fu costruito da re ma da suo padre Maximilian II, il quale durante una battuta di caccia venne colpito dalla bellezza di questi luoghi decidendo così di acquistare i resti dell'antica fortezza e di trasformarli in una sontuosa residenza di svago. I lavori di riedificazione vennero affidati allo scenografo Domenico Quaglio che rifece il castello un puro stile neogotico. Fu proprio in questo castello che Ludwig trascorse gran parte della sua infanzia e della sua giovinezze e, fu sempre qui che incontrò per la prima volta il compositore Richard Wagner, che proprio nelle sontuose sale di questo castello amava esibirsi per la famiglia reale.

Dal 1928 il castello è di proprietà della famiglia Wilttelsbacher Ausgleichsfonds che, dopo lunghi lavori di restauro, ha deciso di riaprirlo al pubblico. Di articolare bellezza sono la Sala degli Eroi, la camera da letto della regina Maria, madre di Ludwig, la sala del Tasso e la Sala Berchta. Da notare gli arredi del XIX secolo in stile Biedermeier

Il castello è raggiungibile a piedi dal castello di Newschwanstein oppure con carrozze o bus navetta che partono dai parcheggi del centro visitatori di Schwangau. Per la visita vale la stessa procedura della visita al castello di Newschwanstein, volendo è possibile acquistare un biglietto cumulativo dei due castelli + museo.