Situato poco distante dal National Mall, vicino all'Air & Space museum e al Museo degli Indiani d'America lo Smitonian Caste rappresenta il cuore museale cittadino. Dalle sue forme è facile intuire che si tratta del più antico edificio dello Smithsonian, progettato dall'architetto James Renwic Jr. Costruito in pietra rossa proveniente dal Maryland, le sue forme lo fanno assomigliare ad un castello normanno da qui il nome "Castle". L'edificazione del palazzo iniziò nel 1847 e terminò nel 1855 sotto la direzione di Gilbert Cameron. Sfortunatamente nel 1865 un rovinoso incendio danneggiò gravemente il piano superiore del palazzo distruggendo completamente una parte di archivio, una sala di lettura e alcune parti della biblioteca. Dal 1977 l'edificio è stato dichiarato Historic Landmark.  Oggi lo Smithsonian Castel è il centro amministrativo dell'intero polo museale, al suo interno si trova anche il centro visitatori.