Il grandioso palazzo, che si affaccia direttamente sul Canal Grande, venne progettato nel seicento dall'architetto Baldassarre Longhena su commissione della famiglia Pesaro, cui deve il nome. Dopo vari passaggi di proprietà il palazzo entrò a far parte dei possedimenti della contessa Felicita Bevilacqua che lo destinò a Galleria d'Arte. Da notare la splendida facciata ornata da archi a tutto sesto divise da colonne con bassorilievi e,il candore della pietra d'Istria con il quale è stato costruito. Di particolare importanza la Galleria Internazionale di Arte Moderna, prima ad essere aperta in Italia nel 1897, che ospita al suo interno opere di pittura, scultura e grafica italiane e straniere. Le opere vanno dalla fine dell'800 fino ai giorni nostri ed appartengono ad artisti come: Morando, Boccioni, Savinio, De Chirico, Sironi, Mirò, Chagall, Kandinskj, Paul Klee, Cascella, Pomodoro e Calder.
All'interno del palazzo è ospitato anche il Museo di Arte Orientale con una delle più importanti raccolte di opere giapponesi che vanno dagli inizi del 1600 a metà del 1800, ad esse si affiancano oggetti provenienti dalla Cina in particolare vasi di porcellana e giade. Provengono invece dall'Indonesia la collezione di armi, di stoffe e figure del teatro delle ombre.