Podstatnou část sbírky zakoupil v roce 1650 císař Ferdinand III. v Antverpách jako náhradu za rudolfínské sbírky uloupené Švédy. V 18. století byly přivezeny z Vídně do Prahy některé obrazy arcivévody Leopolda Viléma. Díla českého baroka a 19. století byla zakoupena po první světové válce z Masarykova národního fondu a v roce 1965 byla sbírka obohacena o další akvizice.
V osudech hradní obrazárny se odrážejí pohnuté dějiny střední Evropy: proslulá galerie Rudolfa II. se stala válečnou kořistí, nová habsburská sbírka byla z prostor Pražského hradu vystěhována nebo rozprodána, cenná plátna posloužila jako běžná dekorace. Nejkvalitnější díla z historického souboru s obrazy z nových nákupů byla teprve v polovině 20. století odborně zhodnocena.