I. (Nagy) Lajos volt az első király, aki 1354-ben Visegrádról Budára helyezte át udvartartását. Zsigmond király a XV. század elején tovább bővítette a várat, a középkori palota, a trónterem, a királyi lakosztály, a csillagvizsgáló és a könyvtár építését pedig Mátyás király fejezte be.
