Didžiojo kunigaikščio rūmai, stovėję tarp Pilies kalno ir Katedros, sudarė netaisyklingą keturkampį su uždaru vidaus kiemu. Rūmų kompleksas buvo iš keturių korpusų : pietinio, vakarinio, šiaurinio ir rytinio. Pro neužstatytą šio keturkampio šiaurės rytų kampą buvo galima laisvai praeiti į ūkinį dvaro kiemą. Rūmų korpusai statyti ne vienu metu. Remiantis istoriniais duomenimis, datomis, sudėtingu pačių korpusų išplanavimu, stilinėmis architektūrinių detalių (langų, portalų, atikų ir pan.) ypatybėmis, galima pamėginti rekonstruoti rūmų statybos chronologiją ir eigą. Kur buvo kunigaikščio rezidencija Vytauto, Žygimanto Kęstutaičio bei Kazimiero Jogailaičio laikais, nežinoma. Sunku pasakyti, ar ji buvo toje pačioje vietoje, ar kunigaikščiams pakako Aukštutinės pilies rūmų. Viena aišku, kad kunigaikščiai labiau mėgo gyventi Trakų ar Medininkų pilyse. O štai Aleksandras Jogailaitis (1492 – 1506) gyveno daugiausia Vilniuje ir savo valdymo pradžioje pasistatė čia nuolatinę rezidenciją, kurią sudarė trys apatiniai pietinio korpuso aukštai. 1496 m. Aleksandras vedė Maskvos didžiojo kunigaikščio Ivano III dukterį Eleną ir įrengė jai ir jos rusiškam dvarui rezidenciją rytiniame rūmų korpuse. Kunigaikštienei Elenai jos turimos patalpos pasirodė per ankštos, ir ji 1504 m. nupirko iš kanauninko Pilypavičiaus gretimą sklypą su rūsiu už 90 kapų ir praplėtė savo rezidenciją į šiaurę. Elena šiuose rūmuose gyveno iki mirties, t.y. iki 1513 m.