1387 m. Jogaila, po Lietuvos krikšto įsteigęs Vilniaus vyskupiją, dovanojo vyskupams savo buvusius rezidencinius rūmus, stovėjusius į pietryčius nuo anksčiau aprašyto Žemutinės pilies bastiono ir sudariusius su juo vieningą gynybinę sistemą. Greičiausiai šiuose rūmuose rezidavo ne vien Jogaila, bet ir jo tėvas didysis kunigaikštis Algirdas 1345 – 1377 m. Gretasienio formos, dviejų aukštų rūmai turėjo kampuose po apvalų bokštą su suktiniais laiptais viduje. Ilgojoje šoninėje sienoje buvo keturios sąramos, viršuje pastogėje užbaigtos skliaustomis pusapskritėmis arkomis, o antrame aukšte turėjusios porinius langus. Viduje pastato erdvė buvo išilgai padalyta į dvi dalis – platų koridorių vienoje pusėje ir sales bei kambarius kitoje. Vilniaus vyskupai šiais rūmais naudojosi iki 1536 m., o vėliau, gavę Goštautų rūmus, perleido šiuos didžiajam kunigaikščiui, kuris juose apgyvendino pilies įgulos kareivius. 1545 m. F. Hogenbergo plane rūmai pažymėti Nr. 10 ir pavadinti „drabantų“ (sargybinių) namais.