Po raz pierwszy w źródłach obiekt pojawił się w 1535 r. Murowany już wówczas dom został w tym właśnie roku sprzedany, przez właściciela Wojciecha Listossa z Łęcznej, Janowi Górskiemu. W 1830 r., Józef Potocki, który kupił plac w 1824 r., rozpoczął budowę stajni wraz z powozownią. Po śmierci Józefa, nieruchomość odziedziczyli jego potomkowie, którzy sprzedali ją Samuelowi Baczyńskiemu. Przed 1871 r., w miejscu rozebranych budynków gospodarczych, wzniesiony został nowy dom murowany, niewielki i zaledwie parterowy. W 1954 r. przeprowadzono remont, który skupił się jednak na odnowieniu elewacji i przyozdobieniu jej dekoracją sgraffitową autorstwa Majchrzaka i Truchowskiego. Dopiero w 1961 r. podjęto szersze prace renowacyjne, na krótki czas ratując podupadający obiekt. Kolejne remonty miały miejsce pod koniec lat siedemdziesiątych.
Od 2001 r. w budynku mieści się Muzeum Literackie im. Józefa Czechowicza.