Когда Василия Голицына, по
проискам врагов, в числе которых был Троекуров, сослали и секвестровали его имущество, Петр I подарил его дом грузинскому царевичу, потомки которого уже не жили в доме, а сдавали его внаем под торговые здания. В 1871 году дом был продан какому-то купцу. Дворец превратился в трущобу.