После войны 1812 года, как только стали возвращаться в Москву москвичи и начали разыскивать свое разграбленное имущество, генерал-губернатор Растопчин издал приказ, в котором объявил, что «все вещи, откуда бы они взяты ни были, являются неотъемлемой собственностью того, кто в данный момент ими владеет, и что всякий владелец может их продавать, но только один раз в неделю, в воскресенье, в одном только месте, а именно на площади против Сухаревской башни».
В преклонных годах умер Смолин бездетным. Пережила его только черепаха. При описи имущества, которое в то время, конечно, не все в опись попало, найдено было в его спальне два ведра золотых и серебряных часов, цепочек и портсигаров.
«Иваны», являясь с награбленным имуществом, с огромными узлами, а иногда с возом разного скарба на отбитой у проезжего лошади, дожидались утра и тащили добычу в лавочки Старой и Новой площади, открывавшиеся с рассветом. Ночью к этим лавочкам подойти было нельзя, так как они охранялись огромными цепными собаками. И целые возы пропадали бесследно в этих лавочках, пристроенных к стене, где имелись такие тайники, которых в темных подвалах и отыскать было нельзя.
Когда Василия Голицына, по проискам врагов, в числе которых был Троекуров, сослали и секвестровали его имущество, Петр I подарил его дом грузинскому царевичу, потомки которого уже не жили в доме, а сдавали его внаем под торговые здания. В 1871 году дом был продан какому-то купцу. Дворец превратился в трущобу.
Доложили барыне, и на другой день «по старой Калужской дороге», вслед за каретой шестеркой и тройкой немца-управляющего, потянулись телеги с имуществом и семьями крепостных.
В 1876 году здесь жил, еще будучи маленьким актером Малого театра, М. В. Лентовский: бедный номеришко, на четвертом этаже, маленькие два окна, почти наравне с полом, выходившие во двор, а имущества всего — одно пальтишко, гитара и пустые бутылки.