После 1812 года дворец Хераскова перешел во владение графа Разумовского, который и пристроил два
боковых крыла, сделавших еще более грандиозным это красивое здание на Тверской. Самый же дворец с его роскошными залами, где среди мраморных колонн собирался цвет просвещеннейших людей тогдашней России, остался в полной неприкосновенности, и в 1831 году в нем поселился Английский клуб.
При М. М. Хераскове была только одна часть, средняя, дворца, где колонны и
боковые крылья, а может быть, фронтон с колоннами и ворота со львами были сооружены после 1812 года Разумовским, которому Херасковы продали имение после смерти поэта в 1807 году. Во время пожара 1812 года он уцелел, вероятно, только благодаря густому парку. Если сейчас войти на чердак пристроек, то на стенах главного корпуса видны уцелевшие лепные украшения бывших наружных боковых стен.