Когда в следующем 1796 году
великий князь Павел Петрович, сделавшись уже императором, подарил возведенному им в баронское, а затем графское достоинство и осыпанному другими милостями Аракчееву село Грузино с 2500 душами крестьян, Алексей Андреевич переехал туда на жительство вместе с Настасьей Федоровной и последняя сделалась в нем полновластной хозяйкой, пользуясь неограниченным доверием имевшего мало свободного времени, вследствие порученных ему государственных дел, всесильного графа, правой руки молодого государя, занятого в то время коренными и быстрыми преобразованиями в русской
армии.
Великий князь Николай Павлович одобрил это решение своего брата Михаила и даже отправил к нему генерала Толля, начальника главного штаба первой
армии, главная квартира которой находилась в Могилеве на Днестре, прибывшего в столицу с тайным поручением к новому императору от главнокомандующего этой
армией, графа Сакена, выразив ему желание, чтобы он оставался в Неннале с
великим князем, под предлогом, что они ожидают императора.