Этот самый Остерман, в свою очередь обогащенный деревнями и деньгами, вице-канцлер, граф, умевший удержать за собою, как бы по наследству, доверие и милости двух императоров, двух императриц, одного правителя, одной правительницы и, что еще труднее, трех временщиков, русских и нерусских, составлял в царствование Анны Иоанновны между соперничествующими партиями перевесное лицо.
За малолетством Иоанна делами царства начала править мать его, Елена. Братья Василия Иоанновича, Юрий и Андрей, вздумали было воспользоваться малолетством своего племянника, великого князя, и завладеть троном, но их замыслы были обнаружены правительницей и они оба были лишены за это свободы.
В государственные дела он не вмешивался, но при правительнице Анне Леопольдовне против воли принял участие в важнейших делах. Когда императрица Елизавета вступила на престол, в тот же день Левенвольдт был заключен в крепость и предан суду. Суд этот продолжался несколько лет. Его приговорили к смертной казни, а императрица смягчила наказание, заменив казнь ссылкою в Сибирь, с лишением чинов, орденов и дворянства.