Старец Иосиф был из чухломских бар, дворянского роду Горталовых, за ним в Чухломском уезде три ревизские души состояло, две души умерло, третья вместе с барином в обители проживала и над барином своим начальствовала, потому что инок Галактион, по-мирскому Егорка Данилов, крепостной господина Горталова крестьянин, игуменствовал в
обедневшей и совсем почти запустевшей мужской Улангерской обители, а старец Иосиф Горталов был при нем рядовым иноком.