Шишков говорит, что «Хвостов соединял в душе своей две противности: кротость агнца и пылкость льва», Давыдов же, по его словам, «нравом вспыльчивее и горячее Хвостова, но уступал ему в твердости и мужестве».
Кротость агнца, однако, не помешала Хвостову в 1806 г. уничтожить японские магазины и взять в плен четырех японцев в Южном Сахалине на берегу Анивы, а в 1807 г. он вместе со своим другом Давыдовым разгромил японские фактории на Курильских островах и еще раз поразбойничал на Южном Сахалине.
Под ним висели иконы, или, точнее сказать, картины религиозного содержания: Христос в терновом венке, несущий крест с подписью: «nostra salus» (наше спасение); Иоанн Креститель с агнцем и подписью: «delet peccata» (вземляй грехи мира) и Магдалина в пустыне с подписью: «poenitentia» (покаяние).