Сын графа Мартына Карловича Скавронского, генерал-аншефа, обергофмейстера и андреевского кавалера времен Елизаветы, и баронессы Марии Николаевны Строгановой, богатейшей женщины тогдашней России, граф Павел Мартынович от отца и матери получил два громадных миллионных состояния.