Айтрекинг в психологической науке и практике
Коллективная монография, подготовленная ведущими отечественными специалистами, посвящена обсуждению комплекса вопросов об измерении направленности взора человека и их использовании в науке и практике. По своей направленности данный труд является междисциплинарным изданием. В книге представлены работы психологов, нейрофизиологов, медиков, лингвистов, инженеров, программистов и других специалистов. Главные темы, которые затрагиваются в этом издании: связь окуломоторной активности, (нейрофизиологических и психических процессов и состояний, функциональные характеристики окуломоторной активности, современные методики регистрации движений глаз, перспективы разработки отечественных аппаратурно-программных комплексов для регистрации движений глаз, алгоритмы детекции разных видов движений глаз, возможности использования айтрекинга в фундаментальных и прикладных исследованиях и другие. Книга ориентирована на специалистов из различных областей научного знания и практики, интересующихся вопросами об измерении направленности взора человека.
Оглавление
- Предисловие
- Раздел I. Методы и технологии регистрации окуломоторной активности человека
* * *
Приведённый ознакомительный фрагмент книги Айтрекинг в психологической науке и практике предоставлен нашим книжным партнёром — компанией ЛитРес.
Купить и скачать полную версию книги в форматах FB2, ePub, MOBI, TXT, HTML, RTF и других
Раздел I
Методы и технологии регистрации окуломоторной активности человека
Окуломоторная активность человека как предмет и метод психологического исследования[1]
В. А. Барабанщиков
Окуломоторная активность является необходимым компонентом психических процессов, связанных с получением, преобразованием и использованием зрительной информации, а также состояний, деятельности и общения человека. Поэтому, регистрируя и анализируя движения глаз, исследователь получает доступ к скрытым (внутренним) формам активности, которые обычно протекают в свернутой форме, исключительно быстро и неосознанно. Как показывают исследования, по характеру движений глаз можно определить:
— направленность взора и динамику оперативного поля зрения воспринимающего;
— стратегии прослеживания движущихся объектов и маршруты сканирования воспринимаемых сцен;
— информационную сложность объекта и точность фиксации его элементов;
— зоны поиска и «проигрывания» вариантов решения наглядно-действенных задач;
— структурные единицы деятельности и уровень сформированности познавательных действий;
— состояния сознания;
— уровень развития зрительных функций на разных стадиях онтогенеза;
— эффективность решения оперативных задач и/или исполнения отдельных этапов практической деятельности;
— деструкции познавательных процессов человека и др.
В отличие от самоотчета или внешнего наблюдения за движениями глаз, окулография — регистрация окуломоторной активности — дает не только непрерывную, достоверную, детализированную, но и качественно иную информацию об изучаемых явлениях. Это один из наиболее чувствительных индикаторов динамики познавательных процессов, функциональных состояний и форм взаимодействия человека с окружающим миром.
Несмотря на кажущуюся простоту и однозначность, связь психических явлений с окуломоторной активностью является исключительно сложной, многократно опосредствованной и изменчивой. Ее содержание составляет самостоятельную проблему исследования, которая выступает как комплексная, объединяющая представителей разных специальностей (психологов, физиологов, инженеров, программистов, оптиков, медиков и искусствоведов), а ее разработка поддерживается не только потребностями фундаментального знания, но и запросами практики: эргономики, офтальмологии, психиатрии, радиологии, инженерной психологии, маркетинга, рекламы и др. По своему научно-практическому потенциалу это «точка роста» нового знания и исследовательских технологий.
Современное состояние проблемы характеризуется многообразием изучаемых явлений (их сторон, планов, измерений) и неравномерностью их проработки. Большое внимание уделяется анализу движений глаз в процессах поиска, обнаружения, опознания и прослеживания значимого элемента среды, рассматривания сюжетных изображений, выполнения сложных зрительных и интеллектуальных задач. Наиболее частым предметом исследования оказываются макросаккады и дрейф либо прослеживающие движения — они исследованы достаточно полно; хуже изучены тремор, вергентные и торзионные движения. В качестве контролируемых параметров обычно выступают относительная позиция глаза в орбите, последовательность (маршруты) и продолжительность зрительных фиксаций; амплитуда, частота и латентный период саккад; векторная скорость и амплитуда дрейфа и плавных прослеживаний; частота, амплитуда и направление различных форм нистагма, причем в каждом отдельном исследовании оценивается не более двух-трех параметров. Многомерное, или «объемное», описание окуломоторной активности, включающее все или большинство видов движений глаз, остается недостижимой мечтой. Наконец, фрагментарен контингент испытуемых, который составляют нормальные взрослые (в основном от 18 до 60 лет), дети (от двухнедельного возраста), а также больные с нарушением окуломоторной активности различного анамнеза.
Функциональная организация окуломоторной активности несет отпечаток многообразия ее связей и отношений и в зависимости от контекста исследования становится индикатором разных аспектов психических процессов, состояний, деятельности либо общения. В плане субъект-объектного взаимодействия, например, стратегия и тактика решения наглядно-действенных задач, выработка или восстановление перцептивного навыка; в плане внутренних условий — структура взаимодействия мотивационного, диспозиционного, когнитивного и исполнительного компонентов познавательного процесса; в плане зрительного образа — динамика стадий и фаз его осуществления. Соответственно, эффективность метода регистрации движений глаз как индикатора психических явлений зависит от того, насколько полно в конкретном исследовании учитывается вся совокупность их связей и опосредствовании.
Длительное время окуломоторная активность изучалась поэлементно, на уровне отдельно взятых движений (саккад, плавных прослеживаний и т. п.). Каждое движение рассматривалось как ответ на простейший стимул (локализацию точечного элемента в зрительном поле, его перемещение относительно наблюдателя и т. п.), связывалось с наличием самостоятельного исполнительного механизма и непосредственно соотносилось с процессами познания, прежде всего зрительного восприятия, внимания и деятельности. Предполагалось, что знание закономерностей элементарных движений глаз достаточно для интерпретации сложных или составных форм окуломоторной активности.
На первых порах подобные представления оправдывались, стимулируя быстрое накопление эмпирических знаний. За сравнительно короткий срок были описаны простейшие виды окуломоторной активности и их детерминанты (Ярбус, 1965; Леушина, 1971; Alpern, 1972; Ditchburn, 1973), высказаны гипотезы о механизмах регуляции элементарных движений глаз (Шахнович, 1965; Robinson, 1964,1965), исследовано развитие окуломоторики в фило — и онтогенезе (Гатев, 1973; Walls, 1962), получены важные сведения о характере движений глаз в процессах поиска, обнаружения, опознания и оценки объектов (Леушина, 1966; Зинченко, 1967; Гиппенрейтер, 1978); выявлен ряд окуломоторных феноменов зрительного восприятия (Festinger, Canon, 1965; Festinger, Easton, 1974), прослежены связи элементарных движений глаз с перемещениями головы, рук, локомоциями (Bizzi, 1974; Ebenholtz, Shebilske, 1975; Gauthier, Hofferer, 1976) и др.
Co временем темпы разработки проблемы замедлились, обнажив ограниченность используемых представлений там, где основным предметом исследования оказывается конкретный познавательный процесс, деятельность либо общение человека. Принимаемые допущения выглядят здесь излишне упрощенными и порой неадекватными. Так, нередко малоамплитудный дрейф отождествляется с устойчивой фиксацией, обеспечивающей съем полезной зрительной информации, а саккада — с поворотом глаз, меняющим предмет восприятия. «Спроецировав» окулограмму на поверхность воспринимаемого объекта (напр., приборную панель или текстовый материал), казалось бы, без труда можно определить, что выделяет наблюдатель (что его интересует), в течение какого времени и в какой последовательности. Однако результат подобного анализа далеко не всегда соответствует действительности.
Фиксационный поворот глаз может состоять не из одной, а из нескольких макросаккад, число которых зависит от локализации предмета восприятия (Гуревич, 1971). Возможно появление экспресс-саккады, которая не связана с глубокими (предметно-смысловыми) слоями переработки зрительной информации (Fischer, 1987). Наряду с обслуживанием когнитивных функций, саккады способны корректировать направление глаз, достигнутое в результате предшествующей фиксации (Becker, Jurgens, 1979), возвращать его в позицию покоя (Bender, 1955), «дробить» непрерывный поток зрительных афферентаций на отдельные порции (Филин, 1975) и т. п. Наконец, как макро-, так и микродвижения глаз поддаются произвольному контролю и могут не только инициироваться, но и подавляться наблюдателем (Steinman, 1976). Не меньше вопросов порождает и малоамплитудный дрейфа, который сам по себе не указывает на действительный предмет восприятия. В силу многоканальности зрительного «входа», обеспечивающего симультанное отображение элементов среды разных угловых размеров в различных частях зрительного поля, направленность взора чаще всего оказывается многозначной, а ее отношение к потенциальным предметам восприятия требует дополнительных подтверждений.
Альтернативный путь разработки проблемы связан с изучением целостных окуломоторных образований (структур), выражающих более высокий уровень организации движений глаз. Влияние этого уровня (он исследован в значительно меньшей степени) обнаруживается, например, в программировании паттернов сканирования (Zingale, Kowler, 1985), которые не сводятся к сумме отдельных дрейфов и саккад; каждое из выполняемых движений может быть понято лишь в рамках всего паттерна в целом. Не случайно, несмотря на большой разброс отдельных значений, суммарная длительность фиксаций, сопровождающих чтение слов, остается примерно одинаковой (O'Regan, 1986). В отличие от элементарных движений глаз окуломоторные структуры содержательно включены в процесс зрительного восприятия и имеют собственные закономерности организации (Барабанщиков, 1997; Stark, Ellis, 1981).
В рамках данного подхода окуломоторный акт выражает не просто ответ на проксимальный стимул. Это активность субъекта восприятия, которая направляется как прошлым и настоящим, так и будущим: определенными намерениями, целями, планами или программами. За направленностью взора скрывается уникальная позиция наблюдателя, благодаря которой целенаправленный поворот оказывается столь же пристрастным, сколь пристрастно самое чувственное восприятие действительности. Через отношение к субъекту глазодвигательная активность становится предметом психологического исследования, а ее регистрация — методом изучения психических процессов, состояний, деятельности и общения людей. Отмечаемые в литературе функции движений глаз, такие как гностическая, исполнительная, измерительная, контролирующая и др. (Запорожец и др., 1967; Зинченко, Вергилес, 1969), являются характеристиками субъекта восприятия (содержанием того, что он делает в данный отрезок времени), перенесенными на средства его взаимодействия с объектом; с точки зрения механизма выполнения окуломоторного акта они, конечно, искусственны (Андреева и др., 1975; Гиппенрейтер, 1978).
Методический смысл отнесенности движений глаз к субъекту восприятия состоит в возможности расчленять поток окуломоторной активности на целостные, относительно самостоятельные единицы и внутренне сопоставлять их с динамикой познавательных процессов, состояний человека, форм его деятельности и общения. Через отнесенность к субъекту раскрывается механизм произвольного контроля движений глаз и управления взором наблюдателя, а также индивидуально-психологическая стилистика познавательных процессов.
Окуломоторное целое (структура) обеспечивается интеграцией (прилаженностью друг к другу) эфферентных и афферентных процессов, развертывающихся в центральной нервной системе. Хотя двигательная цель или намерение реализуются в виде последовательности окуломоторных команд, сами по себе они недостаточны: слишком разнообразен и непредсказуем расклад сил, действующих на глазное яблоко. Решающая роль в построении окуломоторного акта принадлежит обратной афферентации (зрительной, проприоцептивной, вестибулярной), которая информирует заинтересованные инстанции ЦНС об эффективности выполняемых движений: отношение прогнозируемой и актуальной направленности глаз. За тем или иным окуломоторным феноменом всегда стоят особенности управления, или способ функционирования глазодвигательной системы.
Информационное содержание афферентации, задействованных в осуществлении окуломоторных структур, весьма разнообразно. Оно включает совокупность пространственно-временных характеристик среды, текущее положение глаз в глазнице, наклоны головы, положение или перемещение наблюдателя и многое другое. Нетрудно допустить, что афферентные потоки, организующие окуломоторную активность и питающие зрительные впечатления, в значительной степени совпадают или, по крайней мере, тесно взаимосвязаны. Есть основания полагать, что информация о пространственно-временных отношениях среды, заключенная в двигательных командах, входит в содержание зрительного образа (Festinger, Canon, 1965; Coren, 1986). Влияние на зрительный процесс проприоцепции экстраокулярных мышц не раз демонстрировалось экспериментально (Shebilske, 1978; Steinbach, 1987). Однако до сих пор и вопросы о роли движений глаз в зрительном восприятии (познавательных процессах вообще), и о перцептивной (когнитивной) регуляции самих движений остаются открытыми. В конечном счете они упираются в знание принципов зрительно-окуломоторной интеграции, которые пока сформулированы в самом общем виде.
Наконец, целенаправленная окуломоторная активность открывается исследователю как конфигурация (паттерн), образованная на основе элементарных генетически заданных движений — саккад и дрейфов. Типичными примерами могут служить оптокинетический нистагм (Курашвили, Бабияк, 1975), п-образные движения во время фиксации точечного источника света (Карпов и др., 1982), синусоидальные колебания глаз у пациентов с локальными нарушениями центральной нервной системы (Dell'Osso et al., 1974), регулярные паттерны движений глаз, сопровождающие процессы чтения и рассматривания сложных изображений (Ярбус, 1965; Нотон, Старк, 1974; Rayner, 1992, 1998). Несмотря на широкую вариативность двигательных элементов (изменения амплитуды, направления, латентного периода саккад, скорости, ускорения, амплитуды и направления дрейфа или прослеживающих движений), характер их отношений остается неизменным, а окуломоторное целое несводимо к сумме своих частей.
Способы включения глазодвигательной активности в процесс взаимодействия наблюдателя (субъекта восприятия) со средой (объектом), механизмы зрительно-окуломоторной интеграции, которая складывается для выполнения конкретной зрительной или двигательной задачи, и соответствующая ей устойчивая конфигурация (паттерн) собственно движений глаз характеризуют разные уровни организации и функционирования окуломоторных структур, без анализа которых окулография сама по себе оказывается малоэффективной.
Типичным примером и репрезентативной моделью окуломоторных структур восприятия является целенаправленный фиксационный поворот глаз (Барабанщиков, 1997, 2002). Нередко, особенно в психологических работах, фиксационный поворот рассматривают абстрактно — как двигательный автоматизм, характеристики которого определяются особенностями воспринимаемого объекта. В действительности же он формируется в ходе онтогенеза, имеет собственную организацию и подчиняется не только внешним, сколько внутренним детерминантам, к которым относятся прогнозирование конечного и/или промежуточного результата, способ управления движениями глаз, ведущий уровень, на котором они строятся, сопряженность окуломоторики с другими двигательными актами и т. п. Действие внешних детерминант фиксационного поворота глаз опосредствовано констелляцией его внутренних условий. Без их учета анализ окулограмм оказывается неполным или недостаточно корректным. Чаще всего именно внутренние условия являются источником дисперсии амплитуды саккад, нелинейности и ограниченности влияния внешних детерминант, продолжительности и амплитуды дрейфов, состава поворотов глаз и др. Согласно исследованиям, фиксационный поворот глаз представляет собой целостный поведенческий акт, реализующий познавательное либо коммуникативное отношение индивида к среде. Его результатом становится новое, относительно устойчивое направление взора, которое обеспечивает оптимальные условия восприятия значимого элемента или отношения среды. Этому направлению соответствует локализация (или тенденция локализации) проекции объекта в центральной области сетчатки. Визуальная данность субъекту значимых свойств действительности оказывается здесь и побуждением, и полезным эффектом движения, и условием его завершения. Как и любой поведенческий акт, фиксационный поворот имеет сложную архитектуру, которая неплохо описывается в понятиях теории функциональных систем (Барабанщиков, 1997; 2002).
В рамках психологического исследования вертикальная организация целенаправленных движений глаз может быть представлена в виде иерархии окуломоторных событий трех уровней.
Уровень интенции и произвольного контроля движений выражает отнесенность окуломоторной активности к субъекту восприятия (наблюдателю). Здесь складываются намерение и «первичный проект» движений, «сформулированные» на языке зрительно данных предметных отношений действительности: куда смотреть, на что обратить внимание, что контролировать, в какой последовательности, как долго и т. п. «Первичный проект» непосредственно увязан со схемой ситуации и планом выполняемого наблюдателем действия и соотносится с системой координат внешнего пространства (среды). На этом уровне ставятся или принимаются зрительные (окуломоторные) задачи и осуществляется произвольный контроль за их исполнением.
На уровне механизмов организации движений «первичный проект» переводится в цепочки исполнительных команд и критерии адекватности их выполнения. События этого уровня описываются на языке информационных потоков, или эфферентно-афферентных процессов в глазодвигательной системе (ГДС), соотнесенных с ретинальной и окуломоторной системами координат. Здесь учитываются либо устанавливаются взаимосвязи окуломоторики с другими двигательными актами (поворотами головы, локомоциями и т. п.).
Уровень феноменов движений характеризует способ выполнения поворота глаз. Здесь доминирует язык моторных единиц, сокращений и растяжений экстраокулярных мышц, развертывается действие активных и реактивных сил, влияющих на глазное яблоко и т. п. Выполняемые движения соотносимы как с внешней, так и с ретинальной (окуломоторной) системами координат.
Хотя содержание, функции и язык событий каждого из уровней существенно отличаются друг от друга, они подчинены выполнению общей задачи и выступают как одно целое.
Целостный взгляд на природу окуломоторной активности
Накопленные наукой эмпирические данные (Андреева, Вергилес, Ломов, 1975; Барабанщиков, 1990, 1997, 2002, 2011, 2012, 2015; Барабанщиков, Белопольский, Вергилес, 1980; Барабанщиков, Белопольский, 2008; Барабанщиков, Жегалло, 2013, 2014; Барабанщиков, Жердев, 2014; Белопольский, 2007; Владимиров, Хомская, 1981; Гиппенрейтер, 1978; Гуревич, 1971; Зинченко, Вергилес, 1969; Моторные компоненты зрения, 1975; Филин, 2002; Ярбус, 1965; Bachy-Rita, Collins, 1971; Bizzi, 1974; Ditchburn, 1973; Duchowski, 2003; Engbert, 2006; Findlay, Gilhrist, 2005; Fisher, Monty, Senders, 1981; Gale, Johnson, 1984; Groner, Menz, Fisher, Monty, 1983, Holmqvistet al., 2011; Monty, Senders, 1976; Rayner, 1992; van Gopel, Fisher, Murray, Hill, 2007; Underwood, 1998; Wong, 2008) позволяют наметить целостное представление о природе окуломоторной активности человека в процессах познания, деятельности и общения.
Прежде всего, необходимо отметить тот факт, что в рамках психологического анализа движения глаз соотносятся с человеком как субъектом жизни и включены в систему его взаимосвязей с миром. Уже это свидетельствует о многомерности и иерархической организации окуломоторной активности. Одна и та же направленность взора может указывать одновременно на 1) содержание (предмет) восприятия; 2) способ выполнения решаемой задачи; 3) область интереса наблюдателя; 4) его состояние; 5) характер выполняемых действий; 6) индивидуально-психологические особенности глазодвигательной системы и др. Для того чтобы разобраться в клубке взаимосвязей, необходимо выделить интересующее измерение либо путем конструирования подходящей ситуации, либо введением дополнительных методических средств, снижающих исходную многозначность.
Иерархическая организация окуломоторной активности означает ее многоуровневость и, следовательно, несводимость к отдельным видам движений (саккадам, дрейфам, прослеживанию и др.) и их характеристикам. При изучении познавательных процессов, деятельности и общения людей единицами анализа становятся окуломоторные структуры — устойчивые конфигурации, или паттерны движений глаз, обладающие, по сравнению с окуломоторными примитивами, новыми свойствами. Они соотносятся как с объектом, так и с субъектом восприятия, что позволяет вводить собственно психологический план анализа и презентирует окуломоторную активность как целостный поведенческий акт. Та или иная направленность взора характеризует не столько ответ организма на события среды, сколько целенаправленное действие наблюдателя, обеспеченное функциональной интеграцией афферентных и эфферентных сигналов в ГДС.
Обращение к окуломоторным структурам предполагает целостный взгляд на природу перцептивного процесса. В центре внимания оказывается не отдельное явление (сторона, аспект, момент) восприятия и не восприятия вообще (абстрактно-всеобщая форма), а конкретное событие жизни человека, реализующее его познавательное отношение к среде. Взаимосвязь субъекта и объекта восприятия выражает единство разных сторон одного и того же целого, имеет собственный онтологический статус, внутренне дифференцирована, развернута в пространстве и времени, включено в цепь других событий. Раскрывая закономерности окуломоторных структур, исследователь получает возможность реконструировать способ организации перцептивного процесса в целом.
С точки зрения системной парадигмы обращение только к идиомам, указывающим на связь движений глаз с процессом зрительного внимания: «Где» (Г. Гельмгольц) и «Что» (У. Джемс), — явно недостаточно. В силу анизотропности сетчатки фиксационные повороты действительно инициируются парафовеально — отдельными областями зрительного поля, имеющими сравнительно низкую различительную чувствительность, а их фовеализация (фиксация предмета) позволяет собирать ясную и отчетливую информацию об интересующем объекте или событии. Но существуют и другие причины, влияющие на окуломоторную активность и определяющие ее характер, в том числе и самую возможность выполнения целенаправленных поворотов глаз и распределения фиксаций.
Важнейшим фактором, обусловливающим характеристики движений глаз, является задача, решаемая наблюдателем. Любая среда, в которой оказывается человек, информационно избыточна. Где, что и как будет воспринято, определяется целью, данной в определенных условиях. Задача, стоящая перед наблюдателем, структурирует наличную ситуацию, вносит значимость (информативность) элементов среды, определяет существенные и несущественные отношения. Направленность движения взора обеспечивают адекватные условия восприятия. Зная, куда направлен взор, как долго, какова траектория (маршрут) движения и т. п., можно реконструировать психологическую структуру ситуации и динамику решения зрительной задачи. Данное обстоятельство, собственно, и является основанием использования окулографии в качестве метода психологического исследования. За каждой устойчивой фиксацией просматриваются меняющиеся установки и отношения субъекта восприятия, его интерес к объекту, величина и длительность когнитивной нагрузки и другие психологические характеристики.
Очевидно, что с изменением цели и условий деятельности человека рисунок окуломоторной активности меняется. При этом меняется не только содержание значимых элементов (где и что воспринимается), но и требования к их восприятию (как воспринимать, насколько точно или дифференцированно). С последним связано понятие функционального поля зрения, величина которого в ходе перцептивного процесса перманентно меняется. В силу многоканальности зрительной системы одной и той же направленности взора может соответствовать и элемент среды, на который он непосредственно ориентирован, и констелляция элементов, входящих в его окружение. Оценка предмета восприятия на основе местоположения точки фиксации перестает быть однозначной и требует использования дополнительных критериев. Вектор направленности взора может входить, а может не входить в границы функционального поля зрения либо находиться на его периферии. В любом случае образуется относительно самостоятельная область направленности глаз, обеспечивающая необходимое восприятие значимых элементов среды, — оперативная зона фиксаций, которая в зависимости от требований задачи легко меняет свою локализацию, форму и величину. Оперативная зона фиксаций комплексных объектов имеет неоднородное строение и включает 1) ядро, или «центр тяжести» — наиболее часто фиксируемые области предмета; 2) область менее интенсивных фоновых фиксаций, ограниченную поверхностью объекта; и 3) область разреженных фиксаций вне поверхности объекта (периферию). Расположение «центра тяжести» часто не совпадает ни с геометрическим центром поверхности объекта, ни с геометрическими центрами его компонентов. Возможно наличие нескольких «центров тяжести» одновременно. Фиксационный «центр тяжести» характеризуется следующими параметрами: локализацией, фронтом (формой) и интенсивностью. Его профиль, наряду с содержанием зрительной задачи, зависит от конфигурации поверхности объекта, его локализации в поле зрения и социокультурных навыков наблюдателя.
Таким образом, проблема соотношения направленности взора и расположения (зрительного направления) предмета восприятия трансформируется в проблему соотношения функционального поля зрения и оперативной зоны фиксации, закономерности которого требуют более внимательного исследования. На сегодняшний день описаны два крайних способа восприятия объекта: симультанный («амбьентный», «глобальный») и сукцессивный («фокальный», «локальный»). Первый обеспечивает общую ориентировку в объекте, когда взор направлен в область его геометрического центра, второй — получение более детальной информации о фрагментах (элементах) объекта, когда направленность взора локализуется в пределах сравнительно узкого участка поля зрения. Нетрудно предположить существование промежуточных, или переходных, способов восприятия, которые расширяют и конкретизируют картину перцептивно-окуломоторных отношений. Добавим, что выполнение человеком не зрительной, а интеллектуальной задачи (решение «в уме») сопровождается длительным дрейфом глаз, не связанным с содержанием и структурой окружающей среды.
При повторных решениях однотипных зрительных задач характер окуломоторной активности также меняется. С укрупнением оперативных единиц восприятия стратегия и тактика решения оптимизируются, а объем движений глаз сводится к минимуму. Благодаря этим тенденциям окулография является эффективным методом изучения и/или контроля за формированием зрительных (когнитивных) действий.
В число важных детерминант окуломоторной активности входят пространственно-временные свойства окружающей среды, локализация предмета в поле зрения, стадия или этап осуществления перцептивного процесса, социокультурный опыт наблюдателя и др.
Текущая позиция взора в значительной степени определяется конфигурацией объекта восприятия и его расположением в поле зрения. Целевые и фоновые стимулы визуально объединяются в фигуры, имеющие собственный «центр тяжести». Воздействие стимулов на параметры саккад асимметрично: чаще всего амплитуда первой саккады меньше расстояния до цели, а фиксационный поворот как целое включает несколько саккад, прерывающихся короткими фиксациями; с увеличением расстояния до цели количество дополнительных саккад возрастает. Субъективно систематическое отклонение взора от предмета восприятия, как и наличие сложных по структуре поворотов глаз, наблюдателями не замечаются. Расположение предмета восприятия в зрительном поле, его значимость для наблюдателя, а также конфигурационный контекст оказывают влияние и на продолжительность латентного периода саккад.
При восприятии контурных фигур точки фиксации располагаются внутри ее границ и могут как совпадать, так и не совпадать с геометрическим центром. Точность выполнения саккады зависит от того, на какой стадии зрительного микропроцесса принимается решение о движении. Локальному выделению целевого стимула предшествует глобальное восприятие объекта и его ближайшего окружения. Чем продолжительней латентный период саккады (и, соответственно, длительность предшествующей фиксации), тем выше ее точность. Распределение фиксаций зависит от конфигурации объекта, его симметричности, размера, полноты и завершенности. Скопление фиксаций, или «зона интереса», соответствует тем областям среды, где существует наибольшая вероятность получения прогностической информации. Вместе с тем при экспозиции комплексного объекта фиксации могут как «притягиваться» к позиции целевого стимула (якорный эффект), так и «выталкиваться» им в свободное пространство, окружающее стимул (эффект вытеснения). В общем случае зрительный и фиксационный «центры тяжести» одной и той же фигуры не совпадают.
К числу детерминант, обусловливающих динамику направленности взора, относятся социокультурные навыки человека, включая навыки чтения, письма и рисования, а также выработанные в онтогенезе индивидуальные стили восприятия и действия. В частности, фиксационные повороты глаз и распределения зрительных фиксаций русскоязычных и арабоязычных наблюдателей в одних и тех же частях поля зрения, как правило, различны, а в некоторых случаях — диаметрально противоположны.
Совокупность всех возможных направлений взора при неизменном положении головы образует окуломоторное поле человека. Его структура включает 1) центральную область (от нескольких угловых минут до 1,5°); 2) парацентральную область (до 3–6°); 3) зону оптимальных поворотов (до 12–15°); 4) область, прилегающую к функциональной границе (до 25–30°); и 5) зону морфологической границы (до 40–45°). При выполнении сходных зрительных задач параметры окуломоторной активности в каждой из зон могут иметь различные значения. Окуломоторное поле асимметрично относительно вертикальной и горизонтальной осей и функционально изменчиво.
Таким образом, в каждый момент времени направленность взора полидетерминирована, причем уже в следующем микроакте восприятия структура детерминации может быть изменена. Зрительное выделение элемента среды ведет не только к увеличению, но и к уменьшению частоты фиксаций. Используемый наблюдателями способ восприятия играет роль катализатора, усиливающего действие одной из детерминант (или их группы) и меняющего соотношение остальных. В данном контексте степень точности зрительных фиксаций определяется не метрикой их отношения к зрительному направлению предмета восприятия, а положением относительно его «центра тяжести», т. е. является функциональным параметром. С изменением структуры детерминант (даже если проксимальная стимуляция остается той же самой) «эталон точности» направленности глаз меняется.
Влияние поведенческих детерминант опосредовано собственными механизмами регуляции движений глаз. Без их учета анализ окулограмм оказывается как минимум неполным.
Глазодвигательная система человека представляет собой сложноорганизованное многомерное целое, каждый акт которого складывается в самом процессе зрительного восприятия. Он включает моменты побуждения, прогнозирования, эфферентной готовности, двигательных синергии, полисенсорности и многоуровневости процессов управления. И целенаправленное смещение взора, и его устойчивая фиксация подчиняются принципам функциональной системы. В архитектонику окуломоторных актов входят: афферентный синтез — интеграция исходных предпосылок движений, принятие решения, которое реализуется путем формирования программы поворота глаз и акцептора результата действия, исполнение целенаправленных движений и обратная связь, или реафферентация, позволяющая контролировать ход выполнения программы. В терминах теории автоматического регулирования ГДС рассматривается как следящая система с отрицательной обратной связью.
Соотношение направленности взора с положением головы контролируется системой центрации, которая стремится удерживать глаз в позиции покоя. При неизменном положении головы система центрации ограничивает возможности смещения взора, устанавливая функциональную границу окуломоторного поля.
Зрительная фиксация объекта, или относительная стабилизация направленности взора, осуществляется с помощью разнонаправленного дрейфа и микросаккад. Их соотношение широко варьирует, конституируя индивидуальный тип фиксаций. Параметры (скорость, направление, амплитуда, ускорение) дрейфов и микросаккад тесно связаны с требованиями решаемой задачи, параметрами оптической стимуляции (среды), настройками внимания и др., а их биодинамические возможности в ходе устойчивой фиксации реализуются в зависимости от конкретного сочетания внешних и внутренних условий выполнения окуломоторного акта.
Большая часть фазических микродвижений глаз обеспечивает обследование миниатюрных объектов. Около трети микросаккад корректируют дрейфовые сплывы глаз во время фиксаций. По сравнению с макросаккадами, микросаккады более независимы от параметров среды и более привязаны к центральной точке фиксации.
Нечувствительность ГДС к непроизвольному смещению оптических осей порождает «зону блуждания» взора. Ее величина редко выходит за пределы 1°, варьируя в зависимости от стимульных условий, решаемой наблюдателем задачи, его состояния и др. обстоятельств. С увеличением продолжительности фиксации или в условиях безориентирного поля зрения она расширяется, при уменьшении размеров объекта восприятия — сужается.
Отсутствие реакции ГДС на небольшие по величине (2-50°) оптические изменения среды указывает на существование «мертвого пространства», или зоны нечувствительности сетчатки. Она носит функциональный характер, зависит от способа схематизации зрительного пространства и установок наблюдателя.
При дискоординациях сенсорных и моторных компонентов ГДС запускается адаптивный процесс, направленный на воссоздание согласованности компонентов и оптимальность выполнения перцептивных актов. Окуломоторная адаптация протекает в двух формах: оперативной и консервативной. Оперативное перепрограммирование ГДС выражается в быстрой (практически мгновенной) корректировке параметров цели и критериев оценки результатов движений глаз. Консервативная форма адаптации, предполагает длительную (от нескольких дней) перестройку всей системы обеспечения окуломоторного акта, включая его нормы и эталоны. Условием адаптации ГДС является активное включение субъекта в решение зрительных и двигательных задач. Психологически и целенаправленный поворот глаз и устойчивая фиксация строятся как волевое действие, достигающее заданного результата путем преодоления внешне навязанных движений. Этот процесс принимает вид приспособления субъекта к необычным условиям восприятия, зависит от величины рассогласования зрительного и эгоцентрического направлений объекта восприятия и включает этапы: 1) компенсации рассогласования; 2) оптимизации двигательного состава фиксационного поворота глаз и 3) закрепления и стабилизации окуломоторного навыка. В результате адаптации складывается новый «функциональный орган», способный обеспечить оптимальное взаимодействие субъекта восприятия с окружающим миром. В ходе адаптации ГДС выступает в трех ипостасях, как а) поисковая, б) обучающаяся и в) следящая.
Экспериментальный анализ гносеологической функции ГДС — ее способности непосредственно снимать информацию о пространственно-временных свойствах среды — показывает наличие широкого диапазона рассогласований между направлением взора и зрительным направлением объекта. Существует функциональный зазор между восприятием и действием, который характеризует меру относительной независимости параметров зрительного образа от движений глаз и одновременно пространство их ближайших преобразований. В обычной ситуации он проявляется в виде оперативной зоны фиксаций и в зависимости от условий восприятия меняет размер. До тех пор пока рассогласование зрительных и окуломоторных компонентов совершается внутри «функционального зазора», оно не оказывает серьезного влияния ни на ход восприятия, ни на характер движений глаз. Лишь выйдя за его пределы, тот или иной параметр окуломоторной активности приобретает статус внешнего, возмущающего перцептивный процесс «лимитирующего» фактора. С этой точки зрения уподобление отдельных параметров движений глаз пространственно-временным свойствам объекта выражает акт приспособления индивида к среде. Согласованность окуломоторных и собственно зрительных компонентов перцептивного процесса, а не воспроизведение «геометрии предмета» в «геометрии движений (направленности) глаз» является главным условием адекватного отражения действительности.
Рассмотренные представления образуют каркас психологической теории окуломоторной активности человека. В ее основе лежит идея системной организации психических явлений (Ломов, 1984, 1991, 1996, 2006) и положения онтологического подхода в исследованиях перцептивного процесса (Барабанщиков, 2002, 2006; Современная экспериментальная психология, 2011).
Российская психология накопила серьезный методический и концептуальный потенциал, ориентированный на решение проблем природы окуломоторной активности человека и ее использования в исследовательских и практических целях. Важным ресурсом дальнейшего развития отечественной науки является освоение новых методов регистрации и оценки движений глаз, опирающихся на широкое использование современных информационных технологий. К их числу относится айтрекинг[2] — совокупность инструментов и процедур видеорегистрации взора человека.
Андреева Е. А., Вергилес Н. Ю., Ломов Б. Ф. Механизм элементарных движений глаз как следящая система // Моторные компоненты зрения. М.: Наука, 1975. С. 7–55.
Барабанщиков В. А., Жердев И. Ю. Восприятие сложных социально значимых объектов во время быстрых движений глаз наблюдателя // Экспериментальная психология. 2014. Т. 7. № 2. С. 5–25.
Барабанщиков В. А. Восприятие и событие. СПб.: Алетейя, 2002.
Барабанщиков В. А. Динамика зрительного восприятия. М.: Наука, 1990.
Барабанщиков В. А. Жегалло А. В. Айтрекинг: методы регистрации движений глаз в психологических исследованиях и практике. М.: Когито-Центр,2014.
Барабанщиков В. А. Окуломоторные структуры восприятия. М.: Изд-во «Институт психологии РАН», 1997.
Барабанщиков В. А. Психология восприятия. Организация и развитие перцептивного процесса. М.: Когито-Центр, 2006.
Барабанщиков В. А. Экспрессии лица и их восприятие. М.: Изд-во «Институт психологии РАН», 2012.
Барабанщиков В. А., Белопольский В. И. Стабильность видимого мира. М.: Изд-во «Институт психологии РАН», 2008.
Барабанщиков В. А., Белопольский В. И., Вергилес Н. Ю. Оптические методы трансформации зрительной обратной связи // Психологический журнал. 1980. № 3. С. 35–90.
Барабанщиков В. А., Жегалло А. В. Распознавание экспрессии лица в ближней периферии зрительного поля // Экспериментальная психология. 2013. № 2. С. 59–85.
Белопольский В. И. Взор человека: механизмы, модели, функции. М.: Изд-во «Институт психологии РАН», 2007.
Владимиров А. Д., Хомская Е. Д. Процессы экстраполяции в глазодвигательной системе. М.: Наука, 1981.
Гатев В. А. Развитие зрительно-двигательной координации в детском возрасте. София: Изд-во Болгарской Академии наук, 1973.
Гиппенрейтер Ю. Б. Движение человеческого глаза. М.: Изд-во Моск. ун-та, 1978.
Гуревич Б. Х. Движения глаз как основа пространственного зрения и как модель поведения. Л.: Наука, 1971.
Запорожец А. В., Ветер Л. А., Зинченко В. П., Рузская А. Г. Восприятие и действие. М.: Просвещение, 1967.
Зинченко В. П., Вергилес Н. Ю. Формирование зрительного образа. М.: Изд-во Моск. ун-та, 1969.
Карпов Б. А., Карпова А. Н., Зеленкин В. В. Амплитудно-частотный и автокорреляционный анализ фиксационных микроскачков глаз // Сенсорные системы. Зрение. Л.: Наука, 1982. С. 196–207.
КурашвилиА.Е., БабиякВ.И. Физиологические функции вестибулярной системы. Л.: Медицина, 1975.
Леушина Л. И. Глазодвигательная система и ее функция // Физиология сенсорных систем. М.-Л.: Наука, 1971. Ч. 1: Физиология зрения. С. 60–77.
Леушина Л. И. Движение глаз и пространственное зрение // Вопросы физиологии сенсорных систем. М.-Л.: Наука, 1966. С. 60–77.
Моторные компоненты зрения / Отв. ред. Б. Ф. Ломов, Н. Ю. Вергилес. М.: Наука, 1975.
Нотон Н., СтаркЛ. Движения глаз и зрительное восприятие// Восприятие: механизмы и модели. М.: Мир, 1974. С. 226–240.
Современная экспериментальная психология / Отв. ред. В. А. Барабанщиков. М.: Изд-во «Институт психологии РАН», 2011.
Филин В. А. Автоматия саккад. М.: Изд-во Моск. ун-та, 2002.
Филин В. А. О механизме непроизвольных скачков и их роли в зрительном процессе // Моторные компоненты зрения. М.: Наука, 1975. С. 69–101.
Шахнович А. Р. О роли афферентации в регуляции двигательных функций глаз // Бионика. М., 1965. С. 110–115.
ЯрбусА.Л. Роль движений глаз в процессе зрения. М.: Наука, 1965.
Alpern M. Eye movements // Handbook of sensory physiology / Eds D. Jameson, L. Hurvich. Berlin: Springer, 1972. V. 7/4. P. 303–330.
Bach Y-Rita P., Collins С. С (Eds). The control of eye movements. N. Y.: Acad. Press., 1971.
Becker W., Jurgens R. An analysis of the saccadic system by means of double step stimuli //Vision Research. 1979. V. 19. P. 967–983.
Bender M. B. The eye-centering system: a theoretical consideration //Arch. Neurol. Psychiatr. 1955. V. 73. P. 685–699.
Bizzi E. The coordination of eye-head movements // Scientific American. 1974. V. 231. P. 100–106.
Coven S. An efferent component in the visual perception of direction and extent // Psychological Review. 1986. V. 93. P. 391–410.
Dell'Osso L. F., Flynn J. Т., Daroff R. B. Hereditary congenital nystagmus // Archives of Ophthalmology. 1974. V. 92. P. 366–374.
DitchburnR. W. Eye movements and visual perception. Oxford: Clarendon. 1973.
Duchowski A. Eyetracking methodology: Theory and Practice. L.: Springer-Verlag, 2003.
Ebenholtz S. M., Shebilske W. L. The doll reflex: ocular counterrolling with head-body tilt in the median plane // Vision Research. 1975. V. 15. P. 713–717.
EngbertR. Microsaccades: A microcosm for research on oculomotor control, attention, and visual perception // Progress in Brain Research. 2006. V. 154. P. 177–192.
FestingerL., Canon L. Information about spatial location based on knowledge about efference // Psychological Review. 1965. V. 72. P. 373–384.
FestingerL., EastonA. M. Inferences about the efferent system based on a perceptual illusion produced by eye movements // Psychological Review. 1974. v. 84. P. 44–58.
Fisher D. F., Monty R. A., Senders J. W. (Eds). Eye movements: cognition and visual perception. Hillsdale, N.J.: Erlbaum, 1981.
Gale A. G., JohnsonF. (Eds). Theoretical and applied aspects of eye movement research. Amsterdam: North-Holland, 1984.
GauthierG.M., Hofferer J. M. Eye tracking of self-moved targets in absence of vision // Experimental Brain Research. 1976. V. 26. P. 121–139.
Groner R., Menz Ch., Fisher D. F., Monty T. A. (Eds). Eye movements and psychological functions; International views. N. J.: Erlbaum, 1983.
Holmqvist K., Nystrom M., Andersson R., Dewhurst R., Jarodzka H., Weijer J. Eye Tracking. A comprehensive Guide to Methods and Measures. N.Y.: Oxford University Press, 2011.
Monty R. A., Senders J. W. (Eds). Eye movements and psychological processes. Hillsdale, N. J.: Erlbaum, 1976.
RaynerK. Eye movements in reading and information processing: 20 years of research // Psychological Bulletin. 1998. V. 124. P. 372–422.
Robinson D. A. The mechanics of human pursuit movements // The Journal of Physiology. 1965. V. 180. P. 569–591.
Robinson D. A. The mechanisms of human saccadic eye movement //The Journal of Physiology. 1964. V. 174. P. 245–264.
Shebilske W. L. Visuamotor coordination in visual direction and position constancies // Stability and constancy in visual perception. N. Y.: Wiley, 1978. P. 21–70.
Steinbach M. J. Proprioceptive knowledge of eye position // Vision Research. 1987. V. 27. P. 1737–1744.
Steinman R. M. Role of eye movements in maintaining a phenomenally clear and stable world // Eye movements and psychological processes. N. J.:
Erlbaum. 1976. P. 73–83. Underwood G. (Ed.). Eye Guidance in Reading, Driving and Scene Perception.
N.Y.:Elsever, 1998. Walls G. L. The evolutionary history of eye movements //Vis. Res. 1962. V 2. P. 69–80. col1_0 Eye Movement Disorders. Oxford: Oxford University Press, 2008.
Технологии айтрекинга: от видеорегистрации до наложения треков на изображение[3]
В. Н. Анисимов, А. В. Краснопёрое, Ф. Л. Серженко, Л. В. Терещенко
Нашим научным коллективом разработана установка для регистрации движений глаз на основе скоростной цифровой видеокамеры. Для обеспечения синхронизации компонентов системы, записи данных и их обработки создано оригинальное программное обеспечение. Преимуществом работы с нашей системой является доступ к полному циклу обработки регистрируемых данных, что позволяет быстро и эффективно решать задачи идентификации событий, а также визуально контролировать полученные результаты с помощью синхронного вывода видеозаписи изображения глаза. Также важной является возможность синхронизации регистрации треков движений глаз с внешними устройствами, например, с электроэнцефалографом или полиграфом. Известно, что подобная задача часто возникает при проведении научных или практических исследований и не всегда легко и корректно реализуется на основе решений, предлагаемых производителями айтрекеров.
Движения глаз регистрируются монокулярно с использованием цифровой видеокамеры Fastvideo-ЗОО (Стандартная система скоростной видеозаписи, электронный ресурс) производства компании «Фаствидео», Россия. Камера позволяет вести видеосъемку с частотой до 300 кадров в секунду при разрешении 640x480 пикселей и разрядности аналого-цифрового преобразования 10 бит. В основе камеры используется монохромный сенсор «ШРА-300» (Скоростная матрица ШРА-300, электронный ресурс), максимум спектральной чувствительности которого лежит в области длин волн порядка 700 нм, поэтому при работе применяется инфракрасная (ИК) подсветка. ИК подсветка также позволяет добиться максимальной контрастности зрачка на регистрируемом изображении. Камера соединена специальным высокочастотным кабелем с установленной в персональном компьютере (ПК) платой ввода изображения PIXCI® EB1 (PIXCI® EB1 PCI Express xl Base Camera Link Frame Grabber, электронный ресурс). Плата обеспечивает передачу управляющих сигналов в камеру, прием в непрерывном режиме захваченных кадров от камеры и сохранение кадров в оперативной памяти ПК. Обмен данными между камерой и платой ввода осуществляется по протоколу Base Camera Link, поток данных достигает 960 Мегабит в секунду при настройках камеры по умолчанию (640x480,10 бит, 300 кадров в секунду).
Для обеспечения синхронизации компонентов системы, записи данных и их обработки разработано оригинальное программное обеспечение. Оно включает в себя две программы: программное обеспечение Fastvideo Lab для скоростной видеосъемки (Программное обеспечение Fastvideo Lab для скоростной видеосъемки, электронный ресурс) и разработанная нами программа VisualStimulator.
Программное обеспечение, поставляемое с камерой, дает пользователю широкий спектр возможностей для ведения высокоскоростной съемки. Доступны, в частности, настройка режимов работы камеры — изменение области сканирования сенсора, частоты захвата кадров, времени экспозиции, выделение фрагмента кадра и др., просмотр изображения на экране монитора, непрерывная запись видеопотока в память ПК или в файл на жесткий диск, чтение, просмотр и преобразование записанных данных.
Регистрация движений зрачка в ИК свете, направленном под углом к оптической оси камеры, основана на эффекте «темного зрачка», когда вторичное отражение от сетчатки глаза не поступает в камеру. Отображение зрачка на кадре является, как правило, самой затемненной областью, интенсивность пикселей в которой меньше, чем интенсивность пикселей в других частях кадра. Наиболее распространенное и простое определение центра положения зрачка сводится к усреднению х и у координат пикселей, интенсивность которых не превышает заранее выбранного порогового значения. Заметим, что точность этого метода ограничена наличием светодиодных бликов подсветки на роговице глаза, так как положение этих бликов может совпадать с положением зрачка. Кроме того, на точность могут влиять области с еще большим затемнением (ресницы, затемнения у краев кадра и др.). С другой стороны, результат зависит от выбора порога бинаризации изображения, а фиксированное значение порога делает этот метод практически неприменимым в режиме реального времени из-за изменений затемнения зрачка в процессе съемки.
Стандартное программное обеспечение камеры было дополнено автоматическим алгоритмом (фильтром) распознавания зрачка на изображении (Программное обеспечение для видео нистагмографии, электронный ресурс), изначально разработанным «Фаствидео» для медицинских систем видеонистагмографии на основе аналоговых ИК камер (Видео нистагмограф, электронный ресурс). Координаты зрачка на изображении определяются по его эллиптическому контуру, который является проекцией контура зрачка на плоскость сенсора камеры при любом направлении взора испытуемого. Заметим, что метод нечувствителен к бликам ИК подсветки и работает в случаях, когда зрачок частично прикрыт веками или ресницами (рисунок 1).
Рис. 1
В используемой нами версии алгоритм был в значительной степени переработан с целью увеличения производительности, что позволило применять его в режиме реального времени со 100 %-й эффективностью при частоте работы камеры 300 кадров в секунду и выше и размерах изображения от 320x240 до 640x480 пикселей. Измерения показали, что время, необходимое для выделения зрачка на кадре с размером 640x480 пикселей, не превышает 3 мс на ПК с процессором уровня Intel® Core™ i7-920 (2,66 ГГц).
Предельная точность определения центра эллиптической области оценивалась в модельном эксперименте с изображением черного круга на белом фоне. Было установлено, что при различных проекциях изображения на плоскость матрицы видеокамеры, координаты центра определяются с точностью лучшей, чем один пиксель сенсора, что соответствует предельной точности угла поворота глаза 0,5 градуса. Эта точность ограничена шумами матрицы, механическими колебаниями установки, стабильностью освещенности изображения, а также точностью работы выбранного алгоритма.
В наших измерениях камера, программа и фильтр настраиваются на непрерывную съемку и запись видео в файл. Временная привязка координат зрачка ведется от момента запуска камеры по порядковому номеру кадра с учетом периода следования кадров. Координаты, время и номера кадров передаются в программу VisualStimualtor по мере регистрации с помощью интерфейса межпроцессного взаимодействия mailslot (Центр разработки Windows, электронный ресурс).
Для анализа движений глаз нами было разработано оригинальное программное обеспечение VisualStimulator, использующее в качестве предъявляемых стимулов статические изображения (рисунки), динамические ряды (видеофайлы), а также имеющее возможность реализовывать захват экрана монитора, на котором происходит предъявление. Последний пункт может быть очень важен при решении задач, связанных с процессами навигации по сайтам, анализу расположения элементов на рабочем столе и т. д.
Программа управления камерой определяет координаты взора в системе координат сенсора, переход от измеренных координат к координатам предъявляемого изображения производится в программе VisualStimulator. Детальный обзор методов, позволяющих связать координаты «сенсор-стимул», представлен в работе Шила (Sheela, 2011). В нашей программе переход от измеренных координат (х, у) к предъявляемым (X, У) осуществляется с помощью отображающей функции вида:
где коэффициенты и (i = 1.. 6) определяются методом наименьших квадратов из калибровочного измерения.
Калибровка состоит в последовательной демонстрации на экране монитора точек с известными координатами (X, Y) с синхронной регистрацией направленного на них взора испытуемого с координатами (х, у) (рисунок 2). Точки расположены в узлах калибровочной сетки монитора, число узлов по вертикали и по горизонтали задается в настройках программы. При демонстрации изображений на мониторе с соотношением сторон 16:9 использовалось 18 точек, соответствующих шести узлам сетки по горизонтали и трем — по вертикали. Предъявление точек проводится с заданной длительностью по одной, друг за другом.
Рис. 2. Пример удачной калибровки с наложенными на калибровочные точки восстановленными позициями взора. Фиксация в центре — начальная позиция взора испытуемого
Первоначально координаты трека анализируются независимо друг от друга. Каждый временной ряд аппроксимируется кусочной ступенчатой функцией (Lemire, 2007), разбивающей последовательность на интервалы, в пределах которых координата не изменяется или изменяется незначительно. Пересечения полученных интервалов во времени определяют положения фиксаций на треке (рисунок 3). Восстановление положения фиксаций на экране монитора проводится с помощью отображающей функции по координатам, полученным из усреднения измерений на выделенных временных интервалах. Угловое изменение направления взора между двумя последовательными фиксациями определяет амплитуду саккады. В случае, когда амплитуда не превышает 1,4°, две последовательные фиксации объединяются в одну. Выбор данного критерия многократно обсуждался в литературе (Velichkovsky et al., 2005) и может быть обусловлен целями эксперимента, а также анатомо-физиологическими свойствами сетчатки. Так, известно, что угловой размер фовеа глаза человека составляет около 2°. Примером причины выбора иного амплитудного критерия, обусловленного целями эксперимента, может быть, например, необходимость оценки стабильности фиксации взора на одной точке длительное время. В этом случае критичными могут быть также микросаккады и дрейф. Отметим также, что в программе предусмотрена возможность опциональной настройки данного критерия.
Рис. 3. Зарегистрированные X и Y координаты взора в зависимости от времени. Найденные интервалы фиксаций показаны горизонтальными линиями с подписями, соответствующими их длительности в миллисекундах
В случае, когда изучается зрительное внимание в стандартных глазодвигательных парадигмах, интерес представляют саккадические движения глаз. При объединении фиксаций, которые отстоят друг от друга на угол, меньший, чем заданный параметр, происходит пересчет лежащих рядом амплитуд саккад, а также общей длительности полученной новой фиксации, которая является суммой двух объединяемых.
Камера устанавливается сбоку под прямым углом к направлению взора испытуемого и регистрирует изображение глаза, отраженное от «теплого зеркала» — специального эмиссионного фильтра, пропускающего свет видимого спектра и отражающего волны инфракрасного диапазона (более 800 нм). Эмиссионный фильтр располагается в плоскости, расположенной под углом 45° к плоскости зрачка. Это позволяет убрать видеокамеру из поля зрения испытуемого, а также расположить ее в плоскости, параллельной плоскости зрачка. Такое расположение видеокамеры позволяет избежать погрешностей, обусловленных угловыми искажениями при вычислении координат центра зрачка.
Изображение предъявляют на экране монитора Samsung с диагональю 23' (с разрешением 1920x1080 пикселей) на расстоянии 60 см от глаз испытуемых, занимая 47° по горизонтали и 26° по вертикали их зрительного поля. В экспериментах голову испытуемых фиксируют с помощью лобно-подбородной подставки.
С точки зрения построения эксперимента необходима возможность составления набора предъявляемых стимулов, как статических, так и динамических. Эта возможность предусмотрена в разработанном программном обеспечении. Интерфейс позволяет добавлять графические файлы разных форматов, задавать время предъявления стимулов.
Также в программе предусмотрена возможность проведения повторной калибровки в течение эксперимента, в том числе в «горячем» режиме, и добавления фонового изображение между предъявляемыми стимулами.
В экспериментах на экране монитора предъявляют различные зрительные стимулы и регистрируют изображение глаза. Координаты взора отражают траекторию движения глаза и периоды фиксаций. Такие траектории можно «наложить» на изображения, предъявляемые на мониторе, что позволяет качественно оценить процесс сканирования испытуемым зрительной сцены во время эксперимента (рисунок 4).
Рис. 4. Стимульное изображение с наложенными на него треками и выделенными фиксациями. Испытуемый сканирует взором детали интерьера и фигуру человека
У многих современных трекеров, предлагаемых на рынке, существует ряд ограничений, связанных с закрытыми алгоритмами анализа и удобством работы с конкретным программным обеспечением. Программа VisualStimulator дает исследователю максимально необходимый доступ к разным уровням обработки, начиная с потока исходных данных, на основе которых строятся треки, и заканчивая выделенными из них событиям (фиксации, саккады и моргания). В программе предусмотрены возможности изменения цветов накладываемых треков; существует возможность изменения цвета трека, саккад и фиксаций отдельно. Для большей наглядности линия, соответствующая саккаде, передается с разной толщиной: тонкая в том месте, где саккада начинается, и утолщающаяся в сторону конца саккады.
Возможность синхронного вывода видеозаписи и прорисовки треков взора, наложенных на изображение (рисунок 4) позволяет верифицировать моменты генерации событий (саккад и фиксаций) при проведении эксперимента. Этот метод дополняет преимущества использования открытых алгоритмов работы программно-аппаратного комплекса, которые, в свою очередь, также позволяют получать как массивы исходных координат центра зрачка в системе координат матрицы видеокамеры, так и в системе координат монитора, на котором предъявляются стимульные изображения. Большое внимание при разработке описанного программного обеспечения уделялось именно возможностям визуализации, что является очень важным аспектом при анализе полученных записей. Специальной опцией является то, что координаты треков или соответствующие им события могут «выгружаться» непосредственно за тот промежуток времени, который отражается на картинке в данный момент. Также возможно делать временные отступы от начала или конца записи, чтобы точно определить интересующий исследователя фрагмент записи.
Известно, что у ряда трекеров, даже современных, отсутствует возможность загрузки динамических стимулов, что сильно ограничивает возможности исследователя. В нашем ПО специально была предусмотрена такая возможность и представлены все необходимые для анализа записанных данных инструменты. Для вывода стимульного видеоряда с наложенными на него треками движений глаз в программу VisualStimulator был интегрирован видеоплейер (рисунок 5), автоматически вызываемый при просмотре сделанной в эксперименте записи.
Рис. 5. Синхронный вывод трека в интервале 500 мс и видеоизображения глаза, которое хранится в отдельном файле
Разработанный программно-аппаратный комплекс с успехом применялся нашей научной группой в целом ряде исследований. Основными направлениями исследований стали работы со статическими и динамическими изображениями (Шурупова и др., 2015) и исследования движений глаз при чтении предложений с синтаксической неоднозначностью (Жондо и др., 2015). По результатам проведенных исследований были защищены две дипломные работы на кафедре высшей нервной деятельности биологического факультета МГУ им. М. В. Ломоносова. Результаты, полученные в указанных работах подтвердили динамику зависимости параметров движений глаз при просмотре статических и динамических сцен, а также при чтении предложений с синтаксической неоднозначностью, которая описана в ранее опубликованных работах, что говорит о релевантности полученных результатов и косвенно свидетельствует о точности работы программно-аппаратного комплекса. При этом с использованием описанного оборудования и программного обеспечения были получены новые содержательные результаты. Высокая частота и удобство работы с программно-аппаратным комплексом позволяет эффективно регистрировать данные в экспериментах и получать результаты на уровне работ современной мировой науки.
Приведено описание программно-аппаратного комплекса, разработанного нашей научной группой. В нем предусмотрены широкие возможности настройки как аппаратной части (изменение частоты, разрешения и др.), так и широкий спектр программных настроек, необходимых для удобной и продуктивной работы с данными регистрации движений глаз.
Установка позволяет быстро освоить навыки работы с ней, что является также существенным преимуществом, особенно для начинающих работать с айтрекингом. Важными особенностями являются возможности синхронного вывода треков движений глаз и видео изображения глаза с выделенным на нем зрачком и оперативного добавления калибровки в процессе проведения эксперимента.
Циклы работы программы VisualStimulator и поток координат зрачка синхронизованы по времени. В настоящее время формат принимаемых данных определяется программным обеспечением цифровой камеры Fastvideo-ЗОО, однако потенциально существует возможность работы с данными в любом другом формате и с другими типами камер. Этот фактор дает преимущества перед используемыми в настоящее время коммерческими айтрекерами, так как позволяет изменять аппаратную часть, базируясь на серийно производимых типах видеокамер в широком ценовом диапазоне.
Существует потенциальная возможность применения программно-аппаратного комплекса для работы с животными (низшими приматами).
Видео нистагмограф. URL: http://www.vdvs.ru/products/vng/vng.htm (дата обращения: 15.06.2015).
Жондо А. С, Анисимов В. Н., Фёдорова О. В., Латаное А. В. Движения глаз при чтении предложений с локальной и глобальной синтаксической неоднозначностью // Когнитивная наука в Москве: новые исследования. М.: ООО «Буки Веди», ИППиП, 2015. С. 131–134.
Скоростная матрица ШРА-300. URL: http://www.fastvideo.ru/info/sensor/ cypress/lupa300.htm; http://www.fastvideo.ru/info/sensor/cypress/ lupa_300.pdf (дата обращения: 15.06.2015).
Стандартная система скоростной видеозаписи: 640x480,10 бит, 300 fps. URL: http://fastvideo.ru/products/vga/fv300.htm http://fastvideo.ru/ products/vga/fv300.htm (дата обращения: 15.06.2015).
Программное обеспечение Fastvideo Lab для скоростной видеосъемки. URL: http://www.fastvideo.ru/products/software/software.htm (дата обращения: 15.06.2015).
Программное обеспечение для видео нистагмографии. URL: http://www. vdvs.ru/products/software/software.htm (дата обращения: 15.06.2015).
Центр разработки для Windows. Mailslots. URL: https://msdn.microsoft. com/ru-ru/library/windows/desktop/aa365576%28v=vs.85%29.aspx (дата обращения: 15.06.2015).
Шурупова М. А., Анисимов В. Н., Красноперое А. В., Латаное А. В. Параметры движений глаз при просмотре динамических сцен // Когнитивная наука в Москве: новые исследования. М.: ООО «Буки Веди»-ИППиП, 2015. С. 492–498.
Шурупова М. А., Анисимов В. Н., Латаное А. В. Параметры движений глаз при просмотре динамических сцен // Одиннадцатый международный междисциплинарный прогресс «Нейронаука для медицины и психологии». Тезисы докладов. Судак, 2015. С. 456.
Lemire D. A Better Alternative to Piecewise Linear Time Series Segmentation // SDM. 2007. P. 545–550.
PIXCI® EB1 PCI Express xl Base Camera Link Frame Grabber. URL: www.epixinc.com/products/pixci_ebl.htm (дата обращения: 15.06. 2015).
Sheela S. V., Vijaya P. A. Mapping Functions in Gaze Tracking // International Journal of Computer Applications. 2011. V. 26. № 3. P. 36–42.
Velichkovsky B. M. et al. Two visual systems and their eye movements: Evidence from static and dynamic scene perception // Proceedings of the XXVII conference of the cognitive science society. Mahwah, N.J.: Lawrence Erlbaum, 2005. С 2283–2288.
Обзор изобретений, полученных при использовании айтрекинговых исследований в процессе изучения способности 3D-восприятия образов плоскостных изображений
В. Н. Антипов, А. В. Жегалло, В. В. Курчавов, Н. В. Звёздочкина, Л. М. Попов
Айтрекинговые исследования, изучение движения глаз позволяют получить первичную информацию о новой способности зрительного восприятия — способности воспринимать образы плоскостных изображений с эффектами глубины, объема, пространственной перспективы (далее — феномен) (Антипов, 2005). Естественно-природный механизм зрительного восприятия — стереоскопическое зрение, бинокулярная диспаратность однозначно препятствует наблюдению атрибутов феномена. Однако в настоящее время по различным направлениям феномена получено 19 патентов на изобретения. Авторами и патентообладателями изобретений являются научные работники Казанского университета, ИП РАН, ЦЭП МГППУ, ИФ РАН, Ульяновского училища гражданской авиации. Существенный вклад в доказательство существования феномена внесли именно исследования на бинокулярном айтрекере. Экспериментально показано наличие восприятия глубины, объема образов плоскостных изображений, величина которых соизмерима с трехмерными параметрами, наблюдаемыми при рассматривании 3D-растровых изображений. При этом элементы феномена не меньше уровня наблюдаемой стереоскопической глубины стереограмм в условиях фузии.
Конец ознакомительного фрагмента.
Оглавление
- Предисловие
- Раздел I. Методы и технологии регистрации окуломоторной активности человека
* * *
Приведённый ознакомительный фрагмент книги Айтрекинг в психологической науке и практике предоставлен нашим книжным партнёром — компанией ЛитРес.
Купить и скачать полную версию книги в форматах FB2, ePub, MOBI, TXT, HTML, RTF и других
Примечания
1
Работа выполнена при поддержке Российского научного фонда, проект № 13-06-00567 «Окуломоторные синергии в процессах решения коммуникативных задач»
