Сегодня я расскажу об одном из самых важных исследований предыдущего года. Речь, конечно же, об исследовании Алана Коуэна и коллег (Cowen et al., 2020). Что такого важного в их исследовании, спросите вы? Во-первых, это самое масштабное исследование выражения лица за все время. Ученые проанализировали 6 миллионов видеоклипов, загруженных из 144 стран. Во-вторых, они изучали взаимосвязь контекста и выражений лица. Это позволило выяснить, какие выражения появляются во всем мире в одной и той же ситуации.

Какие выражения лица изучались?

Ниже приведены все 16 изучаемых выражений:

1. Веселье (Amusement)
2. Гнев (Anger)
3. Благоговение (Awe)
4. Концентрация (Concentration)
5. Замешательство (Confusion)
6. Презрение (Contempt)
7. Удовлетворенность (Contentment)
8. Желание (Desire)
9. Разочарование (Disappointment)
10. Сомнение (Doubt)
11. Восторг (Elation)
12. Интерес (Interest)
13. Боль (Pain)
14. Печаль (Sadness)
15. Удивление (Surprise)
16. Триумф (Triumph)

Как вы видите, в исследовании изучались эмоции, но и не только. Изначально ученые хотели изучать 29 выражений, но в связи с некоторыми проблемами, не все попали в окончательный список. Так для некоторых причиной стала низкая точность прогнозов нейронной сети, для других путаница в терминологии (например, contemplation и concentration), наконец, для третьих, оценка была сильно искажена неактуальным поведением (например, закрытие глаз для переживания экстаза). 

Чтобы научить глубинную нейронную сеть распознавать выражения нужен “тренировочный” материал. Для этого использовали 186744 клипа, в которых встречалось 273599 выражений. Каждое выражение оценивали англоязычные жители Индии. Им показывали видео длительностью 1-3 секунды после чего они оценивали выражение, выбирая все подходящие термины из списка (тут и возникла проблема с путаницей терминов). Но вот что важно. После того, как нейронную сеть обучили, она кодировала выражения сами по себе, что позволило избежать проблем с несоответствием оригинала и перевода терминов. Также, кодирование при помощи нейронной сети позволяет избежать влияния контекста и других предубеждений на оценку выражения.

Какой был контекст?

Глубинная нейронная сеть в первом эксперименте использовала текстовое описание видео и само содержание видео. Во втором только текстовое описание под видео. В итоге, в первом эксперименте было выделено 653 ситуаций, а во втором 1953. Что подразумевается под контекстом? Ситуация проявления выражения определялась широко. Ученые приводят следующий контекст в качестве примера – “мама” (англ. mother), который мог включать как видео непосредственного воспитания детей, так и просто обсуждение матери.

Другими ситуациями, где изучались выражения были следующие: фейерверк, боевые искусства, интервью, командный или индивидуальный спорт и т.д. Это только некоторые из примеров, чтобы вы могли понять, что изучалось в исследовании.

Какие были результаты?

Универсальная связь выражений и контекста

Когда нейронная сеть оценила выражения во всех видеоклипах, ученым удалось найти ситуации, которые приводили к одним и тем же выражениям. Это показывает, что люди реагируют схожим образом на одну и ту же ситуацию независимо от культуры.

Чтобы это продемонстрировать, ученые поделили все 144 страны на 12 регионов и сравнили взаимосвязь выражения и ситуации для каждого из них. Так корреляция варьировалась от 0.703 для Индийского субконтинента и Восточной Азии до 0.971 для США/Канады и Западной Европы. Команда Алана Коуэна проверила это и другим способом. Они сравнили корреляцию выражения-контекста отдельного региона со средним всех оставшихся регионов. Такой подход показал, что 70.1% вариативности был общим, то есть универсальным, для отдельного региона и средним по миру. Во втором эксперименте контекст был выяснен только на основании текстового описания. Средняя связь контекста-выражения во втором эксперименте была ниже. Язык и нормы негативно сказываются на универсальности связи контекст-выражение.

Культурные различия

Были и культурные различия. Так географически более близкие регионы были и более похожими по связи контекста и выражения. Например, Африканский регион имел больше общего со Средним Востоком, который, в свою очередь, был больше всего похож на Индийский субконтинент. Но Африканский регион и регион Индийского субконтинента имели связь для контекста-выражения ниже средней по миру.

Примеры универсальной связи контекст-выражение

Лучше смотреть все примеры в оригинальной статье. Здесь же я приведу только некоторые из них. Так розыгрыши были связаны с выражением веселья, благоговение с фейерверками, концентрация с боевыми искусствами, удовлетворенность со свадьбами, а сомнение с полицейскими. Другим примером было выражение боли, которое ассоциировалось с силовыми упражнениями, а триумф со спортом.

Заключение

Это не первое исследование с использованием глубинной нейронной сети и в предстоящие годы мы будем встречать все больше и больше подобных исследований. Искусственный интеллект позволяет анализировать огромные массивы данных, будь это выражение лица или контекст его проявления. Это исследование тому пример. Команда Алана Коэна проанализировала более 6 миллионов видео из 144 стран. Они обнаружили универсальную взаимосвязь между 16 выражениями и контекстом их возникновения. Это, в свою очередь, подтверждает, что эмоции и другие состояния являют собой адаптационные реакции на вызовы в жизни.