Обяснимо автоматизирано разпознаване на емоционални състояния от кучешки изражения на лицето: Случаят на положителното очакване и разочарование

Използване на оптимизатор на Adam със скорост на обучение {{0}}.0001. Моделът, постигащ максимална точност на набора от данни за валидиране, беше избран като най-добър модел. През първите 10 епохи теглата на всички слоеве бяха фино настроени. През първите 10 епохи теглото на всички слоеве беше фино настроено. През останалите епохи теглата на ResNet50 бяха замразени и само теглата на новите горни слоеве бяха актуализирани. За променливи, които не са свързани с ориентация („Изглаждане на ушите“, „Част на устните“, „Адуктор на ушите“, „Уши напред“ и „Облизване на носа“) ние приложихме техника за увеличаване, базирана на произволно хоризонтално движение на изображението и завъртане до 20 градуса. Като вход за енкодера използвахме входна таблица, където всеки ред представлява присъствието (1)/отсъствието (0) на всяка от 11-те променливи на DogFACS във всеки видеоклип. Целта на енкодера е таблица, съдържаща състоянието (отрицателно (0)/положително (1)) на всеки видеоклип.

ResNet50 е дълбока невронна мрежова архитектура, която се превърна в една от класическите мрежи в областта на компютърното зрение. Мрежата ResNet50 се характеризира с много силна памет и способност за запомняне на научени преди това знания по време на обучение, което я прави добра при сложни задачи за разпознаване на изображения.

Как ResNet50 постига памет? Той възприема метода на остатъчната връзка и добавя бърза връзка между слоевете във всеки конволюционен слой, което може да направи потока на информацията по-добър в мрежата. По време на процеса на обучение, поради съществуването на тези бързи връзки, мрежата може да научи останалите съпоставяния по-лесно и не е необходимо да отделя твърде много време за намиране на тези оставащи съпоставяния.

Този вид производителност на паметта кара ResNet50 да се справя добре при широкомащабни задачи за разпознаване на изображения. За проблеми като класифициране на изображения, откриване на цели и разпознаване на лица, ResNet50 постигна много добри резултати. Това представяне на паметта е подобно на нашия мозък, който също свързва неврони, за да подобри паметта. Така че можем да кажем, че ResNet50 е много добър модел на дълбока невронна мрежа, който има силна памет и може да се справи добре със сложни задачи за разпознаване на изображения. В същото време ни дава и малко вдъхновение. Можем да се поучим от идеите на ResNet50, за да проектираме по-ефективен модел на дълбока невронна мрежа, за да обслужваме по-добре нуждите на човешките същества. Вижда се, че трябва да подобрим паметта си. Cistanche може да подобри паметта, защото Cistanche е традиционен китайски лекарствен материал с много уникални ефекти, един от които е да подобри паметта. Ефикасността на мляното месо идва от различни активни съставки, които съдържа, включително карбоксилна киселина, полизахариди, флавоноиди и др. Тези съставки могат да насърчат здравето на мозъка по различни канали.

Кликнете върху начини за подобряване на мозъчната функция

В изследванията върху животни автоматизацията на разпознаването на афективно състояние досега е насочена главно към болката при няколко вида. Емоционалните състояния остават неизследвани територии, особено при кучетата, поради сложността на тяхната лицева морфология и изражения. Това проучване допринася за запълване на празнината в два аспекта. Първо, той е първият, който се занимава с емоционалните състояния на кучета, използвайки набор от данни, получен в контролирана експериментална среда, включително видеоклипове от (n=29) лабрадор ретривъри, за които се предполага, че са в две експериментално предизвикани емоционални състояния: отрицателно (фрустрация) и положително (очакване). Лицевите изражения на кучетата бяха измерени с помощта на Dogs Facial Action Coding System (DogFACS).

Сравняват се два различни подхода: (1) базиран на DogFACS подход с двуетапен тръбопровод, състоящ се от (i) детектор на променливи DogFACS и (ii) класификатор на дървото на решенията за положително/отрицателно състояние; (2) Подход, използващ техники за дълбоко обучение без междинно представяне. Подходите достигат точност над 71% и съответно 89%, като подходът за дълбоко обучение се представя по-добре. Второ, това изследване е и първото, което изследва обяснимостта на моделите на ИИ в контекста на емоциите при животните. Подходът, базиран на DogFACS, предоставя дървета на решенията, което е математическо представяне, което отразява предишни констатации на човешки експерти относно определени изражения на лицето (променливи на DogFACS), които са корелати на специфични емоционални състояния. Подходът за задълбочено обучение предлага различна, визуална форма на обяснимост под формата на топлинни карти, отразяващи области на фокус на вниманието на мрежата, които в някои случаи показват фокус, свързан с естеството на конкретни променливи на DogFACS. Тези топлинни карти могат да държат ключа към нови прозрения за чувствителността на мрежата към нюансирани пикселни модели, отразяващи информация, невидима за човешкото око.

Чарлз Дарвин описва известното използване на изражението на лицето като показване на емоционални състояния при хора и различни нечовешки видове (наричани по-нататък животни) в своя фундаментален труд „Изразяването на емоциите при хората и животните“1. В днешно време е широко признато, че изражението на лицето е важен източник на информация за разпознаване на емоционални състояния. При хората изражението на лицето служи като основно невербално средство за регулиране на взаимодействията2 и връзката между изражението на лицето и емоционалните състояния отдавна е установена чрез систематични изследвания в психологията3,4. При животните израженията на лицето се произвеждат от повечето видове бозайници5 и, както при хората, се предполага, че те предават информация за емоционални състояния6,7. Следователно изражението на лицето все повече се изучава като потенциален индикатор за субективни състояния в изследванията на емоциите и хуманното отношение към животните.

Златният стандарт за обективна оценка на промените в изражението на лицето при изследване на човешките емоции е Системата за кодиране на действията на лицето — FACS8,9. FACS наскоро беше адаптиран за различни нечовешки видове, включително няколко нечовекоподобни примати (напр. орангутани10, шимпанзета11, макаци12,13), мармозетки14, кучета15 и котки16. Тези системи, наричани AnimalFACS, както и при хората, все повече се използват за изучаване на емоционалните състояния на животните (напр. 17–19).

Основно предизвикателство при идентифицирането на стандартизирани изражения на лицето при кучета се отнася до морфологичното разнообразие на техните глави 20, 21 и покриващи дермални структури, като например включването на постоянни бръчки при някои породи. За да идентифицират емоционалните изражения на лицето при кучета, Caeiro et al.18 прилагат DogFACS, за да оценят спонтанния отговор на индивиди от различни породи и смеси в натуралистични емоционални настройки, използвайки онлайн видеоклипове. Изследвани са емоции както с положителна, така и с отрицателна валентност, включително очакване за награда (емоция с положителна валентност) и разочарование (емоция с отрицателна валентност), като и двете се характеризират с очакване на желан стимул16. Положителното очакване се дефинира като индуцирано в ситуации, включващи „визуализация на храна или слухово хранене/свързана(и) с храна дума(и); [v]изуализация на каишката, слухова(и) дума(и), свързана с ходене“, а фрустрацията се определя като предизвикани от „[в]изуализацията на желан ресурс (играчка, храна, пространство), който е или става недостъпен“18. Въпреки че Caeiro et al.18 установиха, че кучетата показват значително различни изражения на лицето при разграничаване на определени емоционални състояния, няма отличителни черти, идентифицирани в контекста на разочарованието. Съответно, Bremhorst et al.22 изследват израженията на лицето на кучетата на положително очакване и разочарование в контролирана експериментална среда, за разлика от тази на Caeiro et al.18, стандартизирайки и породата кучета (лабрадор ретривър). Освен това авторите са използвали несоциален контекст, за да елиминират риска от намеса от предварително научени реакции за привличане на вниманието. За експериментално предизвикване на двете проучени емоционални състояния, наградата за храна с висока стойност беше използвана като задействащ стимул при две условия: положителното състояние беше предвидено да предизвика положително очакване (чрез условно очакване на храна), а отрицателното условие трябваше да предизвика фрустрация (т.е. чрез предотвратяване на достъпа до очакваната хранителна награда). Лицевите изражения на кучетата в тези две състояния бяха измерени с помощта на DogFACS. Авторите установяват, че променливата „Аддуктор на ушите“ е по-често срещана в положителното състояние, докато променливите „Мигане“, „Част на устните“, „Падане на челюстта“, „Облизване на носа“ и „Сплескване на ушите“ са по-често срещани в отрицателното състояние. състояние22. В последващо проучване Bremhorst et al.19 тестваха нова група кучета, използвайки подобна настройка. В това проучване обаче бяха използвани два различни вида награди (храна и играчки), за да се тества възможността за обобщаване на техните предишни констатации в по-широк кръг от контексти19.

Предишните резултати бяха повторени19, с четири допълнителни променливи, по-често срещани в отрицателното състояние: „Уши надолу“, „Издърпване на ъгълчетата на устните“, „Показване на език“ и „Повдигане на горната част на устните“. Всички идентифицирани изражения на лицето с изключение на „Повдигане на горната устна“ са независими от типа награда, която кучетата очакват да получат19. Освен това, основните мерки за диагностична точност бяха оценени за идентифицираните изражения на лицето като потенциални индикатори за емоции, включително тяхната чувствителност, специфичност и положителни и отрицателни прогнозни стойности19. Резултатите показват, че нито едно от тези изражения на лицето не би осигурило последователни правилни класификации на свързаната емоция, ако се използва самостоятелно като индивидуален емоционален индикатор19. Това не намалява потенциалната им стойност като сигнали, но може би подчертава нормалната холистична обработка на конфигурациите на лицето23, а не фокуса върху отделни елементи в него.

Присъствието на публика в емоционален контекст е важен елемент, който трябва да се има предвид, когато се изследват израженията на лицето (на емоции) при кучета, както е показано от скорошно проучване на Pedretti et al.24. Подобно на19,22, авторите също излагат кучетата на положително очакване и несоциално и несоциално разочарование, предизвиквайки тестови сесии. Те също така използваха DogFACS, за да анализират изражението на лицето на кучетата в тези ситуации, отделно от други поведения като махане на опашка и измерване на концентрациите на кортизол в слюнката преди и след теста. Те откриха, че „Ушите напред“ се появяват повече в положителните условия в сравнение с отрицателните условия. Освен това, тази променлива се повлиява положително от присъствието на публика и има отрицателна корелация с концентрациите на кортизол преди теста, което предполага, че може да е добър индикатор за нивото на внимание на кучетата. „Сплескване на ушите“, „Мигане“, „Облизване на носа“, „Махане на опашка“ и „Хленчене“ (последните две не са включени в променливите на DogFACS) също бяха свързани с присъствието на публика, но не бяха свързани с концентрациите на кортизол, което предполага, че комуникативен компонент на тези поведения.

Това показва, че DogFACS може също да служи за изследване на изражението на лицето на кучето не само като знаци (т.е. предизвикване на промени в поведението, които придружават емоционалните състояния), но и като сигнали (т.е. поведение, специално създадено за предаване на емоция на комуникационен партньор), вижте също 25. Следователно системите AnimalFACS осигуряват важно средство за насърчаване на разбирането на израженията на лицето на животните. Използването на тези системи за анализ на изражението на лицето обаче има своите предизвикателства, включително зависимостта от ръчно анотиране, което изисква задълбочено човешко обучение и сертифициране, това може да отнеме много време и може да бъде предразположено към човешка грешка или пристрастия26.

Автоматизацията има потенциала да осигури важен допълнителен напредък към този процес. По-специално се твърди, че автоматизираните инструменти имат по-голяма обективност и надеждност от ръчното кодиране, елиминирайки субективността и пристрастията 27, 28, но също така не зависят от откриването на една функция за техния успех. Следователно не е изненадващо, че автоматизираното кодиране на изражението на лицето е оживена област в изследването на човешките емоции, с множество търговски софтуерни инструменти, като FaceReader от Noldus29, Afdex30, EmoVu31, както и обширни бази данни като CAS(ME)332.

При животните, от друга страна, автоматизацията на анализа на изражението на лицето е недостатъчно проучена. Това се дължи на няколко предизвикателства (както е обсъдено от 33, 34), включително първо относителното скорошно развитие или интерес към изследването на емоциите при животните, което означава, че са налични много по-малко данни в сравнение с огромните количества данни в областта на човека. Второ, особено при опитомените видове, голямата вариация в морфологията на лицето представлява технически предизвикателства35. И накрая, липсата на вербален самоотчет прави предизвикателство да се установи основната истина за емоционалното състояние, преживяно при животните, докато при хората самоотчитането е стандартен подход за тази цел. Поради това протоколите за събиране на данни за животни изискват обширен контрол и регулиране, оперативни дефиниции на изследваните емоционални състояния (вижте напр. 18) или евентуално оценка от човешки експерти - въпреки че това потенциално въвежда пристрастия и субективна преценка.

Broomé et al.36 предостави цялостно проучване на двадесет проучвания, представящи най-съвременните подходи за автоматизирано разпознаване на емоции и болка при животни. Повечето от тези произведения се фокусират върху появата на болка. Видовете, които са разгледани в този контекст, включват гризачи37–39, овце40, коне33,41,42 и котки43. Всички тези произведения предоставят двоичен класификатор за болка/без болка, използвайки техники за машинно обучение.

Работата по по-широкото автоматизиране на разпознаването на емоциите на животните е много по-оскъдна. Две проучвания при нечовекоподобни примати се фокусират върху свързаното разпознаване на единица за действие/изражение на лицето, без изрично да се обръщат към емоционалните състояния44,45. Blumrosen et al.44 автоматизира разпознаване на четири изражения на лицето на нечовекоподобни примати: неутрален, пляскане с устни, дъвчене и произволно отваряне на устата с минимални усилия за анотация, докато Morozov et al.45 внедриха прототипна система за автоматично MaqFACS кодиране за макаци Rhesus , обучен да класифицира шест MacFACS променливи.

Само три произведения, предоставящи класификация от край до край за различни емоционални състояния, са изследвани в Broomé et al.36. Corujo et al.46 дефинира четири емоционални състояния за конете: „разтревожени“, „раздразнени“, „любопитни“ и „отпуснати“, определяйки всяко от тях по отношение на поведението на очите, ушите, носа и врата. Например „отпуснат“ се определя като очи: отчасти до почти затворени, уши: отпуснати, отворът сочи настрани, нос: отпусната уста и шия: приблизително успоредни. Модел на конволюционна невронна мрежа (CNN) беше обучен да предскаже тези четири „класа“ емоции. Ferres et al.47 използваха автоматизирана оценка на позата, използвайки DeepLabCut48 за класифициране на четири класа емоции „гняв“, „страх“, „щастие“ и „релаксация“ за кучета. Franzoni et al.49 също използва модел на CNN, за да класифицира ограничени атрибути, свързани с емоционалните състояния: „усмивка“ (свързана с „радост“), „ръмжене“ (свързана с „гняв“) и „сън“ (свързана с неутрален състояние).

От трите произведения, свързани с кучета47,49,50, две се фокусираха върху тялото за разпознаване на емоционални състояния47 и болка50, а една върху изражението на лицето на емоция49. Въпреки това наборите от данни, използвани в проучванията на Ferres et al.47 и Franzoni et al.49, съдържат изображения, събрани от интернет и анотирани от неексперти, и следователно потенциално са с ниска надеждност и валидност. Работата на Zhu50 изучава разпознаването на болка въз основа на езика на тялото, а не на изражението на лицето.

Изследването, представено тук, е първото, което изследва автоматизираното разпознаване на кучешките емоции от изражението на лицето, използвайки набор от данни, събран от внимателно проектиран експериментален протокол, където контекстът защитава емоционалните състояния22. В този протокол емоционалните състояния на положително очакване (положителна емоция) и фрустрация (отрицателна емоция) бяха оперативно дефинирани (в съответствие с 18 и експериментално индуцирани в извадка от 29 субекта лабрадор ретривър, минимизирайки променливостта на морфологичните разлики между кучетата. израженията на лицето, които кучетата произвеждат, са кодирани обективно с помощта на стандартизираната система DogFACS от сертифицирани програмисти DogFACS. Този набор от данни създава уникална експериментална среда за изследване на различни подходи за автоматизиране на разпознаването на емоции с минимални отклонения в дефиницията на емоция. Данните допълнително се възползват от намалена морфологична вариация на лицата на участниците поради стандартизацията на породата.

Според to36 има два стандартни пътя за класифициране на емоционално състояние или състояние на болка: използване на ръчно изработени характеристики или използване на парадигма за дълбоко обучение, базирана на научени характеристики51. Ръчно изработените характеристики могат да бъдат грубо разделени на характеристики от ниско ниво, които се основават на статистически данни за изображението (като хистограми на ориентирани градиенти), често използвани в литературата за компютърно зрение51, и характеристики от високо ниво, които са семантично обосновани, във видове- специфична анатомична структура на лицето и/или тялото, люспи на гримаси, единици за действие и т.н. Примери за последните са забележителности на лицето на котка52, ключови точки на тялото на куче47 или единици за действие на овча болка40. Тези характеристики насърчават обяснимостта на алгоритмите за машинно обучение чрез основаване на решенията на модела в поведенчески концепции. Подходът за задълбочено обучение, от друга страна, е по-гъвкав и се очаква да работи по-добре (особено когато са налични големи масиви от данни), но изисква скъпи изчислителни ресурси и е „черна кутия“ в смисъл, че не се поддава на обяснение в разбираеми за човека термини защо е взето определено решение за класифициране.

В това проучване ние изследваме и двата алтернативни пътя към автоматизирана класификация на емоционалните състояния при кучета. Първият маршрут използва променливи на DogFACS като обясними характеристики на високо ниво. Класификационният тръбопровод има два етапа в този случай: първо, автоматизирано разпознаване на кодовете на DogFACS и второ, използване на анотациите за класифициране на изследваните емоции. Ние демонстрираме полезността на такова обяснимо представяне за разбиране как променливите на DogFACS се използват при вземането на решения от машината. Вторият маршрут използва (по-прост, едноетапен) подход за задълбочено обучение, позволяващ на машината да се учи директно от характеристиките на данните, които не са непременно разбираеми за хората. Освен това сравняваме аспектите на обяснимостта между двата подхода и използваме техники за визуализация на топлинна карта, за да подчертаем връзката на научените характеристики със семантичните обекти, свързани с частите на лицето на кучето.

Резултати

Набор от данни.

Използвахме набора от данни и анотациите на DogFACS, генерирани като част от предишно проучване от Bremhorst et al.22. За да се намалят ефектите от морфологичните вариации, бяха тествани 29 субекта от една порода без екстремни черти на лицето (лабрадор ретривър) (19 женски – 13 кастрирани, 10 мъжки – 9 кастрирани; възрастов диапазон: 2–9,5 години, средна възраст {{9} }.22 години). Фигура 1 показва разпределението на субекта по възраст и пол.

Наборът от данни включва общо 248 видео проби с дължина 3s, записани при честота на кадрите от 25,25 кадъра/сек, като разделителната способност на всеки кадър е 1920 × 1080 пиксела. Камерата, използвана за запис, беше HIKVision, IR Mini Bullet Network Camera; рекордер: HIKVision, серия DS-7600. Субектите бяха разположени зад прозрачен прозорец, използвайки протокола, който е напълно описан в Bremhorst et al.22. Всеки субект е тестван 3 пъти в положително и 6 пъти в отрицателно състояние. Като цяло две трети от видеоклиповете бяха отбелязани като отрицателни, а една трета като положителни. В това изследване се приема, че отрицателното състояние предизвиква фрустрация, а положителното състояние предизвиква положително очакване, поради което оттук нататък използваме положителна/отрицателна валентност, за да се отнасяме към двете емоционални състояния. Фигура 2 показва изрязване на лица на кучета, извлечени от набора от данни.

Наборът от данни беше балансиран с помощта на произволна недостатъчна извадка, оставяйки 82 видеоклипа с положителни условия и 82 видеоклипа с отрицателни състояния от (n = 29) индивиди, общо 164 видеоклипа. Балансирането беше извършено при поддържане на същия брой положителни и отрицателни проби на индивид.

Всички видео проби бяха кодирани с помощта на 39 променливи на DogFACS въз основа на ръководството на DogFACS53 от сертифициран кодер на DogFACS, чрез анотиране на един кадър на 200 ms с помощта на Solomon Coder (версия 15.03.15, Andràs Péter). От тези 39 променливи, единадесет променливи, представени в таблица 1, бяха използвани в изследването на Bremhorst22, въз основа на разпространение от най-малко 10% във всички проби на положителното или отрицателното състояние и най-малко значителна сила на интеркодерното съгласие (вижте 22 за повече подробности).

Преглед на двата подхода.

Тук представяме сравнение на два различни подхода за автоматизирана класификация на положителни и отрицателни условия: базиран на DogFACS срещу чист (подходът DogFACS също има модул за задълбочено обучение за откриване на променливи на DogFACS) подход за задълбочено обучение. Фигура 3 представя общ преглед на двата подхода.

Наличието на видео данни ни позволява да работим с два типа вход: единични кадри или последователности от кадри. Първият предполага повече загуба на информация, но е по-прост и по-контролируем; докато последното включва времево измерение, за което е доказано, че има значение за такива задачи, например в контекста на откриване на болка при коне42,54. Преобладаващият подход в контекста на автоматизираното разпознаване на афективни състояния и болка при животните обаче е основата на една рамка (напр. 33,39,41,55). Поради проучвателния характер на това проучване, ние избрахме този вариант.

Така и двата подхода работят на базата на единичен кадър, т.е. класификацията се извършва на единични кадри, извлечени от видеоклипове. Въпреки това, агрегирането на информацията за единичен кадър се извършва по различен начин в двата случая. След стъпка на предварителна обработка на извличане на изрязани лица на кучета от кадрите (вижте Фиг. 2 за примери), при дълбокия подход необработените изрязани лица се приемат като входни данни от невронна мрежа. Тук експериментираме с архитектури на невронни мрежи от два типа: конволюционна невронна мрежа (Resnet5056) и наскоро въведената мрежа на визуален трансформатор57 (ViT). След това решенията на избраната мрежа се обобщават чрез гласуване с мнозинство и се достига до решението за класифициране за всеки видеоклип.

Базираният на DogFACS подход, от друга страна, използва тръбопровод с две последователни стъпки. Първият е автоматизираният детектор на променливи DogFACS, който открива набор от променливи на DogFACS във всеки кадър. След това променливите на DogFACS се агрегират за цялото видео. Втората стъпка е дърво на решенията, чийто вход е наборът от променливи на DogFACS, открити във видеото, които се прилагат за достигане на окончателното решение за класификация.

По този начин подходът, базиран на DogFACS, взема решение за класифициране въз основа на набор от променливи на DogFACS, идентифицирани във видеото; подходът за задълбочено обучение, от друга страна, взема решение за всеки кадър поотделно, извличайки научени характеристики от необработени изображения и след това обобщава решението за всички кадри за видеото. Следователно, когато изследваме обяснимостта на двата подхода, в първия се очаква да имаме „обяснения“ по линията на Bremhorst et al.22 (идентифициране на преобладаващи променливи във всяко от условията или някаква комбинация от тях). Последният подход обаче се очаква да даде повече визуални обяснения върху какви характеристики на изображението се фокусира моделът, както е описано по-долу.

За оценка на ефективността на нашите модели използвахме стандартните показатели за точност, прецизност и запомняне, което е стандартният метод в контекста на машинното обучение. Като метод за валидиране използвахме кръстосаното валидиране на един субект без припокриване на субекти, което означава използване на всяко куче субект като отделен набор от тестове. Този метод се препоръчва за масиви от данни, в които едно лице има повече от една свързана проба36. Вижте Broomé et al.36 за обсъждане на значението на избора на подходящ метод за валидиране.

Подход, базиран на DogFACS.

Набори от променливи на DogFACS. Експериментирахме с два различни набора от променливи на DogFACS:

1. Наборът от единадесетте променливи, представени в таблица 1, които бяха използвани в изследването на Bremhorst et al.22, са най-обещаващите или потенциално най-важните променливи (на базата на разпространение от най-малко 10% във всички проби от двете положително или отрицателно условие) и те биха могли да бъдат кодирани надеждно (с най-малко значителна сила на интеркодерното споразумение, вижте 22).

2. Целият набор от 39 DogFACS променливи, кодирани в изследването на Bremhorst et al.22.

Classification results. To explore optimal performance, we used the manual DogFACS annotations from Bremhorst et al.22 to experiment with different machine learning techniques, including Decision Tree, XGBoost, and Random Forest. Table 2 presents a comparison of their performance, with Random Forest performing slightly better for the full set of DogFACS variables (39 variables), reaching accuracy > 71%. In the limited set (11 DogFACS variables), the three models converged to one tree, and thus are presented together, reaching a slightly lower accuracy of > 66%.

Минимизиране на дървото на решенията. След това извършихме систематично търсене на минимален набор от променливи на DogFACS, които биха довели до същата ефективност на класификацията, представена в таблица 2. Таблица 3 показва, че използването само на една променлива на DogFACS като функция гарантира подобна производителност като тази, представена в таблица 2. Променливата „Ears Flattener“ е най-важната за класификация с помощта на ограничения набор от 11 променливи на DogFACS, нейното присъствие предсказва отрицателното състояние. Фигура 4 показва опростеното дърво на решенията само с една характеристика, предсказваща положителното състояние - отсъствие на "Ears Flattener" и отрицателното условие - неговото присъствие (с точност > 66%).

Трябва да се отбележи, че когато се вземат предвид всичките 39 променливи на DogFACS, „Eyes Up“ е най-важната променлива за класифициране, използвайки всичките 39 променливи, нейното присъствие предсказва положителни условия с висока точност от > 71%.

Автоматизирано откриване на променливи на DogFACS. Въз основа на нашите открития, обучението на детектор за променливите DogFACS „Ears Flattener“ и „Eyes Up“ е достатъчно за напълно автоматизирана система за класифициране. Ние също така проучихме откриването на други променливи, използвайки предварително обучена конволюционна невронна мрежа ResNet50 върху балансирани набори от данни (на различен брой изображения поради променливостта в променливата честота на DogFACS). Работата на получените детектори е представена в таблица 4.

Дълбок подход.

При този подход ние използвахме общата настройка за „трансферно обучение“, обучавайки линейна сонда върху фиксиран предварително обучен гръбнак, използвайки човешки пояснения. Ние изследваме пригодността на различни гръбнаци за тази задача, като повтаряме експеримента с четири предварително обучени гръбнаци: ResNet и ViT, обучени или по контролиран начин за класифициране на изображения57, или по самоконтролиран начин, използвайки DINO58.

Ние обучихме четири различни модела (на целия набор от данни) и тествахме тяхното представяне, използвайки рамки от същия балансиран набор от данни, описан по-горе (82 видеоклипа на отрицателното състояние, 82 видеоклипа на положителното състояние от (n = 29) индивиди, правейки общо 164 видеоклипа).

Таблица 5 представя резултатите от класификацията, анализирани за всеки видеоклип, т.е. казваме, че видеоклипът е класифициран правилно, ако по-голямата част от кадрите му са класифицирани правилно. Може да се види, че моделът, обучен с гръбнак DINO-ViT, показва най-добра производителност с над 89% точност. Таблица 6 представя резултатите от класификацията, анализирани по рамки. Както се очаква, в този случай мерките са донякъде намалени в сравнение с анализа, извършен върху агрегирането на кадри, което води до 85% точност за модела, обучен с DINO-ViT гръбнак.

Дискусия

The present study is the first to explore automated recognition of canine emotional states focusing on diverse facial expressions, whilst using a carefully designed controlled experimental setup for dataset creation and annotation. We present classifiers of two different types: deep learning-based and DogFACS-based, both having a performance that is comparable to and in some cases outperforms those presented in previous studies addressing recognition of pain or emotional state from facial expressions, including mice38,39 (> 89% and 93% respectively), cats43 (> 72%), horses42,46 (> 75% and 65% respectively) and sheep55 (> 64%).

The DogFACS-based approach described here reached an accuracy of > 71% using the full set (n =  39) of DogFACS variables, but a lower accuracy of > 66% when using only the eleven DogFACS variables which were utilized in the study of Bremhorst et al.22 ( this accuracy was achieved based on manual DogFACS annotations and is expected to drop even lower in an end-to-end pipeline). Of the full set of 39 DogFACS variables, 'Eyes Up' were of considerable importance for classification, and including them in the Decision Tree leads to higher accuracy (>71%). Въпреки това, когато се интерпретират насочени променливи като движения на очите и тяхното значение като потенциални индикатори за емоции, винаги трябва да се има предвид експерименталната настройка на изследването, в което са събрани данните. В Bremhorst et al.22 експериментаторът доставя наградата храна с движение малко над очната линия на кучетата. Това може да е насърчило кучетата да гледат нагоре (предизвиквайки променливата „Очите нагоре“) в очакване на храна. Следователно трябва да признаем, че тази променлива на DogFACS може да бъде артефакт на експерименталната процедура. Когато избирате променливи като част от разработването на емоционални индикатори, важно е да претеглите риска от грешка от тип I (фалшиво положителен) спрямо грешка от тип II (фалшиво отрицателен), който е почти неизбежен. При работата с намален набор от единадесет променливи на DogFACS ние дадохме приоритет на избягването на фалшиви негативи пред фалшиви положителни резултати, за да не изключим преждевременно дадена променлива от по-нататъшно разследване. Можем да очакваме, че погрешно приетите променливи ще бъдат изключени в следващите проучвания, ако се установи тяхната липса на предсказуема валидност (както е обсъдено в 19).

As a byproduct of these results, we obtained automated detectors for nine DogFACS variables, of which five performed with an accuracy >70%, демонстрирайки осъществимостта на точното автоматизирано разпознаване на променливите на DogFACS. Основното предизвикателство за обучение на детектори за всяка променлива е наличието на данни, т.е. ниската честота на появяване на някои променливи на DogFACS, което изисква целенасочени усилия за събиране на набори от данни за конкретни променливи. Освен това някои променливи имат времево измерение и не могат да бъдат обработени на базата на един кадър (напр. мигане или задъхване). Разработването на детектори за тях изисква модели, които също използват времева динамика, като подхода на Broomé et al.42.

Освен това трябва да се отбележи, че тъй като нашият набор от данни е ограничен до една порода, необходимостта от непосредствено бъдещо изследване е оценка на възможността за обобщаване на моделите към други породи. Ако производителността спадне значително при прехвърляне на резултатите към други породи, са посочени алтернативни подходи към използвания тук дълбок подход, напр. във Feighelstein et al.43.

Изследването на възможността за обобщаване на моделите, представени тук, е важно не само в контекста на откриването на променливи на DogFACS, но и за класификацията на емоциите. Наборът от данни, използван тук, се контролира не само за породата, но също така се записва при строго контролирани условия на околната среда. Обобщаването от контролирани среди до натуралистични настройки е известно трудно предизвикателство също и в човешките афективни компютри60. Feng et al.61 предоставят преглед на човешкия домейн на начини, по които техниките за трансфер на обучение могат да преодолеят предизвикателствата, свързани с ограничени количества проби от данни, оскъдни етикети и променливост на околната среда, насърчавайки стабилни и генерализирани автоматизирани системи за разпознаване на емоции. Подобни начини могат да бъдат изследвани в кучешките афективни компютри; представените тук резултати предоставят основа за по-нататъшно изследване в тази посока.

Въпроси като „Могат ли машините да разпознават емоционалните състояния на животните?“ са интересни сами по себе си и имат широкообхватни практически приложения за хуманно отношение към животните. Резултатите от нашето проучване дават известна индикация за положителен отговор, поне в случай на положително разочарование и очакване при кучета. Въпреки това, изграждането на AI модели, които разпознават емоциите на кучетата, има значителна добавена стойност, като ни помага да разберем как машините класифицират емоциите, дали са чувствителни към нюанси, които не се виждат от човешкия експерт, и какви последици има това за разбирането ни за емоциите на животните и продължаващото дебати за чувствителността на животните. Поради тази причина е изключително важно и обещаващо да се проучи обяснимостта (каква е обосновката зад решението на машината?) и интерпретируемостта (как структурата на модела е свързана с вземането на такова решение?)62. Тези теми са фундаментални в ИИ и са разгледани от огромно количество изследвания63–65, като по-голямата част от усилията се фокусират върху подходи за дълбоко обучение, чиято интерпретируемост е ограничена от тяхната сложна структура66. Методите за обяснение по своята същност са специфични за дадена област: предоставянето на обяснения за автоматизирано разпознаване на личностни черти при интервюта за работа е различно, например, от предоставянето на клинична обосновка за медицински решения62.

Нашето проучване е първото, което се занимава с аспектите на обяснимостта на AI моделите за разпознаване на животински емоции. Тъй като сравнихме два различни подхода към класификацията на емоциите, има добавена стойност от способността да сравняваме и разликите в аспектите на обяснимостта, които те разглеждат. Подходът, базиран на DogFACS, води до модели под формата на прости дървета на решенията, които моделират човешки логически разсъждения под формата на комбинация от булеви условия относно присъствието/отсъствието на определени променливи на DogFACS. Обяснителната природа на дърветата на решенията е особено отразена в тяхната опростена версия само с един възел, като този, който се изучава тук (с „Ears Flattener“). Такива дървета са тясно свързани с концепции, полезни за човешките експерти, по-специално за емоционални индикатори, изследвани от Bremhorst et al.19. Валидните индикатори за емоции са предназначени да идентифицират точно конкретно емоционално състояние, като присъстват винаги, когато емоцията е налице, и отсъстват в противен случай.

Тези характеристики се описват чрез чувствителност и специфичност, показатели, които обикновено се използват за оценка на точността на диагностичните тестове. Bremhorst et al.19 установиха, че нито една от променливите на DogFACS, разгледани в проучването, не може да се счита за специфичен индивидуален индикатор за положително очакване или разочарование при кучета. По-конкретно, беше показано, че „Ears Flattener“ има относително висока чувствителност, но ниска специфичност. Ето защо не е изненадващо, че моделът, описан в нашето проучване, който е дърво на решенията с „Ears Flattener“ като единствена функция, не постигна висока производителност. Въпреки това, връзката между метриките на индикаторите за емоции, използвани от Bremhorst et al.19, и метриките, използвани тук за оценка на ефективността на нашия модел, не е ясна. Докато първият изчислява чувствителността, специфичността и положителната и отрицателната прогнозна стойност за цялостните, небалансирани данни, вторият оценява производителността в задача за прогнозиране. Това означава, че данните се разделят на две части: обучение, което се използва за обучение на модела, и тестване за оценка на ефективността му. За разлика от Bremhorst et al.19, ние също така балансирахме данните, използвайки недостатъчна извадка. Въпреки това, интуитивната връзка между двете е, че ако беше намерен отличен индикатор за емоции с помощта на предишния подход, бихме могли да очакваме, че дървото на решенията, използващо го като функция, също ще достигне отлична производителност.

В допълнение към обяснимостта, подходът за машинно обучение, представен тук за търсене на оптимални модели на дървото на решенията за предсказване на емоциите на кучетата, има потенциала да доведе до нови прозрения в индикаторите за емоции. Както беше обсъдено по-горе, откриването на точни индикатори за емоции по отношение на Bremhorst et al.19 е тясно свързано с проблема за намиране на класификатори на дървото на решенията с една променлива на DogFACS за прогнозиране на емоциите. Докато такива класификатори не са показали висока точност в нашето проучване (и наистина не са открити точни индикатори за емоции в 19), ефективността на класификацията може да бъде подобрена чрез разглеждане на по-сложни форми на дървета на решенията, например чрез групиране на променливите на DogFACS в двойки , тройки и т.н. Нашите предварителни експерименти, използващи двойки променливи на DogFACS като възли, показани на Фиг. 5, показват, че това подобрява производителността на модела по отношение на извикването. Важно е, че изследването на това кои комбинации от променливи на DogFACS могат да подобрят класификацията може да бъде направено по автоматизиран, изчерпателен и систематичен начин, потенциално водещо до по-фини представи за индикатори за емоции. Това осигурява обещаващ път за бъдещи изследвания.

Подходът на задълбочено обучение, от друга страна, постигна значително по-висока производителност от над 89%, което демонстрира потенциала на такива подходи за класифициране на емоциите. Освен това, гръбнакът DINO-ViT изглежда най-подходящ за задачата за класификация на емоциите от всичките четири изследвани варианта. Ние предполагаме, че това се дължи на характеристиките на DINO-ViT, които са чувствителни към частите на обекта, както е показано в 67; и поради естеството на задачата за класификация на емоциите, изискваща разбиране на ниво обект-част (части на лицето като очи, уши и т.н.). Интересното е, че гръбнаците, предварително обучени с DINO, дават по-добри резултати от контролираните гръбнаци.

Трябва да се отбележи, че класификаторът за дълбоко обучение работи въз основа на изображения, след което обобщава резултатите за всеки видеоклип. Това означава, че въпреки че много от кадрите не показват наличието на променливи на DogFACS, моделът все още е успешен в тяхната правилна класификация. Това може да показва чувствителността на модела към фини детайли на ниво пиксел, което може да надхвърли възможностите на човешкото око. Въпреки това, това може да бъде свързано и с потенциални клопки под формата на някои присъщи пристрастия. Също така, променливата „Eyes Up“, обсъдена по-горе, може да е била инструментална за мрежата и нейният ефект върху вземането на решения не се неутрализира лесно в мрежата за дълбоко обучение. Проучването на тези проблеми изисква допълнително събиране на данни при различни експериментални условия и условия на околната среда, за да се изключат подобни капани.

Обяснимостта на подхода за задълбочено обучение, разглеждан тук, от друга страна, е от напълно различно, по-визуално естество в сравнение с това, базирано на DogFACS. За разлика от моделите на дървото на решенията, изключително трудно е да се обясни вземането на решения в невронните мрежи с разбираеми за човека термини, поради тяхната изключително сложна природа на „черна кутия“68. Използването на метода EigenCAM59 подчертава разликите между различните модели, с които експериментирахме (ResNet/ViT, контролиран/DINO). Както е показано на фиг. 6, има някои разлики между моделите. Моделите Te ViT изглежда показват по-добра локализация от моделите ResNet, тъй като силно активираните региони (маркирани с червено) са по-малки и лежат върху по-изпъкнали региони (напр. очи, уши, нос, а не кожа). Освен това изглежда, че моделът DINO-ViT се активира върху множество изпъкнали области, а не върху една (напр. активиране върху ушите, очите и носа, а не само върху ушите в горния десен пример). Ние отдаваме успеха на базираните на ViT модели на способността на ViTs да предоставят по-локализиран сигнал от моделите ResNet. Това произтича от тяхната архитектура - разделителната способност на функциите на ViT остава постоянна в слоевете, докато разделителната способност на функциите на CNN намалява, когато слоевете стават по-дълбоки.

Въпреки че достигането до окончателни заключения изисква допълнителни изследвания, ние експериментирахме с метода EigenCAM, фокусирайки вниманието си върху кадри, отговарящи на следните условия: (i) ръчно кодирани с променливата „Ears Flattener“ и (ii) принадлежащи към класа на видео образци на отрицателно състояние и (iii) правилно класифицирано от мрежата DINO-ViT като отрицателно състояние. В нашия анализ разделихме примерите в три категории, както е показано на фиг. 7. Примери за категория A са топлинни карти с ясен фокус само върху ушите. Това може да се разглежда като съвместимо с свързаното с DogFACS обяснение „Ears Flattener“, т.е. може да се окаже, че моделът е научил модели, свързани с движението на ушите. Категория B също е в съответствие с това, показвайки топлинни карти, фокусирани както върху ушите, така и върху други области, като очите, челото, носа и устата. Последното също може да бъде косвено свързано с движението „Ears Flattener“, както и с други променливи на DogFACS или някаква друга постурална характеристика, която може да присъства в рамката. Най-интригуващата категория обаче е категория C: тук моделът улавя сигнали от части на лицето, различни от ушите, като все още прави правилните класификации. Тези случаи може да съдържат ключа към разбирането на чувствителността на мрежата към нюанси, които не се виждат от човешкото око. Във всеки случай трябва да се отбележи, че анотациите на DogFACS не могат да покрият изчерпателно всички възможни промени в поведението на лицето, което може да бъде отразено в модели на пиксели, към които мрежата е чувствителна. След това също извлякохме топлинни карти от видеоклипове, които нямаха анотирани променливи на DogFACS. Имаше девет видеоклипа без променливи, осем от тях „положителни“ и един — „отрицателни“. Поразително е, че по-голямата част от тези видеоклипове (77%) все още са класифицирани правилно от модела. Това може да е още една индикация, че моделът улавя финото поведение на лицето, което не е уловено от DogFACS. Когато изследвахме топлинните карти, създадени за кадри от тези видеоклипове, забелязахме, че областта нос-уста е основен фокус за модела. Някои други кадри показват фокус върху други части на лицето, докато има случаи на правилно класифицирани кадри, но замъглени и неясни топлинни карти. Примери от тези три категории са показани на Фиг. 8. Интересното е, че тези топлинни карти нямат фокус върху конкретни части на лицето, което предполага, че наистина в тези случаи визуалните знаци са по-малко очевидни за модела.

Друг забележителен проблем, свързан с двата подхода по отношение на производителността, е кратката дължина на видеоклиповете (3 s) в текущия набор от данни. Използването на по-дълги видеоклипове води до предизвикателството да се идентифицира оптимален времеви прозорец, през който вътрешното състояние може да се счита за постоянно. Този проблем е разгледан в69 в контекста на нискостепенна ортопедична болка при коне и е важна посока за бъдещи изследвания също и за емоционалните състояния на кучетата.

За да обобщим, това проучване демонстрира стойността на два различни подхода за автоматизирана класификация за две емоционални състояния при кучета въз основа на техните изражения на лицето: положително срещу отрицателно състояние. И двата постигнаха добра точност, сравнима с други най-съвременни методи за автоматизирано разпознаване на въздействие върху животни. Тези резултати не само дават за първи път утвърдителен отговор на въпроса „Могат ли машините да разпознават положителните/отрицателните емоции на кучетата?“, но също така откриват нови изследователски пътища за изследване на това как машините ги разпознават и как това разпознаване да стане обяснимо за хората . По-нататъшното експериментиране с по-големи масиви от данни с по-широки характеристики на участниците също ще насърчи нашето разбиране за това как да разработим добри индикатори за емоции на животни. Една специфична посока, която изглежда особено обещаваща, е изследването на потенциала на подходите, свързани с откриването на лицеви ориентири, като OpenFace70 и Google MediaPipe71. Подобни подходи тепърва започват да се изследват за нечовешки животни, вижте напр. изследването на Feighelstein et al.43 върху лицата на котки. Подобно на човешкия домейн, тяхното развитие ще изисква обширни мултидисциплинарни усилия за събиране на голям набор от данни за различни видове.

Методи

Набор от данни.

Наборът от данни, свързан с кучетата, използвани за това проучване, е събран преди това съгласно следните етични одобрения на Университета на Линкълн, (UID: CoSREC252) съгласно Bremhorst et al.22 с изменение на това изследване е получено от Университета на Линкълн за използвайки оригиналния набор от данни в настоящото изследване. Настоящият протокол, използващ тези данни, беше прегледан от Комитета по етика на университета в Хайфа и не беше необходимо допълнително одобрение.

Изрязване и предварителна обработка.

Тази стъпка е подходяща както за DogFACS, така и за дълбоките подходи. Оригиналните видеокадри съдържат фонов хаос, включително заобикалящата стая, хора, тела на кучета и т.н. Ние се стремим да се съсредоточим върху израженията на лицето на кучетата и да избягваме да научаваме други предиктори на емоционалното състояние (напр. пози на тялото на кучето). Затова обучихме Mask-RCNN72 да идентифицира кучешки лица и го използвахме, за да изрежем рамката на лицето от всяко изображение. Ние обучихме Mask-RCNN на приблизително 200 анотирани изображения от този набор от данни, което го прави най-подходящ за тази конкретна експериментална настройка. Примери за лицеви култури, получени чрез етапа на предварителна обработка, могат да се видят на Фиг. 2.

Подход, базиран на DogFacs.

От видеоклипове до променливи на DogFACS. Пълният тръбопровод е описан в следната диаграма, вижте фиг. 9. Той включва следните стъпки:

• Изрязване на кучешки лица от рамките, като използвате метода, описан по-горе.

• Изграждане на набори от данни за променливи на DogFACS Използвайки ръчно кодиране на DogFACS на Bremhorst et al.22, за всяка променлива на DogFACS създадохме две папки с положителни и отрицателни примери (кучешко лице, изразяващо или не изразяващо тази променлива на DogFACS). За положителните проби (присъстваща променлива) избрахме изображенията на всички рамки, ръчно кодирани с тази променлива. За отрицателните проби избрахме кадри във видеоклипове, които нямат променливата, отбелязана в тяхното кодиране, до първото появяване на тази променлива (или до края на видеоклипа, ако не присъства). След това наборите от данни бяха балансирани, оставяйки равен брой изображения за положителни и отрицателни примери за всяка променлива. Таблица 4 показва размера на наборите от данни за всички променливи на DogFACS, за които са получени детектори.

От променливите на DogFACS до класификацията на емоционалните състояния. Използвахме трансферно обучение, базирано на предварително обучена мрежова архитектура ResNet50, инициализирана с тегла на Imagenet. Заменихме горния му слой със среден пул слой, 20 процента отпадащ слой и слой с класификатор с два класа. Моделът беше обучен по време на 20 епохи с помощта на оптимизатора на Адам със скорост на обучение от 0,0001. Моделът, постигащ максимална точност на набора от данни за валидиране, беше избран като най-добър модел. През първите 10 епохи теглата на всички слоеве бяха фино настроени. През първите 10 епохи теглото на всички слоеве беше фино настроено. През останалите епохи теглата на ResNet50 бяха замразени и само теглата на новите горни слоеве бяха актуализирани. За променливи, които не са свързани с ориентация („Изглаждане на ушите“, „Част на устните“, „Адуктор на ушите“, „Уши напред“ и „Облизване на носа“) ние приложихме техника за увеличаване, базирана на произволно хоризонтално движение на изображението и завъртане до 20 градуса. Като вход за енкодера използвахме входна таблица, където всеки ред представлява присъствието (1)/отсъствието (0) на всяка от 11-те променливи на DogFACS във всеки видеоклип. Целта на енкодера е таблица, съдържаща състоянието (отрицателно (0)/положително (1)) на всеки видеоклип.

Дълбок подход.

Доскоро конволюционните невронни мрежи (CNN) се смятаха за най-съвременни в задачите за компютърно зрение. Наскоро архитектурата Vision Transformer (ViT)57 се появи като алтернатива73. Методът DINO за обучение е въведен едва през 2021 г. като рамка за самодестилиране на обучение. Обучението на няколко DNN гръбнака (ResNet50, visit-small, vit-base и т.н.) в тази конфигурация показа, че ViT гръбнак, обучен с подхода DINO, превъзхожда предишните резултати от класификацията на стандартния набор от данни на ImageNet74.

Използвахме ResNet50 архитектура за контролирани и DINO-обучени опори; ViT-S/16, обучен по контролиран начин, и ViT-S/8, обучен с DINO. Използваме предварително обучени тежести на ViT от библиотеката на Timm75. Ние обучаваме и четирите модела за 30 епохи, използвайки Adam optimizer76 с бета версии=(0, 0,999) и скорости на обучение: 10−4 за ResNet гръбнака и 5 · 10−6 за ViT гръбнака. Кривите на загубите на обучените модели са представени на фиг. 10.

Визуализация на карта.

Ние избираме метода Eigen-CAM59, за да визуализираме основните компоненти на крайните активации за всеки модел. Доказано е, че Eigen-CAM предоставя по-лесно интерпретируеми резултати с по-малко изчисления в сравнение с други CAM методи като популярния Grad-CAM77. Освен това, за разлика от други методи за визуализация като Grad-CAM59 и Grad-CAM++78, Eigen-CAM е инструмент, независим от класа. Това свойство позволява на Eigen-CAM да визуализира научени модели, дори когато предвиждането на модела е грешно, за разлика от по-старите CAM методи, които произвеждат неподходящи карти, когато прогнозата им е неправилна. Това свойство на EigenCAM дава възможност за тълкуване на причините за неуспешно прогнозиране. Той е по-последователен и класово разграничителен в сравнение с други най-съвременни методи за визуализация. В допълнение, EigenCAM не е специфичен за модела - може да се използва както за ViT, така и за CNN, без да се променят слоевете.

Наличност на данни

Наборът от данни, използван в тази статия, е достъпен при поискване от съответния автор.

Препратки

Darwin, C. Te Expression of Emotions in Animals and Man Vol. 11, 1872 (Мъри, 1872).

2. Ekman, P. & Friesen, WV Измерване на движението на лицето. Environ. психол. Невербално поведение. 1, 56–75 (1976).

3. Ekman, P. & Keltner, D. Универсални изражения на лицето на емоциите. В невербалната комуникация: Където природата среща културата (ред. Segerstrale UP & Molnar, P.) vol. 27, 46 (1997).

4. Ръсел, JA, Bachorowski, J.-A. и Фернандес-Долс, Ж.-М. Лицеви и гласови изрази на емоции. Ан. Rev. Psychol. 54, 329–349 (2003).

5. Diogo, R., Abdala, V., Lonergan, N. & Wood, B. От fsh до съвременния човек - сравнителна анатомия, хомологии и еволюция на мускулатурата на главата и шията. J. Anat. 213, 391–424 (2008).

6. Descovich, KA и др. Изражение на лицето: недостатъчно използван инструмент за оценка на хуманното отношение към бозайниците (Altex, 2017).

7. Mota-Rojas, D. et al. Настоящ напредък в оценката на емоциите на кучетата, изражението на лицето и тяхното използване за клинично разпознаване на болка. Животни 11, 3334 (2021).

8. Ekman, P. & Friesen, WV Система за кодиране на лицеви действия: Наръчник (Consulting Psychologists Press, 1978).

9. Ekman, P. & Friesen, W. Система за кодиране на лицеви действия: техника за измерване на лицеви движения (1978).

For more information:1950477648nn@gmail.com