Слюсар С. В. Система обробки зображень відеоряду очей для визначення психологічного стану // Міжнародний науковий журнал "Інтернаука". - 2018. - №12.
Технические науки
УДК 612.846
Слюсар Світлана Вікторівна
студентка кафедри біомедичної кібернетики
Національного технічного університету України
«Київський політехнічний інституту імені Ігоря Сікорського»
Слюсар Светлана Викторовна
студентка кафедры биомедицинской кибернетики
Национального технического университета Украины
«Киевский политехнический институт имени Игоря Сикорского»
Sliusar Svitlana
Student of the Department of Biomedical Cybernetics of the
National Technical University of Ukraine
“Igor Sikorsky Kyiv Polytechnic Institute”
СИСТЕМА ОБРОБКИ ЗОБРАЖЕНЬ ВІДЕОРЯДУ ОЧЕЙ ДЛЯ ВИЗНАЧЕННЯ ПСИХОЛОГІЧНОГО СТАНУ
СИСТЕМА ОБРАБОТКИ ИЗОБРАЖЕНИЙ ВИДЕОРЯДА ГЛАЗ ДЛЯ ОПРЕДЕЛЕНИЯ ПСИХОЛОГИЧЕСКОГО СОСТОЯНИЯ
EYE VIDEO PROCESSING SYSTEM FOR DETERMINING THE PSYCHOLOGICAL STATE
Анотація. Розглянуто систему для визначення психологічного стану шляхом обробки зображень відеоряду очей. Розглянуто вимоги до функціонування системи. Представлено методи для програмної реалізації обробки зображень відеоряду з бібліотеки OpenCV. Розглянуто експертне оцінювання як ключовий етап роботи системи.
Ключові слова: OpenCV, експертне оцінювання, контурування, бінаризація зображення, детектор брехні.
Аннотация. Рассмотрена система для определения психологического состояния путем обработки изображений видеоряда глаз. Рассмотрены требования к функционированию системы. Представлены методы для программной реализации обработки изображений видеоряда из библиотеки OpenCV. Рассмотрены экспертная оценка как ключевой этап работы системы.
Ключевые слова: OpenCV, экспертная оценка, контурирование, бинаризация изображения, детектор лжи.
Summary. The system for determining the psychological state by processing images of the video of the eyes is considered. The requirements for functioning of the system are considered. The methods for software implementation of video image processing from the OpenCV library are presented. Expert evaluation is considered as a key stage of the system.
Key words: OpenCV, expert evaluation, contouring, binary image, lie detector.
Вступ. Багато урядових установ та приватних корпорацій регулярно проводять психологічні тестування, які в більшій мірі пов’язані з виявленням брехні, для відбору кандидатів на посади в галузі розвідки, національної та приватної безпеки, правоохоронних органів, імміграції та громадського транспорту. Неправильне трактування результатів тестування може призвести до серйозних наслідків для суспільного спокою. Найбільш поширеним засобом для детектування щирості кандидатів – поліграф. Але Національна дослідницька рада Америки критично ставиться до такого підходу при перевірці на етапі працевлаштування, що відкриває нове поле для досліджень. Традиційні методи розпізнавання брехні базуються на психофізіологічних реакціях відповідно до запитань і вважається, що емоції відіграють важливу роль в цих реакціях.
У цій статті пропонується новий метод розпізнавання брехні з використанням системи обробки зображень відеоряду очей. Головна ідея методу полягає у аналізі змін розмірів зіниці під час дії емоційних подразників. Потрібні емоції у людини викликаються за допомогою специфічних запитань, які відносяться до певної тематики. Експерт задає ці запитання та слідкує за зміною параметрів зіниці для проведення оцінювання в балах, які після закінчення опитування сумуються та інтерпретуються відповідно до шкал (розглянуті далі).
Механізм впливу емоційних подразників на зіницю ока. Зміни розмірів зіниці ока людини регулюються автономною нервовою системою і не піддаються контролю людини [1]. Підвищення активності парасимпатичної іннервації викликає звуження зіниці, тоді як підвищення активності симпатичної іннервації викликає розширення зіниці. Це пояснює вплив емоційного стану людини на розміри зіниці у разі нормального стану зорової системи людини [2, с. 221-234; 3, с. 106-116]. Так як людина має досить широкий спектр емоцій і кожна з них має свої характеристики, то це ускладнює процес розробки запропонованої системи автоматично. Тому до аналізу зміни розмірів зіниці залучено експерта.
Вимоги до системи. На якість вхідних даних системи впливає ряд факторів. Розмір зіниці в першу чергу реагує на зміни освітленості. Але враховуючи, що система проводить динамічну оцінку зміни розмірів зіниць, то більшість факторів, які будуть перераховані далі, вносять систематичну похибку. Тому якщо похибки матимуть постійний характер впливу, то це не впливатиме на результати роботи системи. Тим не менш, необхідно зазначити ці фактори:
Фіксування зміни розмірів зіниці у часі програмно. Для програмної реалізації системи пропонується бібліотека комп’ютерного бачення з відкритим доступом OpenCV (Open Computer Vision). Бібліотека OpenCV досить популярна серед програмістів сьогодні, завантажена вже понад декілька мільйонів разів та реалізовані корисні проекти з її використанням.
Функціонал бібліотеки OpenCV використовується такими великими компаніями, як Microsoft, Intel, Siemens, IBM.
Для реєстрації відеокадрів в реальному часі використовується клас VideoCapture, який в своєму конструкторі приймає один із двох можливих параметрів [4]:
Після реєстрації відеопотоку важливо обробляти його кадри. Обробка зображень відеоряду очей складається з наступних етапів: детектування очей; детектування зіниці ока; визначення розмірів зіниці ока.
Для детектування очей використовується алгоритм Віоли Джонса, який представлений функцією detectmultiscale [4]. Для визначення локалізації зіниці необхідно провести бінаризацію, яка позбавить від неінформативних пікселів, тобто світлих ділянок кадру.
Рис. 1. Приклад кадру з відеоряду
Серед існуючих функцій обрано threshold, яка має досить зручний інтерфейс. Для роботи з цією функцію необхідно вказати кадр, який буде оброблятись, встановити верхню та нижню межу для значень пікселів та вказати метод бінаризації. Крім того, якщо на кадрі помітна світлова пляма від освітлення як на рис. 1, від неї можна позбавитись за допомогою морфологічних перетворень (рис. 2), які також представлені у вигляді функцій бібліотеки OpenCV.
Рис. 2. Результат виконання морфологічних перетворень
Після обробки кадру необхідно визначити розміри зіниці досить просто – це площа еліпсу світлих пікселів кадру. Еліпс знаходиться на оконтурованому зображенні. Найбільш значимим параметром для подальших досліджень є ширина зіниці.
Експертна оцінка динаміки змін. Експерт, який проводить опитування задає питання людині з однією із 3-х запропонованих шкал: шкала депресії, шкала соціальності, шкала тривоги. Ці шкали взяті з опитувальника, який розроблений Міннесотським університетом [5, с. 219]. Кожна з шкал надає можливість оцінити характерні риси людини та її психологічний стан. Далі аналізується динаміка змін розмірів зіниці у часі. Аналіз проводиться експертом системи та полягає у виставленні балів від 1 до 3: 1 – це динаміка змін розмірів зіниці відсутня; 2 – динаміка змін розмірів зіниці незначна; 3 – значно помітна динаміка змін розмірів зіниці. Після виставлення експертних балів для кожного запитання вони сумуються та відповідно до порогових значень шкал інтерпретуються, тобто визначається психологічний стан.
Висновки та перспективи розвитку. Подальші дослідження необхідні для визначення, чи достатньо спостережувальні зміни параметрів зіниці, які пов’язані з різними психологічними розладами, з точки зору специфічності та чутливості, які мають діагностуватись. Тим не менш, пупілометра добре підходять для включення в ранні діагностичні оцінки та можуть доповнювати інші джерела інформації для виявлення пацієнтів з відхиленням для подальших клінічних досліджень.
Література
