Выпуск №6 (Март)

https://doi.org/10.25313/2520-2057-2018-6

XXXVІI Международная научно-практическая конференция: "Актуальные проблемы современной науки", 28.12.2018 (Совместная конференция с Международным научным центром)

XXXVI Международная научно-практическая конференция: "Актуальные проблемы современной науки", 29.11.2018 (Совместная конференция с Международным научным центром)

XIII Международная научно-практическая конференция «Актуальные проблемы экономики и финансов», 31.10.2018 (Совместная конференция с Финансово-экономическим научным советом)

XXXV Международная научно-практическая конференция: "Актуальные проблемы современной науки", 30.10.2018 (Совместная конференция с Международным научным центром)

XXXIV Международная научно-практическая конференция: "Актуальные проблемы современной науки", 28.09.2018 (Совместная конференция с Международным научным центром)

ХXXIII Международная научно-практическая конференция: "Актуальные проблемы современной науки", 30.08.2018 (Совместная конференция с Международным научным центром)

ХXXII Международная научно-практическая конференция: "Актуальные проблемы современной науки", 31.07.2018 (Совместная конференция с Международным научным центром)

XII Международная научно-практическая конференция «Актуальные проблемы экономики и финансов», 31.07.2018 (Совместная конференция с Финансово-экономическим научным советом)

ХXXI Международная научно-практическая конференция: "Актуальные проблемы современной науки", 29.06.2018 (Совместная конференция с Международным научным центром)

ХІ Международная научно-практическая конференция «Глобальные проблемы экономики и финансов», 31.05.2018 (Совместная конференция с Финансово-экономическим научным советом)

XXХ Международная научно-практическая конференция: "Актуальные проблемы современной науки", 30.05.2018 (Совместная конференция с Международным научным центром)

XXIХ Международная научно-практическая конференция: "Актуальные проблемы современной науки", 30.04.2018 (Совместная конференция с Международным научным центром)

ХХVIІІ Международная научно-практическая конференция: "Актуальные проблемы современной науки", 29.03.2018 (Совместная конференция с Международным научным центром)

ІІІ МНПК "Экономика, финансы и управление в XXI веке: анализ тенденций и перспективы развития", 19-22.03.2018 (Совместная конференция с Финансово-экономическим научным советом)

X Международная научно-практическая конференция «Глобальные проблемы экономики и финансов», 28.02.2018 (Совместная конференция с Финансово-экономическим научным советом)

ХХVІІ Международная научно-практическая конференция: "Актуальные проблемы современной науки", 27.02.2018 (Совместная конференция с Международным научным центром)

ХХVІ Международная научно-практическая конференция: "Актуальные проблемы современной науки", 30.01.2018 (Совместная конференция с Международным научным центром)

XІІ Международная научно-практическая конференция «Научный диспут: вопросы экономики и финансов», 29.12.2017 (Совместная конференция с Финансово-экономическим научным советом)

ХХV Международная научно-практическая конференция: "Актуальные проблемы современной науки", 28.12.2017 (Совместная конференция с Международным научным центром)

ХХІV Международная научно-практическая конференция: "Актуальные проблемы современной науки", 29.11.2017 (Совместная конференция с Международным научным центром)

XI Международная научно-практическая конференция «Актуальные проблемы экономики и финансов», 31.10.2017 (Совместная конференция с Финансово-экономическим научным советом)

XІ Международная научно-практическая конференция «Научный диспут: вопросы экономики и финансов», 29.09.2017 (Совместная конференция с Финансово-экономическим научным советом)

ХХIІІ Международная научно-практическая конференция: "Актуальные проблемы современной науки", 28.09.2017 (Совместная конференция с Международным научным центром)

X Международная научно-практическая конференция «Актуальные проблемы экономики и финансов», 31.07.2017 (Совместная конференция с Финансово-экономическим научным советом)

ХXII Международная научно-практическая конференция: "Актуальные проблемы современной науки", 28.07.2017 (Совместная конференция с Международным научным центром)

ХXI Международная научно-практическая конференция: "Актуальные проблемы современной науки", 29.06.2017 (Совместная конференция с Международным научным центром)

IX Международная научно-практическая конференция «Глобальные проблемы экономики и финансов», 31.05.2017 (Совместная конференция с Финансово-экономическим научным советом)

ХX Международная научно-практическая конференция: "Актуальные проблемы современной науки", 30.05.2017 (Совместная конференция с Международным научным центром)

"Тенденции развития национальных экономик: экономическое и правовое измерение" 18-19.05.2017 (Совместная конференция с Финансово-экономическим научным советом и ККИБиП)

ХIX Международная научно-практическая конференция: "Актуальные проблемы современной науки", 27.04.2017 (Совместная конференция с Международным научным центром)

IX Международная научно-практическая конференция "Научный диспут: вопросы экономики и финансов", 31.03.2017 (Совместная конференция с Финансово-экономическим научным советом)

ХVIII Международная научно-практическая конференция: "Актуальные проблемы современной науки", 30.03.2017 (Совместная конференция с Международным научным центром)

МНПК "Экономика, финансы и управление в XXI веке: анализ тенденций и перспективы развития", 20–23.03.2017 (Совместная конференция с Финансово-экономическим научным советом)

VIII Международная научно-практическая конференция "Глобальные проблемы экономики и финансов", 28.02.2017 (Совместная конференция с Финансово-экономическим научным советом)

ХVII Международная научно-практическая конференция: "Актуальные проблемы современной науки", 27.02.2017 (Совместная конференция с Международным научным центром)

VIII Международная научно-практическая конференция "Актуальные проблемы экономики и финансов", 31.01.2017 (Совместная конференция с Финансово-экономическим научным советом)

ХVI Международная научно-практическая конференция: "Актуальные проблемы современной науки", 30.01.2017 (Совместная конференция с Международным научным центром)

ХV Международная научно-практическая конференция: "Актуальные проблемы современной науки", 28.12.2016 (Совместная конференция с Международным научным центром)

VIII Международная научно-практическая конференция "Научный диспут: вопросы экономики и финансов", 28.12.2016 (Совместная конференция с Финансово-экономическим научным советом)

VII Международная научно-практическая конференция "Глобальные проблемы экономики и финансов", 30.11.2016 (Совместная конференция с Финансово-экономическим научным советом)

ХІV Международная научно-практическая конференция: "Актуальные проблемы современной науки", 29.11.2016 (Совместная конференция с Международным научным центром)

VII Международная научно-практическая конференция "Актуальные проблемы экономики и финансов", 31.10.2016 (Совместная конференция с Финансово-экономическим научным советом)

ХІІІ Международная научно-практическая конференция: "Актуальные проблемы современной науки", 28.10.2016 (Совместная конференция с Международным научным центром)

VII Международная научно-практическая конф. «Научный диспут: вопросы экономики и финансов», 30.09.2016 (Совместная конференция с Финансово-экономическим научным советом)

ХІІ Международная научно-практическая конференция: "Актуальные проблемы современной науки", 29.09.2016 (Совместная конференция с Международным научным центром)

XI Международная научно-практическая конференция «Актуальные проблемы современной науки», 30.08.2016 (Совместная конференция с Международным научным центром)

ІV Международная научно-практическая конф. "Экономика и управление в XXI веке: анализ тенденций и перспектив развития", 29.07.2016 (Совместная конференция с Финансово-экономическим научным советом)

X Международная научно-практическая конференция "Актуальные проблемы современной науки", 28.07.2016 (Совместная конференция с Международным научным центром)

VІ Международная научно-практическая конференция "Актуальные проблемы экономики и финансов", 30.06.2016 (Совместная конференция с Финансово-экономическим научным советом)

ІX Международная научно-практическая конференция "Актуальные проблемы современной науки", 29.06.2016 (Совместная конференция с Международным научным центром)

VI Международная научно-практическая конференция "Научный диспут: вопросы экономики и финансов", 31.05.2016 (Совместная конференция с Финансово-экономическим научным советом)

VIIІ Международная научно-практическая конференция "Актуальные проблемы современной науки", 30.05.2016 (Совместная конференция с Международным научным центром)

V Международная научно-практическая конференция "Глобальные проблемы экономики и финансов", 29.04.2016 (Совместная конференция с Финансово-экономическим научным советом)

VIІ Международная научно-практическая конференция "Актуальные проблемы современной науки", 28.04.2016 (Совместная конференция с Международным научным центром)

VІ Международная научно-практическая конференция "Актуальные проблемы современной науки", 31.03.2016 (Совместная конференция с Международным научным центром)

ІI Международная научно-практическая конф. "Экономика и управление в XXI веке: анализ тенденций и перспектив развития", 30.03.2016 (Совместная конференция с Финансово-экономическим научным советом)

V Международная научно-практическая конференция "Актуальные проблемы экономики и финансов", 21-24.03.2016 (Совместная конференция с Финансово-экономическим научным советом)

V Международная научно-практическая конференция "Научный диспут: вопросы экономики и финансов", 26.02.2016 (Совместная конференция с Финансово-экономическим научным советом)

II Международная научно-практическая конференция: "Научный диспут: актуальные вопросы медицины" 20.02.2016 (Совместная конференция с Международным научным центром)

ІV Международная научно-практическая конференция "Актуальные проблемы современной науки", 29.12.2015 (Совместная конференция с Международным научным центром)

IV Международная научно-практическая конференция "Глобальные проблемы экономики и финансов", 28.12.2015 (Совместная конференция с Финансово-экономическим научным советом)

IV Международная научно-практическая конференция "Актуальные проблемы экономики и финансов", 30.11.2015 (Совместная конференция с Финансово-экономическим научным советом)

IV Международная научно-практическая конференция "Научный диспут: вопросы экономики и финансов", 29.10.2015 (Совместная конференция с Финансово-экономическим научным советом)

Международная научно-практическая конференция: "Научный диспут: актуальные вопросы медицины" 28.10.2015 (Совместная конференция с Международным научным центром)

III Международная научно-практическая конференция "Глобальные проблемы экономики и финансов", 30.09.2015 (Совместная конференция с Финансово-экономическим научным советом)

III Международная научно-практическая конференция "Актуальные проблемы экономики и финансов", 31.08.2015 (Совместная конференция с Финансово-экономическим научным советом)

ІІІ Международная научно-практическая конференция "Научный диспут: вопросы экономики и финансов", 30.06.2015 (Совместная конференция с Финансово-экономическим научным советом)

ІІ Международная научно-практическая конференция "Актуальные проблемы современной науки", 29.06.2015 (Совместная конференция с Международным научным центром)

II Международная научно-практическая конференция "Глобальные проблемы экономики и финансов", 28.05.2015 (Совместная конференция с Финансово-экономическим научным советом)

Актуальные проблемы экономики и финансов, 29.04.2015 (Совместная конференция с Финансово-экономическим научным советом)

Научный диспут: вопросы экономики и финансов, 31.03.2015 (Совместная конференция с Финансово-экономическим научным советом)

Актуальные проблемы современной науки, 27.03.2015 (Совместная конференция с Международным научным центром)

Глобальные проблемы экономики и финансов, 27.02.2015 (Совместная конференция с финансово-экономическим научным советом)



Тарасенко-Клятченко О. В., Буц В. В. Організація багатоетапного методу навчання згорткової нейронної мережі // Міжнародний науковий журнал "Інтернаука". — 2018. — №6. 


Отрасль науки: Технические науки
Скачать статью (pdf)

Технічні науки

УДК 004.85

Тарасенко-Клятченко Оксана Володимирівна

кандидат технічних наук, доцент

Національний технічний університет України

«Київський політехнічний інститут імені Ігоря Сікорського»

Тарасенко-Клятченко Оксана Владимировна

кандидат технических наук, доцент

Национальный технический университет Украины

«Киевский политехнический институт имени Игоря Сикорского»

 Tarasenko-Klyаtchenkо Oxana

 Candidate of Technical Sciences, Associate Professor

National Technical University of Ukraine

“Igor Sikorsky Kyiv Polytechnic Institute”

Буц Вікторія Віталіївна

 магістрант

Національного технічного університету України

«Київський політехнічний інститут імені Ігоря Сікорського»

Буц Виктория Витальевна

магистрант

Национального технического университета Украины

«Киевский политехнический институт имени Игоря Сикорского»

Buts Viktoriia

Graduating Student of the

National Technical University of Ukraine

“Igor Sikorsky Kyiv Polytechnic Institute”

ОРГАНІЗАЦІЯ БАГАТОЕТАПНОГО МЕТОДУ НАВЧАННЯ ЗГОРТКОВОЇ НЕЙРОННОЇ МЕРЕЖІ

ОРГАНИЗАЦИЯ МНОГОЭТАПНОГО МЕТОДА ОБУЧЕНИЯ СВЕРТОЧНОЙ НЕЙРОННОЙ СЕТИ

THE MULTI-STAGE TRAINING METHOD FOR A CONVOLUTIONAL NEURAL NETWORK

Анотація. В даній роботі описано методи та алгоритми навчання нейронних мереж. Також запропоновано організацію поетапного навчання нейронної мережі, на основі адаптивного та генетичного методів, що була успішно застосована до згорткової нейронної мережі для вирішення задачі класифікації об’єкта на зображенні.

Ключові слова: навчання, згорткова нейронна мережа, генетичний метод навчання, класифікація.

Аннотация. В данной работе описаны методы и алгоритмы обучения нейронных сетей. Также предложено организацию поэтапного обучения нейронной сети на основе адаптивного и генетического методов, которая была успешно применена к сверточной нейронной сети для решения задачи классификации объекта на изображении.

Ключевые слова: обучение, сверточная нейронная сеть, генетический метод обучения, классификация.

Summary. This paper describes methods and algorithms for training neural networks. Also, the organization of multi-stage training of the neural network, based on adaptive and genetic methods, which has been successfully applied to the convergent neural network to solve the problem of object classification.

Key words: training, convolutional neural network, genetic method, classification.

Вступ. Машинне навчання є головною складовою теорії штучного інтелекту, глибокою математичною дисципліною, до якої відносяться науки математична статистика та теорія ймовірностей. Зазначимо два типи машинного навчання, що активно використовуються: індуктивне навчання та дедуктивне навчання. Індуктивне навчання базується на обробці емпіричних даних, а дедуктивне – на формалізації отриманих знань та подальшого їх упорядкування. Прийнято вважати, що область експертних систем включає дедуктивное навчання, тому і використовується в теорії і практиці машинного навчання загалом.

Причиною виникнення розділу машинного навчання, як наукової галузі, стало поділ науки про нейронні мережі, що досліджує методи навчання та топології архітектур мереж, в рамках науки про штучний інтелект. Таким чином, вирішальним фактором задачі оптимізації стає вибір методу навчання у реалізації мережі не залежно від її типу.

Згорткова нейронна мережа. Успішним у застосуванні до вирішення задач комп’ютерного зору можна назвати такий тип біологічно подібних моделей візуальних систем, як згорткова нейронна мережа. Переваги згорткових мереж над багатошаровими полягають у використанні спільної ваги у згорткових шарах, що означає, що для кожного пікселя шару використовується один і той же фільтр (банк ваги). Кожен фільтр здійснює згортку по ширині та висоті вхідного об’єму під час прямого проходу. Виконується обчислення скалярного добутку даних фільтру та входу, і формується двовимірна карта активації цього фільтру [1]. Архітектура згорткових мереж побудована з різних шарів, не тільки згорткового, що виконують перетворення вхідного об'єму даних. Кожен шар згорткової мережі складається з нейронів, з'єднаних з вузлами попередніх шарів. Важливи і наступним шаром є шари максимізаціїної підвибірки. Він реалізований за допомогою нелінійних функцій для реалізації операції підвибірки. Операція підвибірки розділяє вхідне зображення на набір прямокутників без перекриття, і для кожної такої підобласті виводить її максимум [1]. Допоміжними можна назвати шар активації, що реалізує функцію активації, імітуючи поведінку аксона нейрона, що запускає сигнал при контакті з подразником та шар виключання який генерує випадковий набір активацій, обнуляючи їх значення. Після чередування вищевказаних шарів, кількість яких залежить від архітектури мережі, вихідним шаром є шар, що утворюють повнозв’язні шари – класифікатор [1].

Особливості вхідного набору даних. Набору даних для навчаня згорткової нейронної мережі варто обирати згідно з поставленої задачі. У нашому випадку згорткова нейронна мережа повинна навчитися розпізнавати об’єкти на кольорових зображеннях. Вхідний набір даних CIFAR-10 [2] включає загальні об'єкти, такі як літаки, автомобілі, птахи тощо. Усі зображення є кольоровими, розміром 32x32 пікселів. Незважаючи на малий розмір зображення співвідношення сторін у перетворенні потрібно дотримати оригінальним для того, щоб уникнути спотворення картинки. Значення пікселів для червоного, синього, зеленого каналів, що знаходяться у діапазоні від 0 до 255 було варто нормалізовувати шляхом поділу кожного зі значень на 255. Результатом стане набір коефіцієнтів, що приймають значення у діапазоні від 0 до 1. Початковий формат значень був цілочисленним, його треба замінити на формат з плаваючою комою для найкращого виконання цієї нормалізації. Для вирішення проблеми класифікації значення пікселів подаються у вигляді векторів, що відповідають кожному з 10 класів, які трансформуються до бінарної матриці. Аби досягти кращого розпізнавання обєктів у різних положеннях на зображенні набір даних доповнено модифікованими вхідними зображеннями. Під модифікацією зображень розуміється горизонтальне відображення зображення, вертикальне відображення зображення, зміни висоти або ширини картинки.

Методи та алгоритми навчання нейронних мереж. Вагомим аргументом на користь застосування градієнтних методів до навчання мереж є можливість вираження цільової функції через диференціальну функцію. Метод стохастичного градієнтного спуску [3] дозволяє проводити ефективне навчання розпізнавання зображень саме для глибоких згорткових нейронних мереж.

А от для вирішення задач оптимізації з певними критеріями використовуються методи із зістосуванням генетичних алгоритмів. Симбіоз в одному алгоритмі навчання градієнтних і генетичних методів може значно перевищити очікуваний результат.

Огляд загального аналізу градієнтних методів навчання глибоких нейронних мереж приводить до твердження, що будь-який з існуючих методів, можна представити як окремий випадок адаптивного алгоритму.

Загальна формула зміни ваги нейрону:

Розрахунок напрямку руху має наступний вигляд:де - напрямок руху, - розмір кроку на k –й ітерації.


Розглянемо адаптивний алгоритм мінімізіції функції помилки [4].де – напрямок руху, – напрямок антиградієнта на ітерації, β – коефіцієнт визначення ваги градієнта, m – кількість градієнтів, k – номер поточної ітерації.

  1. Спочатку встановлюємо початкове значення для параметрів та .
  2. З навчальної вибірки обраємо черговий вектор та подаємо його на вхід до мережі.
  3. Визначаємо напрямок руху по формулі (2).
  4. Визначаємо критерій зупинки, наприклад середньоквадратичку помилку.
  5. При виконанні умови зупинки переходимо до кроку 6, інакше – до кроку 2.
  6. Кінець алгоритму.

Результатом виконання алгоритму є навчена мережа. До основного недоліку даного алгоритму відноситься стан мережі так званий «параліч» мережі, потрапляння в локальні мінімуми, багаторазове представлення всієї навчальної множини.

Генетичний алгоритм [5] є ітераційним, здатним до обчислень в деякій околиці глобального мінімуму. Завдяки цьому алгоритм може застосовуватися в підборі ваг штучного нейрону при навчанні мережі. При навчанні мережі в генетичному алгоритмі використовують наступні визначення : ген (коефіціент ваги), хромосома (набір генів, або набір коефіцієнтів ваги), популяція (множина наборів хромосом), епоха (ітерація). Таким чином, до параметрів генетичного алгоритму відносяться розмір популяції, число хромосом для мутацій, ймовірності вибору хромосоми і ймовірність мутації гена. Відповідний підбір параметрів дозволяє виділити генетичний алгоритм з широкого класу алгоритмів.

Основними сутностями, над якими в певному порядку в межах однієї епохи проводяться операції є хромосоми. Операція схрещування - створення з певною ймовірністю (Pс) нової хромосоми з генів двох інших і додавання її до популяції. Операція мутації - зміна з ймовірністю (Pm) значення довільного гена будь-якої хромосоми і додавання її до популяції.

Поетапна організація навчання. Розглянемо поетапно процес навчання згорткової нейронної мережі, що буде заснований на принципах генетичного та адаптивного методів навчання:

Етап 1. Початок. Створення згорткової нейронної мережі з визначеними вхідними коефіцієнтами ваги.

Етап 2. Навчання за адаптивним алгоритмом. Проводиться навчання за адаптивним алгоритмом мінімізіції функції помилки поки не буде досягнуто критерій переходу до генетичного методу навчання.

Етап 3. Додавання навченої мережі до популяції. За генетичним методом навчання створити популяцію обсягом N – 1 особин. В першу популяцію додати вже навчену за адаптивним алгоритмом мережу.

Етап 4. Схрещування. Виконується схрещуванняння особи з ймовірністю вибору пари. Від кожної пари отримаємо S нащадків.

Етап 5. Вибір нащадків. Вибір з нової популяції N найкращих нащадків.

Етап 6. Вибір представника. Якщо кращий представник особини відповідає заданій якості навчання, переходимо до етапу 9.

Етап 7. Мутація. Проводиться мутація для особин, вибраних з ймовірністю. Для кожного гена вибраної особини проведемо мутацію.

Етап 8. Вибір представника. Якщо кращий представник особини відповідає заданій якості навчання, перейти до етапу 9. У випадку невідповідності повернутися до етапу 4.

Етап 9. Завершення. Мережа навчена (обраний кращий представник особини).

Описані вище етапи навчання є узагальненими і можуть застосовуватися до різних топологій мереж.

Висновки. В якості задачі для навчання обрано задачу класифікації об’єктів на кольорових зображеннях попередньо підготовлених для подання на вхід мережі. Навчальна вибірка складалася з 5000 прикладів для кожного з 10 класів вхідного набору CIFAR-10.

Проведені есперименти з навчання мережі топології згорткової нейронної мережі показали, що поетапне навчання моделі на 50 епохах закінчилося приблизно за 2 години, з витратами часу на обчислення однієї єпохи у 145 секунд. У свою чергу навчання популярним градієнтним методом виконувалося майже у 3,5 години. Отже застосування поетапного навчання, як методу, найкращим чином підходить для задачі пришвидшення часу навчання. Поетапне навчання дало замогу обрахувати точність класифікації та функцію втрати, значення якої становило 0.7 в навчальному наборі даних через кожну епоху.

Література

  1. Згорткова нейронна мережа [Електронний ресурс]. – Режим доступу: http://uk.wikipedia.org/wiki/Згорткова_нейронна_мережа.
  2. Сховище зображень для навчання нейронних мереж [Електронний ресурс]. «The CIFAR-10 dataset». Режим доступу: https://www.cs.toronto.edu/~kriz/cifar.html.
  3. Іван Гудфелов, Йоша Бенгіо, Арон Коурвілле. «Машинне навчання» MIT Press, 2016. - Режим доступу: http://www.deeplearningbook.org.
  4. Ліла В.Б. Алгоритм та программна реализація адаптивного метода навчання штучних нейронних мереж / Инженерний вестн. Дона, 2012.
  5. Девід Е. Голберг «Дзен та мистецтво генетичного алгоритму». 3rd International Conference on Genetic Algorithms, pp. 80-85.