Бродкевич В. М., Ремесло В. Я. Алгоритми машинного навчання (МН) та глибокого навчання (ГН) і їх використання в прикладних додатках // Міжнародний науковий журнал "Інтернаука". — 2018. — №11.
Технічні науки
УДК 622. 276.53
Бродкевич Володимир Михайлович
кандидат економічних наук, доцент кафедри
інформаційно-технічних та природничих дисциплін
Київський кооперативний інститут бізнесу і права
Бродкевич Владимир Михайлович
кандидат экономических наук, доцент кафедры
информационно-технических и естественно-научных дисциплин
Киевский кооперативный институт бизнеса и права
Brodkevych Volodymyr
PhD of Economics, Associate Professor,
Associate Professor of the Department
of Information Technology Natural Sciences
Kyiv Cooperative Institute of Business and Law
Ремесло Вячеслав Якович
кандидат військових наук, доцент,
доцент кафедри інформаційно-технічних та природничих дисциплін
Київський кооперативний інститут бізнесу і права
Ремесло Вячеслав Якович
кандидат военных наук, доцент,
доцент кафедры информационно-технических
и естественно-научных дисциплин
Киевский кооперативный институт бизнеса и права
Remeslo Viacheslav
PhD of Military Sciences, Associate Professor,
Associate Professor of the Department of
Information Technology and Natural Sciences
Kyiv Cooperative Institute of Business and Law
АЛГОРИТМИ МАШИННОГО НАВЧАННЯ (МН) ТА ГЛИБОКОГО НАВЧАННЯ (ГН) І ЇХ ВИКОРИСТАННЯ В ПРИКЛАДНИХ ДОДАТКАХ
АЛГОРИТМЫ МАШИННОГО ОБУЧЕНИЯ (МО) И ГЛУБОКОГО ОБУЧЕНИЯ (ГО) И ИХ ПРИМЕНЕНИЕ В ПРИКЛАДНЫХ ПРИЛОЖЕНИЯХ
MACHINE LEARNING (ML) AND DEEP LEARNING (DL) ALGORITHMS AND ITS UTILIZING IN APPLIED APPLICATIONS
Анотація. У цій статті автори роблять поточний огляд алгоритмів машинного навчання з метою пояснити принципи, на яких вони працюють та показати приклади рішень на їх основі. У статті розглянуто: основний смисл машинного навчання (МН), основні визначення терміну машинне навчання та подаються різні точки зору дослідників і розробників експертних організацій; моделі МН та наочне уявлення про них; процес навчання машин; глибоке навчання (ГН) та базові алгоритми глибоких нейронних мереж (згорткових нейронних мереж) як основи ГН; алгоритми машинного навчання в прикладних додатках.
Мета цієї статті полягає в наданні експертної точки зору про те, як машинне навчання визначається, і як воно працює для читачів з бізнес середовища, та перспективним бізнесменам і студентам.
Ключові слова: машинне навчання (МН), моделі МН, глибоке навчання (ГН), глибокі нейронні мережі, згорткові нейронні мережі ЗНМ, прикладні додатки.
Аннотация. В этой статье авторы делают текущий обзор алгоритмов машинного обучения с целью объяснить принципы, на которых они работают и показать примеры прикладных решений на их основе. В статье будет рассмотрено основные понятия машинного обучения, главные определения термина Машинное обучение и рассматриваются разные точки зрения исследователей и разработчиков, экспертных организаций; модели МО и представление о них; процесс обучения машин; глубокое обучение (ГО) и базовые алгоритмы глубоких нейронных сетей (сворачиваемых нейронных сетей) как основы ГО; алгоритмы машинного обучения в прикладных приложениях.
Ключевые слова: машинное обучение (МО), модели МО, Глубокое обучение ГО), глубокие нейронные сети, сворачиваемые нейронные сети СНС, прикладные приложения.
Summary. In this article the authors make the current review of machine learning algorithms in order to explain the principles on which they work and show examples of decisions based on them. The article will be considered: the main semantic of Machine Learning (ML), basic determination of the term Machine learning (ML) and different points of view on this of researchers and developers of expert organizations; Models of the ML and visual representation of them; Process of training of machines; Deep Learning (DL) and basic algorithms of deep neural networks as base of DL; Algorithms of machine learning in applied applications.
The purpose of this article is to provide an expert perspective on how the machine learning is determined, and how it works to readers from business area, and prospective businessmen and students.
Key words: Machine Learning (ML), Deep Learning (DL), Deep artificial neural network, convolutional neural network CNN, applied applications.
Еволюція алгоритмів машинного навчання (МН)
Наука та технології, що на ній базуються мають постійний лідируючий вплив на трансформації в сучасному світі. Незаперечний їх вплив на життєві стандарти, добробут, здоров'я та безпеку життя.
В останні 10 років відбувається бурхливий розвиток аналітичних інформаційних систем нового типу. Необхідно відзначити, що піонерні розробки та проекти в напрямку розвитку новітніх інформаційних самонавчальних систем та передбачувальних (прогнозних) алгоритмів на основі моделі перцептронів були виконані українськими вченими під керівництвом академіка А.Г. Івахненко в Інституті кібернетики АН УРСР в 60-х роках минулого століття [3].
У їхній основі лежать технології штучного інтелекту, що імітують природні процеси, наприклад, діяльність нейронів мозку, так звані штучні нейронні мережі [9].
До наукомістких технологій, які займають уже зараз та постійно збільшують своє лідируюче становище в навколишньому життєвому середовищі є технології, що використовують машинне навчання.
Як визначається в основних джерелах машинне навчання (англ. machine learning, ML) - це підгалузь інформатики (зокрема, м'яких та гранульованих обчислень), яка еволюціювала з дослідження розпізнавання образів та теорії обчислювального навчання в галузі штучного інтелекту [1].
Артур Семюель в 1959 році визначив машинне навчання як «…галузь досліджень, яка дає комп'ютерам здатність навчатися без того, щоб їх явно програмували» [2]. Машинне навчання досліджує вивчення та побудову алгоритмів, які можуть навчатися з даних, і виконувати передбачувальний аналіз на них [3].
Такі алгоритми діють шляхом побудови моделі зі зразкового тренувального набору вхідних спостережень, щоб створювати керовані даними прогнози або ухвалювати рішення, виражені як виходи [4], замість того, щоб суворо дотримуватись статичних програмних інструкцій.
Машинне навчання та глибоке навчання
Більшість визначень машинне навчання ототожнюють з наукою про задіяння комп'ютерів до навчання і виконання дій, подібно як це роблять люди для покращення їх навчання протягом довгого часу в самостійному режимі, наповнення їх даними та інформацією у вигляді спостережень і реальної взаємодій з оточенням.
Глибоке вивчення (ГН) — це такий тип машинного навчання, в якому модель навчається виконувати завдання класифікації безпосередньо з зображень, тексту або звуку. Глибоке вивчення, зазвичай, здійснюється за допомогою архітектури глибокої штучної нейронної мережі.
Термін "глибоко" означає кількість шарів в мережі — чим більше шарів, тим глибша мережа. Традиційні нейронні мережі містять тільки 2 або 3 шари, в той час як глибока мережа може мати їх сотні.
Переваги глибокого навчання
Основною характеристикою, яка визначає перевагу ГН, є точність. Передовий інструментарій і новітні методи різко поліпшили алгоритми глибокого навчання. Ці технології досягли точки, де вони можуть перевершити людей в класифікації зображень, вигравати проти кращих гравців GO у світі, або увімкнути контрольованого голосом помічника від Microsoft Cortana, Amazon Echo® чи Google Home, або щоб знайти та завантажити конкретно цю нову пісню, яку ви захотіли прослухати.
Дослідники Каліфорнійського університету побудували передовий мікроскоп, що дає набір багатовимірних даних, які використовуються для тренування мережі глибокого навчання, щоб ідентифікувати ракові клітини в зразках тканини (рис.1) [15].
Рис. 1. Приклад клітини тканини зараженої раком
Нижче перераховані три технологічні можливості, які дозволяють досягти необхідного ступеня точності [15].
Хоча AlexNet навчався на 1,3 мільйона образах з високою роздільною здатністю, для розпізнання 1000 різних об'єктів, але точну передачу навчання було досягнуто з набагато меншим набором даних.
Будова глибокої нейронної мережі
Рис. 2. Структурна модель глибокої нейронної мережі
На приведеному рисунку (рис. 2.) показано основні функціональні елементи глибокої нейронної мережі.
Глибока нейронна мережа поєднує в собі декілька шарів нелінійної обробки, за допомогою простих елементів, що діють паралельно і за принципом біологічної нервової системи.
Вона складається з вхідного шару, декількох прихованих шарів та вихідного шару. Шари з'єднані через вузли, або нейрони, де кожен прихований шар використовує вихід попереднього шару як свій вхід.
Навчання глибоких нейронних мереж
Допустимо, у нас є набір зображень, де кожне зображення містить одну з чотирьох різних категорій об'єкта. Ми хочемо, щоб мережа глибокого навчання автоматично розпізнала, який об'єкт знаходиться в кожному зображенні. Ми позначимо зображення для того, щоб мати тренувальні дані для роботи мережі. Використовуючи ці дані навчання, мережа може потім почати вивчати особливості об'єкта і пов'язати їх з відповідною категорією. Кожен шар в мережі приймає дані з попередніх шарів, перетворює їх та передає його далі.
В мережі збільшується складність і детальність того, чому вона навчається від шару до шару. Необхідно відмітити, що мережа навчається безпосередньо з даних — ми не маємо впливу на характеристики, що будуть вивчені.
Особливості згорткових нейронних мереж (ЗНМ)
Згорткова нейронна мережа ЗНМ (англ. convolutional neural network CNN, або ConvNet) є одним з найбільш популярних алгоритмів для глибокого навчання із зображеннями і відео.
Як і інші нейронні мережі ЗНМ складається з вхідного шару, вихідного шару і багатьох прихованих шарів між ними.
Ці шари налаштовані виконати одну з трьох видів операцій на даних: згортки, об'єднання або функції активації - виправленої лінійної одиниці (англ. rectified linear unit -ReLU) [17].
ReLU як функцію активації вперше було продемонстровано в 2011р. для забезпечення кращої підготовки - тренування глибоких мереж. Ця функція була кращою в порівнянні з тими, що широко використовувались до 2011р. (логістичний сигмоїд, та гіперболічний тангенс [18]). На нинішній час ( станом на 2018р.) ReLU як функція активації є найбільш популярна для глибоких нейронних мереж.
Зго́рткові нейро́нні мере́жі - ЗНМ, в машинному навчанні — це клас глибинних штучних нейронних мереж прямого поширення, який особливо успішно застосовувався до аналізу візуальних зображень [12].
ЗНМ використовують різновид багатошарових перцептронів, розроблений так, щоб добитися використання мінімального обсягу попередньої обробки. Вони відомі також як інваріа́нтні відно́сно зсу́ву (англ. shift invariant) або просторо́во інваріа́нтні шту́чні нейро́нні мере́жі (англ. space invariant artificial neural networks, SIANN), виходячи з їхньої архітектури спільних ваг та характеристик інваріантності відносно паралельного перенесення [10].
Схема згорткових мереж була перенесена з моделей по аналогії з біологічними процесами [2], в яких схему з'єднання нейронів стимульовано організацією зорової кори тварин. Окремі нейрони кори реагують на стимули лише в обмеженій області зорового поля, відомій як рецептивне поле. Рецептивні поля різних нейронів частково перекриваються таким чином, що вони покривають усе зорове поле.
ЗНМ використовують порівняно мало попередньої обробки, в порівнянні з іншими алгоритмами класифікування зображень. Це означає, що мережа навчається з фільтрів, що в традиційних алгоритмах розроблялися вручну. Ця незалежність у конструюванні ознак від апріорних знань та людських зусиль є великою перевагою.
ЗНМ мають застосування в машинному навчанні в розпізнаванні зображень та відео, рекомендаційних системах [8], та обробці природної мови [10].
Рішення на основі MН і ГН, та їх застосування
Розвій технологій машинного навчання має потенціал для великого впливу на бізнес. Це величезна область, що швидко розвивається. За новою концепцією більшість МН є підмножиною штучного інтелекту (ШІ). Вони можуть вчитися і передбачити результати отримання матеріальної вигоди через рекомендаційні двигуни, ефективно застосовуватись у боротьбі зі спамом, використовуватись для виявлення шахрайства, загрози безпеці, захисті персоналізованої інформації та для багатьох інших завдань [8].
Приведем кілька прикладів які можна вказати як результат застосування глибокого навчання на практиці:
Глибоке навчання особливо добре підходить для прикладних додатків з ідентифікації, таких як:
Побудова рішення на основі MН вимагає ретельного осмислення та тестування при виборі алгоритмів, виборі даних. Необхідно робити очищення даних а також тестування в живому середовищі.
Не існує простих рішень машинного навчання для випадків використання в унікальних і складних бізнес-процесах. Навіть для надзвичайно поширених випадків використання (рекомендації з маркетингу, прогнозування відтоку клієнтів) кожний з додатків відрізняються один від одного і вимагає виконання ітерацій та коригування.
Якщо компанія переходить до виконання MН проекту без ресурсів, що включають наявність достатнього досвіду та попередньої підготовки, вона може ніколи не досягти корисного результату.
Висновки. Алгоритми МН є переконливо привабливими для запровадження в різні сфери бізнесу. Налічується велика кількість проектів на основі технологій машинного навчання. Перед стартапами наразі постає питання - починати бізнес-проект з початковим залученням технології МН чи починати його використовувати на більш пізній стадії розвитку бізнесу- зазначає Д.Фаджела [16]. Треба при цьому мати на увазі, що рентабельність інвестицій в МН вимагає копіткої роботи по налаштуванню і коригуванню.
Доктор Данко Ніколс університету Оклахоми у своїй статті [14] зазначає, що найбільш поширеними помилками, що роблять підприємства при використанні MН є те, що вони думають, що MН-рішення є одноразовий процес. Вони надсилають дані до вчених по даних (data scientists), і вчені по даних відсилають їм готові моделі. Насправді, на відміну від цього, знаходження хорошого MН-рішення – це ітераційний процес, який включає в себе дослідження, проби і помилки, експериментування, консультування з бізнес-фахівцями і т. д. Твердження, що - "МН ніколи не може стати товаром, та успіх МН сильно залежить від знань, навичок та самовідданості тих людей, які це роблять" виглядає досить переконливим.
Література
