Выпуск №14 (Июль)

https://doi.org/10.25313/2520-2057-2018-14

V Международная научная конференция "Science and Global Studies", 30 декабря 2020 (Прага, Чехия)

V Международная научная конференция «Научные исследования: парадигма инновационного развития» (Прага, Чехия), «28» декабря 2020 года

IV Международная научная конференция "Science and Global Studies", 30 ноября 2020 (Прага, Чехия)

IV Международная научная конференция «Научные исследования: парадигма инновационного развития» (Прага, Чехия), «27» ноября 2020 года

ІІІ Международная научная конференция "Science and Global Studies", 30 октября 2020 (г. Прага, Чехия)

ІIІ Международная научная конференция «Научные исследования: парадигма инновационного развития» (Братислава - Вена), «26» мая 2020 года

ІІ Международная научная конференция «Научные исследования: парадигма инновационного развития» (Братислава - Вена), «27» апреля 2020 года

Science and Global Studies, 31 марта 2020 (г. Братислава, Словакия)

Международная научная конференция «Научные исследования: парадигма инновационного развития» (Братислава - Вена), «25» марта 2020 года

Science and Global Studies, 30 декабря 2019 (г. Братислава, Словакия)

XLV Международная научно-практическая конференция «Актуальные проблемы современной науки», 28.11.2019 (Совместная конференция с Международным научным центром развития науки и технологий)

XLIV Международная научно-практическая конференция «Актуальные проблемы современной науки», 30.10.2019 (Совместная конференция с Международным научным центром развития науки и технологий)

XLIІI Международная научно-практическая конференция «Актуальные проблемы современной науки», 29.08.2019 (Совместная конференция с Международным научным центром развития науки и технологий)

XLIІI Международная научно-практическая конференция «Актуальные проблемы современной науки», 30.07.2019 (Совместная конференция с Международным научным центром развития науки и технологий)

XLII Международная научно-практическая конференция «Актуальные проблемы современной науки», 27.06.2019 (Совместная конференция с Международным научным центром развития науки и технологий)

XLI Международная научно-практическая конференция «Актуальные проблемы современной науки», 30.05.2019 (Совместная конференция с Международным научным центром развития науки и технологий)

XL Международная научно-практическая конференция «Актуальные проблемы современной науки», 28.03.2019 (Совместная конференция с Международным научным центром развития науки и технологий)

МНПК "Цифровая трансформация и инновации в экономике, праве, государственном управлении, науке и образовательных процессах", 18-21.03.2019

XXXIX Международная научно-практическая конференция «Актуальные проблемы современной науки», 27.02.2019 (Совместная конференция с Международным научным центром развития науки и технологий)

XIII Международная научно-практическая конференция «Научный диспут: вопросы экономики и финансов», 31.01.2019 (Совместная конференция с Финансово-экономическим научным советом)

XXXVIII Международная научно-практическая конференция «Актуальные проблемы современной науки», 30.01.2019 (Совместная конференция с Международным научным центром развития науки и технологий)

XXXVІI Международная научно-практическая конференция: "Актуальные проблемы современной науки", 28.12.2018 (Совместная конференция с Международным научным центром)

XXXVI Международная научно-практическая конференция: "Актуальные проблемы современной науки", 29.11.2018 (Совместная конференция с Международным научным центром)

XIII Международная научно-практическая конференция «Актуальные проблемы экономики и финансов», 31.10.2018 (Совместная конференция с Финансово-экономическим научным советом)

XXXV Международная научно-практическая конференция: "Актуальные проблемы современной науки", 30.10.2018 (Совместная конференция с Международным научным центром)

XXXIV Международная научно-практическая конференция: "Актуальные проблемы современной науки", 28.09.2018 (Совместная конференция с Международным научным центром)

ХXXIII Международная научно-практическая конференция: "Актуальные проблемы современной науки", 30.08.2018 (Совместная конференция с Международным научным центром)

ХXXII Международная научно-практическая конференция: "Актуальные проблемы современной науки", 31.07.2018 (Совместная конференция с Международным научным центром)

XII Международная научно-практическая конференция «Актуальные проблемы экономики и финансов», 31.07.2018 (Совместная конференция с Финансово-экономическим научным советом)

ХXXI Международная научно-практическая конференция: "Актуальные проблемы современной науки", 29.06.2018 (Совместная конференция с Международным научным центром)

ХІ Международная научно-практическая конференция «Глобальные проблемы экономики и финансов», 31.05.2018 (Совместная конференция с Финансово-экономическим научным советом)

XXХ Международная научно-практическая конференция: "Актуальные проблемы современной науки", 30.05.2018 (Совместная конференция с Международным научным центром)

XXIХ Международная научно-практическая конференция: "Актуальные проблемы современной науки", 30.04.2018 (Совместная конференция с Международным научным центром)

ХХVIІІ Международная научно-практическая конференция: "Актуальные проблемы современной науки", 29.03.2018 (Совместная конференция с Международным научным центром)

ІІІ МНПК "Экономика, финансы и управление в XXI веке: анализ тенденций и перспективы развития", 19-22.03.2018 (Совместная конференция с Финансово-экономическим научным советом)

X Международная научно-практическая конференция «Глобальные проблемы экономики и финансов», 28.02.2018 (Совместная конференция с Финансово-экономическим научным советом)

ХХVІІ Международная научно-практическая конференция: "Актуальные проблемы современной науки", 27.02.2018 (Совместная конференция с Международным научным центром)

ХХVІ Международная научно-практическая конференция: "Актуальные проблемы современной науки", 30.01.2018 (Совместная конференция с Международным научным центром)

XІІ Международная научно-практическая конференция «Научный диспут: вопросы экономики и финансов», 29.12.2017 (Совместная конференция с Финансово-экономическим научным советом)

ХХV Международная научно-практическая конференция: "Актуальные проблемы современной науки", 28.12.2017 (Совместная конференция с Международным научным центром)

ХХІV Международная научно-практическая конференция: "Актуальные проблемы современной науки", 29.11.2017 (Совместная конференция с Международным научным центром)

XI Международная научно-практическая конференция «Актуальные проблемы экономики и финансов», 31.10.2017 (Совместная конференция с Финансово-экономическим научным советом)

XІ Международная научно-практическая конференция «Научный диспут: вопросы экономики и финансов», 29.09.2017 (Совместная конференция с Финансово-экономическим научным советом)

ХХIІІ Международная научно-практическая конференция: "Актуальные проблемы современной науки", 28.09.2017 (Совместная конференция с Международным научным центром)

X Международная научно-практическая конференция «Актуальные проблемы экономики и финансов», 31.07.2017 (Совместная конференция с Финансово-экономическим научным советом)

ХXII Международная научно-практическая конференция: "Актуальные проблемы современной науки", 28.07.2017 (Совместная конференция с Международным научным центром)

ХXI Международная научно-практическая конференция: "Актуальные проблемы современной науки", 29.06.2017 (Совместная конференция с Международным научным центром)

IX Международная научно-практическая конференция «Глобальные проблемы экономики и финансов», 31.05.2017 (Совместная конференция с Финансово-экономическим научным советом)

ХX Международная научно-практическая конференция: "Актуальные проблемы современной науки", 30.05.2017 (Совместная конференция с Международным научным центром)

"Тенденции развития национальных экономик: экономическое и правовое измерение" 18-19.05.2017 (Совместная конференция с Финансово-экономическим научным советом и ККИБиП)

ХIX Международная научно-практическая конференция: "Актуальные проблемы современной науки", 27.04.2017 (Совместная конференция с Международным научным центром)

IX Международная научно-практическая конференция "Научный диспут: вопросы экономики и финансов", 31.03.2017 (Совместная конференция с Финансово-экономическим научным советом)

ХVIII Международная научно-практическая конференция: "Актуальные проблемы современной науки", 30.03.2017 (Совместная конференция с Международным научным центром)

МНПК "Экономика, финансы и управление в XXI веке: анализ тенденций и перспективы развития", 20–23.03.2017 (Совместная конференция с Финансово-экономическим научным советом)

VIII Международная научно-практическая конференция "Глобальные проблемы экономики и финансов", 28.02.2017 (Совместная конференция с Финансово-экономическим научным советом)

ХVII Международная научно-практическая конференция: "Актуальные проблемы современной науки", 27.02.2017 (Совместная конференция с Международным научным центром)

VIII Международная научно-практическая конференция "Актуальные проблемы экономики и финансов", 31.01.2017 (Совместная конференция с Финансово-экономическим научным советом)

ХVI Международная научно-практическая конференция: "Актуальные проблемы современной науки", 30.01.2017 (Совместная конференция с Международным научным центром)

ХV Международная научно-практическая конференция: "Актуальные проблемы современной науки", 28.12.2016 (Совместная конференция с Международным научным центром)

VIII Международная научно-практическая конференция "Научный диспут: вопросы экономики и финансов", 28.12.2016 (Совместная конференция с Финансово-экономическим научным советом)

VII Международная научно-практическая конференция "Глобальные проблемы экономики и финансов", 30.11.2016 (Совместная конференция с Финансово-экономическим научным советом)

ХІV Международная научно-практическая конференция: "Актуальные проблемы современной науки", 29.11.2016 (Совместная конференция с Международным научным центром)

VII Международная научно-практическая конференция "Актуальные проблемы экономики и финансов", 31.10.2016 (Совместная конференция с Финансово-экономическим научным советом)

ХІІІ Международная научно-практическая конференция: "Актуальные проблемы современной науки", 28.10.2016 (Совместная конференция с Международным научным центром)

VII Международная научно-практическая конф. «Научный диспут: вопросы экономики и финансов», 30.09.2016 (Совместная конференция с Финансово-экономическим научным советом)

ХІІ Международная научно-практическая конференция: "Актуальные проблемы современной науки", 29.09.2016 (Совместная конференция с Международным научным центром)

XI Международная научно-практическая конференция «Актуальные проблемы современной науки», 30.08.2016 (Совместная конференция с Международным научным центром)

ІV Международная научно-практическая конф. "Экономика и управление в XXI веке: анализ тенденций и перспектив развития", 29.07.2016 (Совместная конференция с Финансово-экономическим научным советом)

X Международная научно-практическая конференция "Актуальные проблемы современной науки", 28.07.2016 (Совместная конференция с Международным научным центром)

VІ Международная научно-практическая конференция "Актуальные проблемы экономики и финансов", 30.06.2016 (Совместная конференция с Финансово-экономическим научным советом)

ІX Международная научно-практическая конференция "Актуальные проблемы современной науки", 29.06.2016 (Совместная конференция с Международным научным центром)

VI Международная научно-практическая конференция "Научный диспут: вопросы экономики и финансов", 31.05.2016 (Совместная конференция с Финансово-экономическим научным советом)

VIIІ Международная научно-практическая конференция "Актуальные проблемы современной науки", 30.05.2016 (Совместная конференция с Международным научным центром)

V Международная научно-практическая конференция "Глобальные проблемы экономики и финансов", 29.04.2016 (Совместная конференция с Финансово-экономическим научным советом)

VIІ Международная научно-практическая конференция "Актуальные проблемы современной науки", 28.04.2016 (Совместная конференция с Международным научным центром)

VІ Международная научно-практическая конференция "Актуальные проблемы современной науки", 31.03.2016 (Совместная конференция с Международным научным центром)

ІI Международная научно-практическая конф. "Экономика и управление в XXI веке: анализ тенденций и перспектив развития", 30.03.2016 (Совместная конференция с Финансово-экономическим научным советом)

V Международная научно-практическая конференция "Актуальные проблемы экономики и финансов", 21-24.03.2016 (Совместная конференция с Финансово-экономическим научным советом)

V Международная научно-практическая конференция "Научный диспут: вопросы экономики и финансов", 26.02.2016 (Совместная конференция с Финансово-экономическим научным советом)

II Международная научно-практическая конференция: "Научный диспут: актуальные вопросы медицины" 20.02.2016 (Совместная конференция с Международным научным центром)

ІV Международная научно-практическая конференция "Актуальные проблемы современной науки", 29.12.2015 (Совместная конференция с Международным научным центром)

IV Международная научно-практическая конференция "Глобальные проблемы экономики и финансов", 28.12.2015 (Совместная конференция с Финансово-экономическим научным советом)

IV Международная научно-практическая конференция "Актуальные проблемы экономики и финансов", 30.11.2015 (Совместная конференция с Финансово-экономическим научным советом)

IV Международная научно-практическая конференция "Научный диспут: вопросы экономики и финансов", 29.10.2015 (Совместная конференция с Финансово-экономическим научным советом)

Международная научно-практическая конференция: "Научный диспут: актуальные вопросы медицины" 28.10.2015 (Совместная конференция с Международным научным центром)

III Международная научно-практическая конференция "Глобальные проблемы экономики и финансов", 30.09.2015 (Совместная конференция с Финансово-экономическим научным советом)

III Международная научно-практическая конференция "Актуальные проблемы экономики и финансов", 31.08.2015 (Совместная конференция с Финансово-экономическим научным советом)

ІІІ Международная научно-практическая конференция "Научный диспут: вопросы экономики и финансов", 30.06.2015 (Совместная конференция с Финансово-экономическим научным советом)

ІІ Международная научно-практическая конференция "Актуальные проблемы современной науки", 29.06.2015 (Совместная конференция с Международным научным центром)

II Международная научно-практическая конференция "Глобальные проблемы экономики и финансов", 28.05.2015 (Совместная конференция с Финансово-экономическим научным советом)

Актуальные проблемы экономики и финансов, 29.04.2015 (Совместная конференция с Финансово-экономическим научным советом)

Научный диспут: вопросы экономики и финансов, 31.03.2015 (Совместная конференция с Финансово-экономическим научным советом)

Актуальные проблемы современной науки, 27.03.2015 (Совместная конференция с Международным научным центром)

Глобальные проблемы экономики и финансов, 27.02.2015 (Совместная конференция с финансово-экономическим научным советом)



Бродкевич В. М., Ремесло В. Я. Основи процесу навчання штучної нейронної мережі // Міжнародний науковий журнал "Інтернаука". — 2018. — №14.


Отрасль науки: Технические науки
Скачать статью (pdf)

Технічні науки

УДК 622. 276.53

Бродкевич Володимир Михайлович

кандидат економічних наук,

доцент кафедри інформаційно-технічних та природничих дисциплін

Київський кооперативний інститут бізнесу і права

Бродкевич Владимир Михайлович

кандидат экономических наук,

доцент кафедры информационно-технических

и естественно-научных дисциплин

Киевский кооперативный институт бизнеса и права

Brodkevych Volodymyr

PhD of Economy, Associate Professor,

Associate Professor of the Department of

Information Technology Natural Sciences

Kyiv Cooperative Institute of Business and Law

Ремесло Вячеслав Якович

кандидат військових наук, доцент,

доцент кафедри інформаційно-технічних та природничих дисциплін

Київський кооперативний інститут бізнесу і права

Ремесло Вячеслав Якович

кандидат военных наук, доцент,

доцент кафедры информационно-технических

и естественно-научных дисциплин

Киевский кооперативный институт бизнеса и права

Remeslo Viacheslav

PhD of Military Sciences, Associate Professor,

Associate Professor of the Department of

Information Technology and Natural Sciences

Kyiv Cooperative Institute of Business and Law

ОСНОВИ ПРОЦЕСУ НАВЧАННЯ ШТУЧНОЇ НЕЙРОННОЇ МЕРЕЖІ

ОСНОВЫ ПРОЦЕССА ОБУЧЕНИЯ ИСКУССТВЕННОЙ НЕЙРОННОЙ СЕТИ

BASIC OF PROCESS LEARNING ARTIFICIAL NEURAL NETWORK

Анотація. У цій статті автори розглянули три загальні парадигми машинного навчання: "із вчителем", "без вчителя" (самонавчання) і змішану. Основні завдання, розв'язувані в контексті нейромоделювання, які можуть представляти інтерес для вчених і інженерів, відображені. Проведено порівняння характеристик машини фон Неймана та біологічної нейронної системи. Отримано висновок, щодо нових вимог до професіонала (вченого, інженера по даних),які відмінні від вимог до його попередників-інженерів - програмістів. Розглянуто найбільш поширені функції активації та основи побудови алгоритмів навчання нейронних мереж, нейронні обчислювачі. Точка зору авторів може бути корисна для читацької аудиторії: студентів, аспірантів, фахівців інженерно-технічних спеціальностей з метою поглиблення знань в галузі навчання штучних нейронних мереж.

Ключові слова: машинне навчання, вагові параметри, функції активації нейрона, нейронний обчислювач, цифрові нейрочипи, аналогові нейрочипи, гібридні нейрочипи.

Аннотация. В этой статье авторы рассмотрели три общие парадигмы машинного обучения: «с учителем», «без учителя», (самообучение) и смешанную. Основные задания, решаемые в процессе нейромоделирования, которые могут представлять интерес для ученых и инженеров, отображены. Проведено сравнение характеристик машины фон Неймана и биологической нейронной системы. Получено вывод относительно новых требований к профессионалу (ученому, инженеру по данных),которые отличны от требований к его предшественникам – инженерам-программистам. Рассмотрены наиболее распространенные функции активации и основы построения алгоритмов обучения нейронных сетей, нейронные вычислители. Точка зрения авторов может быть полезна для читательской аудитории: студентам, аспирантам, инженерно-техническим специалистам с целью углубления знаний в сфере обучения искусственных нейронных сетей.

Ключевые слова: машинное обучение, весовые параметры, функции активации нейрона, нейронный вычислитель, цифровые нейрочипи, аналоговые нейрочипи, гибридные нейрочипи.

Summary. In this article the authors make revive three general paradigms of the machines learning: “with educator”, “without educator” and combined. Displayed general researches on neuromodeling that may be interesting for engineers and scientists. Have been made the comparison of the Funnymen machine and biological neural system. Made a look on the more developed activation functions and basics of the neural networks learning algorithms, neurochips. The authors point of view may be useful for students, researchers, computer engineers and scientists.

Key words: Machine Learning, Wight parameters, Function of activity, artificial neural network learning, neurochips, neuromodeling, analog neurochips, hybrid neurochips.

Здатність до навчання є фундаментальною властивістю мозку людини. Процес навчання може розглядатися як визначення архітектури мережі і налаштування вагових параметрів зв'язків для ефективного виконання спеціальних задач. Вагові параметри зв’язків не є постійними [5]. Вони змінюються в нейромережах і налаштовуються в залежності від наявної навчальної множини. Властивість мереж навчатися на конкретних прикладах робить їх більш привабливими у порівнянні із системами, які функціонують згідно визначеному переліку правил, що сформульовані експертами.

Для процесу навчання необхідно мати модель зовнішнього середовища, у якій функціонує нейронна мережа, а також потрібну для вирішення задачі інформацію. Крім того, необхідно визначити, як модифікувати вагові параметри мережі. Алгоритм навчання означає процедуру, в якій використовуються правила навчання для налаштування ваг.

Існують три загальні парадигми навчання: "із вчителем", "без вчителя" (самонавчання) і змішана. У першому випадку нейромережа має у своєму розпорядженні правильні відповіді (виходи мережі) на кожен вхідний приклад. Ваги налаштовуються так, щоб мережа виробляла відповіді як можна більш близькі до відомих правильних відповідей. Навчання без вчителя не вимагає знання правильних відповідей на кожен приклад навчальної вибірки. У цьому випадку розкривається внутрішня структура даних та кореляція між зразками в навчальній множині, що дозволяє розподілити зразки по категоріях. При змішаному навчанні частина ваг визначається за допомогою навчання із вчителем, у той час як інша визначається за допомогою самонавчання.

Обґрунтованість застосування нейромереж

Застосування нейромереж не можна вважати єдино правильним рішенням для всіх існуючих обчислювальних проблем. Хоча традиційні комп'ютери та обчислювальні методи є ідеальними для багатьох застосувань, все ж сучасні цифрові обчислювальні машини перевершують людину по здатності робити числові і символьні обчислення. Однак, мозок людини може без зусиль вирішувати складні задачі сприйняття зовнішніх даних (наприклад, впізнавання людини в юрбі по його обличчю_- візуальна ідентифікація) з такою швидкістю і точністю, що наймогутніший у світі комп'ютер у порівнянні з ним здається безнадійним тугодумом. У чому причина настільки значного розходження в їхній продуктивності? Порівняємо. Результати порівняння наведені в табл.1.

Таблиця 1

Порівняльні характеристики машини фон Неймана та біологічної нейронної системи

Характеристики

Машина фон Неймана

Біологічна нейронна система

Процесор

Складний

Високошвидкісний

Один чи декілька

Простий

Низькошвидкісний

Велика кількість

Пам'ять

Відділена від процесора

Локалізована

Адресація не по змісту

Інтегрована в процесор

Розподілена

Адресація по змісту

Обчислення

Централізовані

Послідовні

Збережені програми

Розподілені

Паралельні

Самонавчання

Надійність

Висока вразливість

Достатня живучість

Спеціалізація

Чисельні і символьні операції

Проблеми сприйняття

Середовище функціонування

Строго визначене

Строго обмежене

Не чітко визначене

Без обмежень

Функції

Логічні, через правила, концепції і обчислення

Через зображення, рисунки, керування

Метод навчання

За правилами (дидактично)

За прикладами (сократично)

Застосування

Числова та символьна обробка інформації

Розпізнавання мови

Розпізнавання образів

Розпізнавання текстів

 Висвітлимо деякі проблеми, розв'язувані в контексті нейромоделювання, які можуть представляти інтерес для вчених і інженерів.

Класифікація образів. Завдання полягає у визначенні приналежності вхідного образа (наприклад, мовного сигналу чи рукописного символу), представленого вектором ознак, одному чи декільком попередньо визначеним класам. До відомих застосувань відносяться розпізнавання букв, розпізнавання мови, класифікація сигналу електрокардіограми, класифікація клітин крові.

Кластеризація/категоризація. При вирішенні задачі кластеризації, що відома також як класифікація образів "без вчителя", навчальна множина з визначеними класами відсутня. Алгоритм кластеризації заснований на схожості образів і розміщує близькі образи в один кластер.

Апроксимація функцій. Припустимо, що є навчальна вибірка ((x1,y1), (x2,y2)..., (xn,yn)) (пари даних вхід-вихід), яка генерується невідомою функцією F, спотвореної шумом. Завдання апроксимації полягає в знаходженні невідомої функції F.

Передбачення/прогноз. Нехай задані n дискретних відліків {y(t1), y(t2), ..., y(tn)} у послідовні моменти часу t1, t2,..., tn . Завдання полягає в передбаченні значення y(tn+1) у деякий майбутній момент часу tn+1. Передбачення/прогноз мають значний вплив на прийняття рішень у бізнесі, науці і техніці (передбачення цін на фондовій біржі, прогноз погоди).

Оптимізація. Численні проблеми в математиці, статистиці, техніці, науці, медицині й економіці можуть розглядатися як проблеми оптимізації. Задачею алгоритму оптимізації є знаходження такого рішення, що задовольняє системі обмежень і максимізує чи мінімізує цільову функцію.

Пам'ять, що адресується за змістом. В традиційних комп'ютерах звертання до пам'яті доступно тільки за допомогою адреси, що не залежить від змісту пам'яті. Більш того, якщо допущена помилка в обчисленні адреси, то може бути знайдена зовсім інша інформація. Асоціативна пам'ять, чи пам'ять, що адресується за змістом, доступна за вказівкою заданого змісту. Зміст пам'яті може бути викликано навіть по частковому входу чи спотвореному змісту

Керування. Розглянемо динамічну систему, задану сукупністю {u(t), y(t)}, де u(t) є вхідним керуючим впливом, а y(t) - виходом системи в момент часу t. В системах керування з еталонною моделлю метою керування є розрахунок такого вхідного впливу u(t), при якому система діє по бажаній траєкторії, заданою еталонною моделлю. Прикладом є оптимальне керування двигуном.

Але, незважаючи на переваги нейронних мереж в конкретних галузях над традиційними обчисленнями, існуючі нейромережі є недосконалими рішеннями. Вони навчаються і можуть робити "помилки". Окрім того, не можна гарантувати, що розроблена мережа є оптимальною мережею. Застосування нейромереж вимагає від розробника виконання ряду умов.

Ці умови включають:

  • множину даних, що включає інформацію, яка може характеризувати проблему;
  • відповідно встановлену за розміром множину даних для навчання і тестування мережі;
  • розуміння базової природи проблеми, яка буде вирішена;
  • вибір функції суматора, передатної функції та методів навчання;
  • розуміння інструментальних засобів розробника;
  • відповідна потужність обробки.

Новий шлях обчислень вимагає нових вмінь розробника поза межами традиційних обчислень. Так, якщо спочатку, обчислення були лише апаратними і інженери робили їх працюючими. Потім, були спеціалісти з програмного забезпечення: програмісти, системні інженери, спеціалісти по базах даних та проектувальники. Тепер є і віримо, що у перспективі будуть вже фахівці нового застосування, а саме так звані нейронні архітектори. Новий професіонал(вчений, інженер по даних) повинен мати кваліфікацію відмінну від його попередників. Наприклад, він повинен знати математичні дисципліни: математичну статистику, теорію ймовірностей; методи обчислень для вибору і оцінювання навчальних і тестових множин. Крім того, йому в роботі обов’язково знадобиться логічне мислення сучасного інженера програмного забезпечення, його емпіричне вміння та інтуїтивне відчуття гарантує створення ефективних нейромереж. Це зобов’язує його бути перш за все експертом конкретної галузі – економіст, медик, юрист, біолог,…

НЕЙРОННІ ОБЧИСЛЮВАЧІ

В теперішній час найчастіше використовується модель нейрона, яка наведена на рис. 1. Нейрон має n однонапрямлених входів (синапсів), з'єднаних із виходами інших нейронів, а також вихід y (аксон), по якому сигнал (збудження або гальмування) надходить на синапси наступних нейронів.

Рис. 1. Модель нейрона

Синапси характеризується значенням синоптичного зв'язку або ваги wi, що по фізичному змісту еквівалентно електричній провідності. Кожний нейрон характеризується своїм поточним станом s за аналогією з нервовими клітинами головного мозку, що можуть бути збуджені або загальмовані.

Поточний стан нейрона залежить від значення його входів, ваг та, можливо, попереднього стану. Найчастіше стан нейрона визначається як зважена сума його входів:

                                                                                                   (1)

або як відстань між вектором входів і вектором ваг входів

                                                                                             (2)

Вихід у моделі нейрона є функція його стану:

y = f(s)                                                                                                        (3)

Функція f(s) називається функцією активації.

Найбільш поширеними функціями активації є східчаста порогова, лінійна порогова, сигмоїдна, а також лінійна і гаусіана, які наведені в табл. 2.

Таблиця 2

Функції активації нейрона

Назва

Визначення

Східчаста порогова

 

Лінійна порогова

 

Сигмоїдна

 

Лінійна

f(s) = ks + b

Гауссіана

 

Основи побудови алгоритмів навчання нейронних мереж

Одним із найважливіших етапів розробки нейронного обчислювача є процес навчання мережі. Від якості навчання залежить спроможність мережі вирішувати поставлені перед нею задачі. На етапі навчання крім параметра якості добору вагових коефіцієнтів, важливу роль відіграє час навчання. Як правило, ці два параметри зв'язані зворотною залежністю і їх доводиться вибирати на основі компромісу.

Навчання починається з вибору вихідної мережі (евристично обраний граф) з заданою кількістю входів і виходів. Наприклад, в літературі рекомендується тришарова мережа з числом нейронів внутрішнього шару, рівним півсумі числа входів і виходів мережі. Кожен нейрон внутрішнього шару зв’язаний з виходами всіх вхідних нейронів мережі. Кожен вихідний нейрон зв’язаний з виходами всіх нейронів внутрішнього шару. Далі пробують обрати ваги входів нейронів мережі так, щоб вирішувалася задача. Якщо це не вдається, то змінюють граф мережі.

Найбільш поширеним алгоритмом визначення ваг для навчання зі спостереженням персептронних мереж, для якого доведена збіжність процесу, є алгоритм зворотнього поширення помилки. На сьогодні його реалізують 80% нейрочипів, орієнтованих на задачі цифрової обробки сигналів. Крім всього іншого, він став деяким еталоном для виміру продуктивності нейронних обчислювачів. При навчанні сигнал помилки поширюється по мережі у зворотньому напрямку. Виконується корекція ваг входів нейронів, що запобігає появі повторної помилки.

 В загальному випадку, проектування нейросистем - це складний і трудомісткий процес, у якому вибір конкретного алгоритму - тільки один із декількох кроків процесу проектування. Він, як правило, включає: дослідження предметної області, структурно-функціональне проектування, топологічне проектування, тощо.

Нейронний обчислювач це система з МІМD (англ. multiple instruction, multiple data ) архітектурою, яка працює за алгоритмом нейронної мережі. Нейрообчислювачі відносяться до масово-паралельних систем, що характеризуються паралельними потоками однакових команд і множинного потоку даних.

Для побудови більш продуктивних нейрообчислювачів, як правило, застосовують сигнальні мікропроцесори. Сигнальні мікропроцесори, які розроблялися для задач цифрової обробки сигналів, як виявилося, спроможні ефективно інтерпретувати алгоритми нейромереж. Вони орієнтовані на обробку масивів (векторів) даних, виконують операцію множення з накопиченням. Деякі з них можуть одночасно виконувати дві команди. Ці особливості дозволяють легко реалізувати множення з накопиченням векторів ваг і векторів входів нейронів мережі. Звичайно при створенні нейрообчислювачів використовують гібридну структуру, коли блок матричних обчислень реалізується на базі каскадного з'єднання сигнальних процесорів, а логіка керування - на основі PLM.( Programmable Logic Matrix)

Елементною базою нейрообчислювачів третього напрямку – саме нейрокомпютерів – є нейрочипи. Нейрочипи бувають цифрові, аналогові і гібридні. Вони також можуть включати схеми настроювання ваг при навчанні, а можуть не мати таких схем і передбачати лише зовнішнє завантаження ваг

Показником, що оцінює швидкість навчання є CUPS (connections update per second) - число змінених значень ваг у секунду.

Цифрові нейрочипи. Одним із перших нейрочипів була ВІС MD1220 фірми Micro Device. Цей кристал інтепретує 8 нейронів і 8 зв'язків із 16-ти розрядними вагами, що зберігаються у внутрішньокристалевій пам'яті, і однорозрядними входами, які мають послідовні помножувачі. Тривалість такту – 7,2 мкс, що забезпечує продуктивність 9 МСРS З цих нейрочипів шляхом їхній каскадного з‘єднання можуть бути побудовані нейрокомпьютери.

Фірма Adaptive Logic випускає нейрочип NLX420 із шістнадцятьма процесорними елементами (ПЕ), кожний із який має 32-розрядний суматор. Ваги і входи завантажуються як 16-розрядні слова, але можуть бути використані як 16 однорозрядних слів, або як 4 чотирирозрядних, або як 2 восьмирозрядних, або як одне 16-розрядне слово. Ваги зберігаються поза чипом. Вхід загальний для усіх ПЕ, що дозволяє виконувати паралельно до 16 операцій множення. Функції активації задаються користувачем. Кристали можна з‘єднувати каскадно.

Кристал Lneuro 1,0 фірми Philips містить 16 ПЕ, кожний з яких може функціонувати як шістнадцять 1-розрядних, вісім 2-розрядних, чотири 4-розрядних, два 8-розрядних або один 16-розрядний. Чип має 1 кбайт пам'яті ваг, що дозволяє використовувати 1024 8-розрядних або 512 16 -розрядних вагових коефіцієнтів. Функція активації реалізується поза чипом, що дозволяє при каскадуванні інтепретувати великі мережі.

Аналогові нейрочипи використовують аналогові схеми - суматори з аналоговими входами, ваги яких теж задаються аналоговим способом. Ці чипи звичайно менше і простіше цифрових. З іншого боку, забезпечення необхідної точності вимагає ретельного проектування і виготовлення. Кристал фірми1п1е1 80170NW містить 64 нейрона і 2 банки 64х80 ваг. Можливо декілька мережних конфігурацій. Чип має 64 аналогових входи (0-3 В) і 16 внутрішніх зсувів. На кристалі можна реалізувати двошарову мережу з 64 входами, 64 внутрішніми і 64 вихідними нейронами. Інші конфігурації включають 3-шарові мережі або 1-шарову з 128 входами. Точність ВІС складає 5-6 розрядів для ваг і виходів.

Гібридні нейрочипи використовують комбінацію аналогового і цифрового підходів. Наприклад, входи можуть бути аналоговими, ваги завантажуватися як цифрові і виходи повинні бути цифровими.

Чипи CLNN-32, CLNN-64 фірми Bellcore містить 32 нейрона. Входи, виходи і внутрішнє обробка сигналів - аналогові, а 5-розрядні ваги - цифрові.

Чип ANNA фірми АТ&Т в основному цифровий, але усередині використовує конденсаторні заряди для збереження ваг. Чип містить 4096 ваг. Число нейронів варіюється від 16 до 256 із числом входів у нейрона 256 або 16, відповідно. Ваги мають точність 6 розрядів.

Існують нейрочипи, у яких використовується представлення даних частотою або шириною імпульсів.

Література

  1. Основи теорії проектування нейронних мереж. Тимощук П.В., Лобур М.В. Навчальний посібник. Львів. Видавництво Львівська політехніка. - 2007. – 328 с.
  2. Вікіпедія: https://uk.wikipedia.org/wiki/
  3. Оптика сьогодні http://opticstoday.com/katalog-statej/
  4. https://futurum.today/shtuchni-neironni-merezhi-shcho-tse-take/
  5. https://uk.wikipedia.org/wiki/Штучна_нейронна_мережа#З'єднання_та_ваги
  6. Комп’ютерна інженерія: Нейронні мережі та нейрокомп’ютери, як основа відтворення процесу мислення / Бродкевич В. М., Ремесло В. Я. // Міжнародний науковий журнал «Інтернаука». - №5(45). - 2018. - С.47.