Выпуск №6 (Июнь)
XLII Международная научно-практическая конференция «Актуальные проблемы современной науки», 27.06.2019 (Совместная конференция с Международным научным центром развития науки и технологий)

XLI Международная научно-практическая конференция «Актуальные проблемы современной науки», 30.05.2019 (Совместная конференция с Международным научным центром развития науки и технологий)

XL Международная научно-практическая конференция «Актуальные проблемы современной науки», 28.03.2019 (Совместная конференция с Международным научным центром развития науки и технологий)

МНПК "Цифровая трансформация и инновации в экономике, праве, государственном управлении, науке и образовательных процессах", 18-21.03.2019

XXXIX Международная научно-практическая конференция «Актуальные проблемы современной науки», 27.02.2019 (Совместная конференция с Международным научным центром развития науки и технологий)

XIII Международная научно-практическая конференция «Научный диспут: вопросы экономики и финансов», 31.01.2019 (Совместная конференция с Финансово-экономическим научным советом)

XXXVIII Международная научно-практическая конференция «Актуальные проблемы современной науки», 30.01.2019 (Совместная конференция с Международным научным центром развития науки и технологий)

XXXVІI Международная научно-практическая конференция: "Актуальные проблемы современной науки", 28.12.2018 (Совместная конференция с Международным научным центром)

XXXVI Международная научно-практическая конференция: "Актуальные проблемы современной науки", 29.11.2018 (Совместная конференция с Международным научным центром)

XIII Международная научно-практическая конференция «Актуальные проблемы экономики и финансов», 31.10.2018 (Совместная конференция с Финансово-экономическим научным советом)

XXXV Международная научно-практическая конференция: "Актуальные проблемы современной науки", 30.10.2018 (Совместная конференция с Международным научным центром)

XXXIV Международная научно-практическая конференция: "Актуальные проблемы современной науки", 28.09.2018 (Совместная конференция с Международным научным центром)

ХXXIII Международная научно-практическая конференция: "Актуальные проблемы современной науки", 30.08.2018 (Совместная конференция с Международным научным центром)

ХXXII Международная научно-практическая конференция: "Актуальные проблемы современной науки", 31.07.2018 (Совместная конференция с Международным научным центром)

XII Международная научно-практическая конференция «Актуальные проблемы экономики и финансов», 31.07.2018 (Совместная конференция с Финансово-экономическим научным советом)

ХXXI Международная научно-практическая конференция: "Актуальные проблемы современной науки", 29.06.2018 (Совместная конференция с Международным научным центром)

ХІ Международная научно-практическая конференция «Глобальные проблемы экономики и финансов», 31.05.2018 (Совместная конференция с Финансово-экономическим научным советом)

XXХ Международная научно-практическая конференция: "Актуальные проблемы современной науки", 30.05.2018 (Совместная конференция с Международным научным центром)

XXIХ Международная научно-практическая конференция: "Актуальные проблемы современной науки", 30.04.2018 (Совместная конференция с Международным научным центром)

ХХVIІІ Международная научно-практическая конференция: "Актуальные проблемы современной науки", 29.03.2018 (Совместная конференция с Международным научным центром)

ІІІ МНПК "Экономика, финансы и управление в XXI веке: анализ тенденций и перспективы развития", 19-22.03.2018 (Совместная конференция с Финансово-экономическим научным советом)

X Международная научно-практическая конференция «Глобальные проблемы экономики и финансов», 28.02.2018 (Совместная конференция с Финансово-экономическим научным советом)

ХХVІІ Международная научно-практическая конференция: "Актуальные проблемы современной науки", 27.02.2018 (Совместная конференция с Международным научным центром)

ХХVІ Международная научно-практическая конференция: "Актуальные проблемы современной науки", 30.01.2018 (Совместная конференция с Международным научным центром)

XІІ Международная научно-практическая конференция «Научный диспут: вопросы экономики и финансов», 29.12.2017 (Совместная конференция с Финансово-экономическим научным советом)

ХХV Международная научно-практическая конференция: "Актуальные проблемы современной науки", 28.12.2017 (Совместная конференция с Международным научным центром)

ХХІV Международная научно-практическая конференция: "Актуальные проблемы современной науки", 29.11.2017 (Совместная конференция с Международным научным центром)

XI Международная научно-практическая конференция «Актуальные проблемы экономики и финансов», 31.10.2017 (Совместная конференция с Финансово-экономическим научным советом)

XІ Международная научно-практическая конференция «Научный диспут: вопросы экономики и финансов», 29.09.2017 (Совместная конференция с Финансово-экономическим научным советом)

ХХIІІ Международная научно-практическая конференция: "Актуальные проблемы современной науки", 28.09.2017 (Совместная конференция с Международным научным центром)

X Международная научно-практическая конференция «Актуальные проблемы экономики и финансов», 31.07.2017 (Совместная конференция с Финансово-экономическим научным советом)

ХXII Международная научно-практическая конференция: "Актуальные проблемы современной науки", 28.07.2017 (Совместная конференция с Международным научным центром)

ХXI Международная научно-практическая конференция: "Актуальные проблемы современной науки", 29.06.2017 (Совместная конференция с Международным научным центром)

IX Международная научно-практическая конференция «Глобальные проблемы экономики и финансов», 31.05.2017 (Совместная конференция с Финансово-экономическим научным советом)

ХX Международная научно-практическая конференция: "Актуальные проблемы современной науки", 30.05.2017 (Совместная конференция с Международным научным центром)

"Тенденции развития национальных экономик: экономическое и правовое измерение" 18-19.05.2017 (Совместная конференция с Финансово-экономическим научным советом и ККИБиП)

ХIX Международная научно-практическая конференция: "Актуальные проблемы современной науки", 27.04.2017 (Совместная конференция с Международным научным центром)

IX Международная научно-практическая конференция "Научный диспут: вопросы экономики и финансов", 31.03.2017 (Совместная конференция с Финансово-экономическим научным советом)

ХVIII Международная научно-практическая конференция: "Актуальные проблемы современной науки", 30.03.2017 (Совместная конференция с Международным научным центром)

МНПК "Экономика, финансы и управление в XXI веке: анализ тенденций и перспективы развития", 20–23.03.2017 (Совместная конференция с Финансово-экономическим научным советом)

VIII Международная научно-практическая конференция "Глобальные проблемы экономики и финансов", 28.02.2017 (Совместная конференция с Финансово-экономическим научным советом)

ХVII Международная научно-практическая конференция: "Актуальные проблемы современной науки", 27.02.2017 (Совместная конференция с Международным научным центром)

VIII Международная научно-практическая конференция "Актуальные проблемы экономики и финансов", 31.01.2017 (Совместная конференция с Финансово-экономическим научным советом)

ХVI Международная научно-практическая конференция: "Актуальные проблемы современной науки", 30.01.2017 (Совместная конференция с Международным научным центром)

ХV Международная научно-практическая конференция: "Актуальные проблемы современной науки", 28.12.2016 (Совместная конференция с Международным научным центром)

VIII Международная научно-практическая конференция "Научный диспут: вопросы экономики и финансов", 28.12.2016 (Совместная конференция с Финансово-экономическим научным советом)

VII Международная научно-практическая конференция "Глобальные проблемы экономики и финансов", 30.11.2016 (Совместная конференция с Финансово-экономическим научным советом)

ХІV Международная научно-практическая конференция: "Актуальные проблемы современной науки", 29.11.2016 (Совместная конференция с Международным научным центром)

VII Международная научно-практическая конференция "Актуальные проблемы экономики и финансов", 31.10.2016 (Совместная конференция с Финансово-экономическим научным советом)

ХІІІ Международная научно-практическая конференция: "Актуальные проблемы современной науки", 28.10.2016 (Совместная конференция с Международным научным центром)

VII Международная научно-практическая конф. «Научный диспут: вопросы экономики и финансов», 30.09.2016 (Совместная конференция с Финансово-экономическим научным советом)

ХІІ Международная научно-практическая конференция: "Актуальные проблемы современной науки", 29.09.2016 (Совместная конференция с Международным научным центром)

XI Международная научно-практическая конференция «Актуальные проблемы современной науки», 30.08.2016 (Совместная конференция с Международным научным центром)

ІV Международная научно-практическая конф. "Экономика и управление в XXI веке: анализ тенденций и перспектив развития", 29.07.2016 (Совместная конференция с Финансово-экономическим научным советом)

X Международная научно-практическая конференция "Актуальные проблемы современной науки", 28.07.2016 (Совместная конференция с Международным научным центром)

VІ Международная научно-практическая конференция "Актуальные проблемы экономики и финансов", 30.06.2016 (Совместная конференция с Финансово-экономическим научным советом)

ІX Международная научно-практическая конференция "Актуальные проблемы современной науки", 29.06.2016 (Совместная конференция с Международным научным центром)

VI Международная научно-практическая конференция "Научный диспут: вопросы экономики и финансов", 31.05.2016 (Совместная конференция с Финансово-экономическим научным советом)

VIIІ Международная научно-практическая конференция "Актуальные проблемы современной науки", 30.05.2016 (Совместная конференция с Международным научным центром)

V Международная научно-практическая конференция "Глобальные проблемы экономики и финансов", 29.04.2016 (Совместная конференция с Финансово-экономическим научным советом)

VIІ Международная научно-практическая конференция "Актуальные проблемы современной науки", 28.04.2016 (Совместная конференция с Международным научным центром)

VІ Международная научно-практическая конференция "Актуальные проблемы современной науки", 31.03.2016 (Совместная конференция с Международным научным центром)

ІI Международная научно-практическая конф. "Экономика и управление в XXI веке: анализ тенденций и перспектив развития", 30.03.2016 (Совместная конференция с Финансово-экономическим научным советом)

V Международная научно-практическая конференция "Актуальные проблемы экономики и финансов", 21-24.03.2016 (Совместная конференция с Финансово-экономическим научным советом)

V Международная научно-практическая конференция "Научный диспут: вопросы экономики и финансов", 26.02.2016 (Совместная конференция с Финансово-экономическим научным советом)

II Международная научно-практическая конференция: "Научный диспут: актуальные вопросы медицины" 20.02.2016 (Совместная конференция с Международным научным центром)

ІV Международная научно-практическая конференция "Актуальные проблемы современной науки", 29.12.2015 (Совместная конференция с Международным научным центром)

IV Международная научно-практическая конференция "Глобальные проблемы экономики и финансов", 28.12.2015 (Совместная конференция с Финансово-экономическим научным советом)

IV Международная научно-практическая конференция "Актуальные проблемы экономики и финансов", 30.11.2015 (Совместная конференция с Финансово-экономическим научным советом)

IV Международная научно-практическая конференция "Научный диспут: вопросы экономики и финансов", 29.10.2015 (Совместная конференция с Финансово-экономическим научным советом)

Международная научно-практическая конференция: "Научный диспут: актуальные вопросы медицины" 28.10.2015 (Совместная конференция с Международным научным центром)

III Международная научно-практическая конференция "Глобальные проблемы экономики и финансов", 30.09.2015 (Совместная конференция с Финансово-экономическим научным советом)

III Международная научно-практическая конференция "Актуальные проблемы экономики и финансов", 31.08.2015 (Совместная конференция с Финансово-экономическим научным советом)

ІІІ Международная научно-практическая конференция "Научный диспут: вопросы экономики и финансов", 30.06.2015 (Совместная конференция с Финансово-экономическим научным советом)

ІІ Международная научно-практическая конференция "Актуальные проблемы современной науки", 29.06.2015 (Совместная конференция с Международным научным центром)

II Международная научно-практическая конференция "Глобальные проблемы экономики и финансов", 28.05.2015 (Совместная конференция с Финансово-экономическим научным советом)

Актуальные проблемы экономики и финансов, 29.04.2015 (Совместная конференция с Финансово-экономическим научным советом)

Научный диспут: вопросы экономики и финансов, 31.03.2015 (Совместная конференция с Финансово-экономическим научным советом)

Актуальные проблемы современной науки, 27.03.2015 (Совместная конференция с Международным научным центром)

Глобальные проблемы экономики и финансов, 27.02.2015 (Совместная конференция с финансово-экономическим научным советом)



Аннотация: В работе проведен осмотр существующих решений систем кластерного анализа и визуализации больших объемов данных. После исследования и проектирования была разработана система, предназначенная для: загрузки, нормализации и анализа входных данных; проведения кластерного анализа разными алгоритмами; визуализация и сохранение результатов проведенного кластерного анализа.

Ключевые слова: кластерный анализ, анализ данных, big data, кластер, мера расстояния.


Отрасль науки: Технические науки
Скачать статью (pdf)

Технічні науки

УДК 336.72

Горносталь Олександр Миколайович

студент

НТУУ “Київський політехнічний інститут”

Горносталь Александр Николаевич

студент

НТУУ “Киевский политехнический институт”

Hornostal O.

student

NTUU “Kyiv Polytechnic Institute”

СИСТЕМА КЛАСТЕРНОГО АНАЛІЗУ ТА ВІЗУАЛІЗАЦІЇ ВЕЛИКИХ ОБСЯГІВ ДАНИХ

СИСТЕМА КЛАСТЕРНОГО АНАЛИЗА И ВИЗУАЛИЗАЦИИ БОЛЬШИХ ОБЪЕМОВ ДАННЫХ

SYSTEM OF CLUSTER ANALYSIS AND VISUALIZATION OF BIG DATA

Анотація: В роботі проведено огляд існуючих систем кластерного аналізу та візуалізації великих обсягів даних. Після дослідження та проектування було розроблено систему, призначену для: завантаження, нормалізації та аналізу вхідних даних; здійснення кластерного аналізу різними алгоритмами; візуалізації та збереження результатів проведеного кластерного аналізу.

Ключові слова: кластерний аналіз, аналіз даних, big data, кластер, міра відстані.

Аннотация: В работе проведен осмотр существующих решений систем кластерного анализа и визуализации больших объемов данных. После исследования и проектирования была разработана система, предназначенная для: загрузки, нормализации и анализа входных данных; проведения кластерного анализа разными алгоритмами; визуализация и сохранение результатов проведенного кластерного анализа.

Ключевые слова: кластерный анализ, анализ данных, big data, кластер, мера расстояния.

Summary: In this work an overview of existed systems of cluster analysis and data visualization was made. After analysis and projecting was made system with such functionality: uploading, normalizing and analysis of input data; cluster analysis using various types of algorithms; visualization and saving results of cluster analysis.

Key words: cluster analysis, data analysis, big data, cluster, distance measure.

Вступ

Останнім часом інформація, що зростає в колосальних обсягах, породжує необхідність опрацювання великих обсягів даних. В цьому напрямку своє місце відведено інтелектуальному аналізу даних. Даний напрямок включає в кластерний аналіз та методи, основані на моделюванні, ймовірнісних узагальненнях, асоціюванні та пошуках закономірностей. Кластерний аналіз або автоматичне групування об’єктів є частковим випадком такого аналізу. В великій мірі розвитку цієї дисципліни сприяло проникнення в сферу аналізу даних ідей, що виникли в теорії штучного інтелекту.

Головним завданням кластерного аналізу є виділення необхідної кількості груп об’єктів, що об’єднані за певними критеріями між собою всередині групи і максимально відрізняються від екземплярів інших груп.

Аналіз математичного та алгоритмічного забезпечення систем кластерного аналізу

Кластерний аналіз групує об’єкти даних базуючись тільки на інформації, знайденій в даних, що описують об’єкти та їх взаємозв'язки. Мета в тому, щоб об’єкти в групі були схожими один до одного, але відрізнялися від об’єктів інших груп. Чим більша схожість об’єктів в групі, тим більше відрізняються групи, тим краща кластеризація[1].

В роботі було обрано три прості, але важливі техніки для представлення багатьох концепцій в кластеному аналізі:

- к-середніх;

- агломеративна ієрархічна кластеризація;

- DBSCAN.

Проведено порівняння залежності продуктивності алгоритмів в залежності від кількості кластерів на наступних алгоритмах (рис. 1): к-середніх; алгоритм ієрархічної кластеризації; SOM (Self-Organization Map); EM (Expectation Maximization)[3].

Рис. 1 – Графік залежності продуктивності алгоритмів в залежності від кількості кластерів (розробка автора)

Зі зростанням кількості кластерів продуктивність SOM алгоритму падає. Продуктивність ЕМ та К-середніх стає кращою ніж в ієрахічного алгоритму.

Кількість кластерів впливає також на якість кластеризації, тобто достовірність отриманих результатів.

Структура системи

Система кластерного аналізу складається з чотирьох основних блоків: блок аналізу, блок кластеризації, блок оцінки якості та інтерпретації кластерного рішення, засоби візуалізації [4]. Структура системи приведена на рисунку 2.

Рис. 2 – Структура системи (розробка автора)

Блок аналізу необхідний для виконання попереднього аналізу вхідних даних. Блок кластеризації використовується для безпосереднього розподілу об’єктів до кластерів. Планується реалізація різних типів алгоритмів кластерного аналізу даних. Засіб оцінки якості кластреризації призначений для оцінки степеня достовірності кластерних рішень, на основі яких будуть видані відповідні рекомендації. Засіб візуалізації представляє користувачу можливість взаємодії з системою.

Модель розробленого програмного забезпечення

Виходячи із побудованої концептуальної моделі була спроектована діаграма класів, що зображена на рисунку 3.

Рис. 3 – Діаграма класів системи (розробка автора)

Діаграма класів представляє логічне моделювання системи.

Результати роботи

Для демонстрації роботи програми застосуємо реалізований алгоритм кластеризації до набору даних, що можуть бути як згенеровані додатком автоматично, так і завантажені користувачем з файлу.

Набір даних містить кластери не сферичної форми з наявністю шумів в вигляді поодиноких точок. Такий набір кластерів найкраще виявляється алгоритмом DBSCAN при параметрах MinPts = 10, Eps = 4 (Рисунок 4).

Рис. 4 – Результати роботи алгоритму DBSCAN

Висновки

Було виконано дослідження предметної області, аналіз теоретичних засад та математичних методів кластерного аналізу, проектування, реалізацію та тестування програмного додатку системи кластерного аналізу та візуалізації великих обсягів даних.

З метою можливості подальшої підтримки програмного додатку код був написаний у відповідності до сучасних технологічних рішень, таких як паттерни проектування та з дотриманням SOLID принципів.

Розроблена система кластерного аналізу та візуалізації даних виконує поставлені перед нею задачі: аналіз даних, виконання алгоритмів кластеризацїі та візуалізація отриманих результатів.

Наступними напрямками розвитку системи можна визначити: реалізація більшої кількості алгоритмів кластеризації, розширення функціоналу для роботи не тільки з числовими, а й з категоріальними даними, покращення продуктивності при виконанні візуалізації.

Література:

1. A. K. Jain R. Algorithms for Clustering Data / R. C. Dubes A. K. Jain. – New Jersey: Prentice Hall, 1988. – 334 с.

2. Нейский И.М. Классификация и сравнение методов кластеризации [Електронний ресурс] / Нейский И.М. – Режим доступу до ресурсу: http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf (дата звернення 18.05.2016). – Назва з екрану.

3. L. Kaufman. Finding Groups in Data: An Introdution to Cluster Analysis. Wiley Series in Probability and Statistics / L. Kaufman, P.J. Rousseeuw. – New York: John Wiley and Sons, 1990.

4. Програмная система кластерного анализа данных смешаного типа [Електронний ресурс] – Режим доступу до ресурсу: http://www.jurnal.nips.ru/sites/default/files/Paper-2013-1-11.pdf (дата звернення 30.05.2016). – Назва з екрану.