Выпуск №17 (Декабрь)

https://doi.org/10.25313/2520-2057-2017-17

XLV Международная научно-практическая конференция «Актуальные проблемы современной науки», 28.11.2019 (Совместная конференция с Международным научным центром развития науки и технологий)

XLIV Международная научно-практическая конференция «Актуальные проблемы современной науки», 30.10.2019 (Совместная конференция с Международным научным центром развития науки и технологий)

XLIІI Международная научно-практическая конференция «Актуальные проблемы современной науки», 29.08.2019 (Совместная конференция с Международным научным центром развития науки и технологий)

XLIІI Международная научно-практическая конференция «Актуальные проблемы современной науки», 30.07.2019 (Совместная конференция с Международным научным центром развития науки и технологий)

XLII Международная научно-практическая конференция «Актуальные проблемы современной науки», 27.06.2019 (Совместная конференция с Международным научным центром развития науки и технологий)

XLI Международная научно-практическая конференция «Актуальные проблемы современной науки», 30.05.2019 (Совместная конференция с Международным научным центром развития науки и технологий)

XL Международная научно-практическая конференция «Актуальные проблемы современной науки», 28.03.2019 (Совместная конференция с Международным научным центром развития науки и технологий)

МНПК "Цифровая трансформация и инновации в экономике, праве, государственном управлении, науке и образовательных процессах", 18-21.03.2019

XXXIX Международная научно-практическая конференция «Актуальные проблемы современной науки», 27.02.2019 (Совместная конференция с Международным научным центром развития науки и технологий)

XIII Международная научно-практическая конференция «Научный диспут: вопросы экономики и финансов», 31.01.2019 (Совместная конференция с Финансово-экономическим научным советом)

XXXVIII Международная научно-практическая конференция «Актуальные проблемы современной науки», 30.01.2019 (Совместная конференция с Международным научным центром развития науки и технологий)

XXXVІI Международная научно-практическая конференция: "Актуальные проблемы современной науки", 28.12.2018 (Совместная конференция с Международным научным центром)

XXXVI Международная научно-практическая конференция: "Актуальные проблемы современной науки", 29.11.2018 (Совместная конференция с Международным научным центром)

XIII Международная научно-практическая конференция «Актуальные проблемы экономики и финансов», 31.10.2018 (Совместная конференция с Финансово-экономическим научным советом)

XXXV Международная научно-практическая конференция: "Актуальные проблемы современной науки", 30.10.2018 (Совместная конференция с Международным научным центром)

XXXIV Международная научно-практическая конференция: "Актуальные проблемы современной науки", 28.09.2018 (Совместная конференция с Международным научным центром)

ХXXIII Международная научно-практическая конференция: "Актуальные проблемы современной науки", 30.08.2018 (Совместная конференция с Международным научным центром)

ХXXII Международная научно-практическая конференция: "Актуальные проблемы современной науки", 31.07.2018 (Совместная конференция с Международным научным центром)

XII Международная научно-практическая конференция «Актуальные проблемы экономики и финансов», 31.07.2018 (Совместная конференция с Финансово-экономическим научным советом)

ХXXI Международная научно-практическая конференция: "Актуальные проблемы современной науки", 29.06.2018 (Совместная конференция с Международным научным центром)

ХІ Международная научно-практическая конференция «Глобальные проблемы экономики и финансов», 31.05.2018 (Совместная конференция с Финансово-экономическим научным советом)

XXХ Международная научно-практическая конференция: "Актуальные проблемы современной науки", 30.05.2018 (Совместная конференция с Международным научным центром)

XXIХ Международная научно-практическая конференция: "Актуальные проблемы современной науки", 30.04.2018 (Совместная конференция с Международным научным центром)

ХХVIІІ Международная научно-практическая конференция: "Актуальные проблемы современной науки", 29.03.2018 (Совместная конференция с Международным научным центром)

ІІІ МНПК "Экономика, финансы и управление в XXI веке: анализ тенденций и перспективы развития", 19-22.03.2018 (Совместная конференция с Финансово-экономическим научным советом)

X Международная научно-практическая конференция «Глобальные проблемы экономики и финансов», 28.02.2018 (Совместная конференция с Финансово-экономическим научным советом)

ХХVІІ Международная научно-практическая конференция: "Актуальные проблемы современной науки", 27.02.2018 (Совместная конференция с Международным научным центром)

ХХVІ Международная научно-практическая конференция: "Актуальные проблемы современной науки", 30.01.2018 (Совместная конференция с Международным научным центром)

XІІ Международная научно-практическая конференция «Научный диспут: вопросы экономики и финансов», 29.12.2017 (Совместная конференция с Финансово-экономическим научным советом)

ХХV Международная научно-практическая конференция: "Актуальные проблемы современной науки", 28.12.2017 (Совместная конференция с Международным научным центром)

ХХІV Международная научно-практическая конференция: "Актуальные проблемы современной науки", 29.11.2017 (Совместная конференция с Международным научным центром)

XI Международная научно-практическая конференция «Актуальные проблемы экономики и финансов», 31.10.2017 (Совместная конференция с Финансово-экономическим научным советом)

XІ Международная научно-практическая конференция «Научный диспут: вопросы экономики и финансов», 29.09.2017 (Совместная конференция с Финансово-экономическим научным советом)

ХХIІІ Международная научно-практическая конференция: "Актуальные проблемы современной науки", 28.09.2017 (Совместная конференция с Международным научным центром)

X Международная научно-практическая конференция «Актуальные проблемы экономики и финансов», 31.07.2017 (Совместная конференция с Финансово-экономическим научным советом)

ХXII Международная научно-практическая конференция: "Актуальные проблемы современной науки", 28.07.2017 (Совместная конференция с Международным научным центром)

ХXI Международная научно-практическая конференция: "Актуальные проблемы современной науки", 29.06.2017 (Совместная конференция с Международным научным центром)

IX Международная научно-практическая конференция «Глобальные проблемы экономики и финансов», 31.05.2017 (Совместная конференция с Финансово-экономическим научным советом)

ХX Международная научно-практическая конференция: "Актуальные проблемы современной науки", 30.05.2017 (Совместная конференция с Международным научным центром)

"Тенденции развития национальных экономик: экономическое и правовое измерение" 18-19.05.2017 (Совместная конференция с Финансово-экономическим научным советом и ККИБиП)

ХIX Международная научно-практическая конференция: "Актуальные проблемы современной науки", 27.04.2017 (Совместная конференция с Международным научным центром)

IX Международная научно-практическая конференция "Научный диспут: вопросы экономики и финансов", 31.03.2017 (Совместная конференция с Финансово-экономическим научным советом)

ХVIII Международная научно-практическая конференция: "Актуальные проблемы современной науки", 30.03.2017 (Совместная конференция с Международным научным центром)

МНПК "Экономика, финансы и управление в XXI веке: анализ тенденций и перспективы развития", 20–23.03.2017 (Совместная конференция с Финансово-экономическим научным советом)

VIII Международная научно-практическая конференция "Глобальные проблемы экономики и финансов", 28.02.2017 (Совместная конференция с Финансово-экономическим научным советом)

ХVII Международная научно-практическая конференция: "Актуальные проблемы современной науки", 27.02.2017 (Совместная конференция с Международным научным центром)

VIII Международная научно-практическая конференция "Актуальные проблемы экономики и финансов", 31.01.2017 (Совместная конференция с Финансово-экономическим научным советом)

ХVI Международная научно-практическая конференция: "Актуальные проблемы современной науки", 30.01.2017 (Совместная конференция с Международным научным центром)

ХV Международная научно-практическая конференция: "Актуальные проблемы современной науки", 28.12.2016 (Совместная конференция с Международным научным центром)

VIII Международная научно-практическая конференция "Научный диспут: вопросы экономики и финансов", 28.12.2016 (Совместная конференция с Финансово-экономическим научным советом)

VII Международная научно-практическая конференция "Глобальные проблемы экономики и финансов", 30.11.2016 (Совместная конференция с Финансово-экономическим научным советом)

ХІV Международная научно-практическая конференция: "Актуальные проблемы современной науки", 29.11.2016 (Совместная конференция с Международным научным центром)

VII Международная научно-практическая конференция "Актуальные проблемы экономики и финансов", 31.10.2016 (Совместная конференция с Финансово-экономическим научным советом)

ХІІІ Международная научно-практическая конференция: "Актуальные проблемы современной науки", 28.10.2016 (Совместная конференция с Международным научным центром)

VII Международная научно-практическая конф. «Научный диспут: вопросы экономики и финансов», 30.09.2016 (Совместная конференция с Финансово-экономическим научным советом)

ХІІ Международная научно-практическая конференция: "Актуальные проблемы современной науки", 29.09.2016 (Совместная конференция с Международным научным центром)

XI Международная научно-практическая конференция «Актуальные проблемы современной науки», 30.08.2016 (Совместная конференция с Международным научным центром)

ІV Международная научно-практическая конф. "Экономика и управление в XXI веке: анализ тенденций и перспектив развития", 29.07.2016 (Совместная конференция с Финансово-экономическим научным советом)

X Международная научно-практическая конференция "Актуальные проблемы современной науки", 28.07.2016 (Совместная конференция с Международным научным центром)

VІ Международная научно-практическая конференция "Актуальные проблемы экономики и финансов", 30.06.2016 (Совместная конференция с Финансово-экономическим научным советом)

ІX Международная научно-практическая конференция "Актуальные проблемы современной науки", 29.06.2016 (Совместная конференция с Международным научным центром)

VI Международная научно-практическая конференция "Научный диспут: вопросы экономики и финансов", 31.05.2016 (Совместная конференция с Финансово-экономическим научным советом)

VIIІ Международная научно-практическая конференция "Актуальные проблемы современной науки", 30.05.2016 (Совместная конференция с Международным научным центром)

V Международная научно-практическая конференция "Глобальные проблемы экономики и финансов", 29.04.2016 (Совместная конференция с Финансово-экономическим научным советом)

VIІ Международная научно-практическая конференция "Актуальные проблемы современной науки", 28.04.2016 (Совместная конференция с Международным научным центром)

VІ Международная научно-практическая конференция "Актуальные проблемы современной науки", 31.03.2016 (Совместная конференция с Международным научным центром)

ІI Международная научно-практическая конф. "Экономика и управление в XXI веке: анализ тенденций и перспектив развития", 30.03.2016 (Совместная конференция с Финансово-экономическим научным советом)

V Международная научно-практическая конференция "Актуальные проблемы экономики и финансов", 21-24.03.2016 (Совместная конференция с Финансово-экономическим научным советом)

V Международная научно-практическая конференция "Научный диспут: вопросы экономики и финансов", 26.02.2016 (Совместная конференция с Финансово-экономическим научным советом)

II Международная научно-практическая конференция: "Научный диспут: актуальные вопросы медицины" 20.02.2016 (Совместная конференция с Международным научным центром)

ІV Международная научно-практическая конференция "Актуальные проблемы современной науки", 29.12.2015 (Совместная конференция с Международным научным центром)

IV Международная научно-практическая конференция "Глобальные проблемы экономики и финансов", 28.12.2015 (Совместная конференция с Финансово-экономическим научным советом)

IV Международная научно-практическая конференция "Актуальные проблемы экономики и финансов", 30.11.2015 (Совместная конференция с Финансово-экономическим научным советом)

IV Международная научно-практическая конференция "Научный диспут: вопросы экономики и финансов", 29.10.2015 (Совместная конференция с Финансово-экономическим научным советом)

Международная научно-практическая конференция: "Научный диспут: актуальные вопросы медицины" 28.10.2015 (Совместная конференция с Международным научным центром)

III Международная научно-практическая конференция "Глобальные проблемы экономики и финансов", 30.09.2015 (Совместная конференция с Финансово-экономическим научным советом)

III Международная научно-практическая конференция "Актуальные проблемы экономики и финансов", 31.08.2015 (Совместная конференция с Финансово-экономическим научным советом)

ІІІ Международная научно-практическая конференция "Научный диспут: вопросы экономики и финансов", 30.06.2015 (Совместная конференция с Финансово-экономическим научным советом)

ІІ Международная научно-практическая конференция "Актуальные проблемы современной науки", 29.06.2015 (Совместная конференция с Международным научным центром)

II Международная научно-практическая конференция "Глобальные проблемы экономики и финансов", 28.05.2015 (Совместная конференция с Финансово-экономическим научным советом)

Актуальные проблемы экономики и финансов, 29.04.2015 (Совместная конференция с Финансово-экономическим научным советом)

Научный диспут: вопросы экономики и финансов, 31.03.2015 (Совместная конференция с Финансово-экономическим научным советом)

Актуальные проблемы современной науки, 27.03.2015 (Совместная конференция с Международным научным центром)

Глобальные проблемы экономики и финансов, 27.02.2015 (Совместная конференция с финансово-экономическим научным советом)



Шевчук О. О. Ефективність побудови прогнозів даних на реляційній системі SQL Server та розподіленій файловій системі Hadoop // Міжнародний науковий журнал "Інтернаука". — 2017. — №17.


Отрасль науки: Технические науки
Скачать статью (pdf)

Технічні науки

УДК 004.4

Шевчук Оксана Олегівна

магістрант

Національного університету Львівська політехніка

Шевчук Оксана Олеговна

магистрант

Национального университета «Львовская политехника»

Shevchuk Oksana

Master Student of the

 Lviv Polytechnic National University

ЕФЕКТИВНІСТЬ ПОБУДОВИ ПРОГНОЗІВ ДАНИХ НА РЕЛЯЦІЙНІЙ СИСТЕМІ SQL SERVER ТА РОЗПОДІЛЕНІЙ ФАЙЛОВІЙ СИСТЕМІ HADOOP

ЭФФЕКТИВНОСТЬ ПОСТРОЕНИЯ ПРОГНОЗОВ ДАННЫХ НА РЕЛЯЦИОННОЙ СИСТЕМЕ SQL SERVER И РАСПРЕДЕЛЕННОЙ ФАЙЛОВОЙ СИСТЕМЕ HADOOP

EFFICIENCY OF DATA FORECASTING ON RELATIONAL SYSTEM SQL SERVER AND DISTRIBUTED FILE SYSTEM HADOOP

Анотація. Висвітлено порівняльний аналіз системи прогнозування даних на основі реляційної СУБД та BIG DATA системи Hadoop. Наведено графічне та табличне порівняння швидкодії підходів та показано результати.

Ключові слова: Hadoop, Big Data, сховища даних, швидкодія, R, прогнозування.

Аннотация. Освещен сравнительный анализ системы прогнозирования данных на основе реляционной СУБД и BIG DATA системы Hadoop. Приведено графическое и табличное сравнения быстродействия подходов и показаны результаты.

Ключевые слова: Hadoop, Big Data, хранилища данных, быстродействие, R, прогнозирования.

Summary. A comparative analysis of the data forecasting system based on the relational database and BIG DATA of the Hadoop system is presented. Graphical and tabular comparison of approaches performance and results are presented.

Key words: Hadoop, Big Data, Data Warehouse, Performance, R, Forecasting.

Вступ. Big Data є революційним феноменом, та одним з найбільш обговорюваних явищ в сучасному світі, і, як очікується, залишиться таким ще довгий час. Навички, апаратне і програмне забезпечення, архітектура алгоритмів, статистична значимість, і сама природа Big Data є основними факторами, які перешкоджають процесу отримання коректних прогнозів від Big Data.

Вважається, що в даний час галузі економіки, енергетики і соціальних досліджень населення є основними експлуататорами прогнозування Big Data.

Явище Big Data є революцією в сучасному світі, і в даний час є найпоширенішим способом інтелектуального аналізу.

В той час для бізнесу Big Data це «новий тип стратегічного ресурсу в ері цифрових даних і ключовий фактор для впровадження інновацій, які змінюють спосіб поточного виробництва» [1, с. 45].

У сучасному світі є вже доволі великий стек технологій, що забезпечують роботу із Big Data. Однак через відносно невеликий час відколи Big Data вийшла на ринок вони ще не зовсім пристосовані під загальні потреби.

Критичним питанням при застосуванні Big Data технологій є обрати спосіб зберігання даних, що будуть оброблятися. Питання, яке ставитиметься у даній статті – чи можна використовувати реляційні системи управління базами даних для аналізу дуже великих обсягів даних. Для цього аналогічні структури створено з допомогою SQL Server 2016 та Hadoop, та проведено аналіз ефективності роботи із даними на обидвох системах.

Виклад основного матеріалу. Порівняння роботи та швидкодії роботи R застосунку із SQL SERVER та Hadoop.

Для реалізації даного продукту для початку створено синхронізовану систему даних. Оригінальні дані поступають у реляційну базу даних, звідки за допомогою застосунку написаного на мові переливаються у систему. Даний процес можна побачити на діаграмі архітектури системи.

Рис. 1. Архітектура системи для тестування

Як результат даного процесу було отримано дві системи з аналогічними даними для перевірки швидкодії на них застосунку прогнозування.

Об’єм даних на якому проводилося дослідження – 1000000 записів.

Обидві системи працюють на машинах із однаковою робочою потужністю.

Дослідження прогнозів даних 1 було проведено для прогнозу середнього значення доходу. Для нього були необхідні наступні запити до інформаційних систем:

  1. Вибірка даних
  2. Фільтрування по певному полю
  3. Групування даних, для знаходження усереднених по дню.

Результати швидкодії по дослідженню 1, дані подано у секундах:

Таблиця 1

Запуск номер:

SQL SERVER

Hadoop

1

8,4

6

2

8,5

4,6

3

7,5

5,1

4

7,8

4,9

5

8,1

5,2

У дослідженні 2 було проведено аналіз теорії на основі парних Т-тестів Стюдента на заданій множині даних. Оскільки парний Т-тест Стюдента вимагає двох нормалізованих по часу або по виміру, за яким проводиться тестування, то операції, необхідні над даними для підготовки є наступними:

  1. Фільтрування даних
  2. Агрегація даних по датах
  3. Нормалізація даних по датах

У наступній таблиці подано результати швидкодії тестів на двох паралельних системах.

Таблиця 2

Запуск номер:

SQL SERVER

Hadoop

1

11,4

6,9

2

13,5

7,6

3

12,9

8,1

4

14,3

9,5

5

13,1

5,7

Оскільки дані над якими працює R Studio є невеликими, уся підготовча робота відбувається на рівні системи обробки даних. Оскільки системи є синхронізованими а часі, то різниці в розмірах даних на певний момент часу не має. Тому можна сказати що різниця в часі між двома системами чітко спричинена їхніми внутрішніми підходами до обробки даних.

Висновки. Як результат було отримано інформацію, що навіть при хорошій оптимізації SQL SERVER поступається у швидкодії розподіленій системі Hadoop. Однак слід зазначити, що SQL SERVER забезпечує значно більшу цілісність даних. Тому, коли система може дозволити собі певну похибку в даних то набагато доцільніше використовувати підходи з використанням Big Data, однак коли похибки є неприпустимими тоді вибір однозначно падатиме на реляційну систему управління.

Література

  1. Richards N. M. Three paradoxes of big data / Richards N.M., King J.H. // Stanf Law Rev Online. – 2013. – С. 41–46.
  2. Stock J. H. Forecasting using principal components from a large number of predictors / Stock J.H., Watson M.W. // J. Am Stat Assoc. – 2002. – С. 1167–1179.