Технічні науки Українською Відкритий доступ
ВИМІРЮВАННЯ ТА ВИКОРИСТАННЯ НЕПЕВНОСТІ ДЛЯ МОДЕЛЕЙ ГЛИБИННОГО НАВЧАННЯ
Гвоздєв Валерій Дмитрович, Гвоздєва Тетяна Юріївна, Страхов Євген Михайлович
Міжнародний науковий журнал «Інтернаука», № 19, грудень 2020
Анотація
Зазвичай, техніки глибокого навчання на виході дають тільки прогнозоване значення, але не міру непевності в прогнозі. Існує безліч методів модифікувати модель так, що існуватиме можливість оцінити, наскільки моделі можна довіряти. Ці методи відрізняються вимогами до обчислювальних потужностей і точності з урахуванням заданих обмежень. На практиці, часто не існує можливості модифікувати модель або перетренувати з використанням технік оцінки невпевненості (моделі типу чорний ящик). У першій частині статті, ми визначимо і дослідимо толерантні перетворення як засіб додавання шуму у вхідні дані з метою виміряти непевність моделі. Ми побудуємо фреймворк, який буде визначати невпевненість для задач пов'язаних з класифікацією зображень. Для тесту, був узятий датасет CIFAR-10, щоб порахувати невпевність на зображеннях. Показано, як метрика невпевненості дозволяє отримати додаткову інформацію про набір даних на практиці. Іноді важливо розуміти, коли модель не впевнена в своєму прогнозі. У другій частині статті, буде побудований вибірковий класифікатор з метою поліпшення інтервалу. точності Класифікатор моделі буде шляхом отримувати звуження довірчого на метрику вхід невпевненості в прогнозі. Щоб показати як працює класифікатор, був проведений експеримент з використанням softmax-значення невпевненості і невпевненістю на підставі розподілу Діріхле. Щоб оцінити якість предиктора, був використаний набір даних Brain Tumor Classification (MRI)[6]. Для отриманих предикторов виміряні покриття і вибірковий ризик. Продемонстровано, що можна отримати значний приріст точності моделі, якщо використовувати хороші дані про невпевність.
Ключові слова: machine learning; deep learning; uncertainty estimation; selective predictor; image classification
English
Uncertainty estimation and usage for deep learning models
Abstract. The default DL approaches in ML tend to output only prediction, but not an uncertainty measure alongside the prediction. There are several approaches to DL model modification that allow deciding if the model can be trusted. The approaches vary by computational load and performance considering given constraints. In the real world project, it is often not possible to modify the model or perform retraining to apply common uncertainty estimation techniques (black box problem). In the first part of the paper, we aim to measure the uncertainty of the model in practice. We have researched tolerable perturbations as a way to enforce noise in the input data. A framework was built that acts as a compound for a prediction model in image classification tasks and allows output uncertainty for given samples. For test purposes, a CNN model will be used over the CIFAR-10 dataset to showcase uncertainty evaluation. We also show how to use uncertainty values to get data insights into a real-world task. In the second part, we discuss how to get a model to know when prediction is uncertain. We built a selective classifier to increase the performance of the model by narrowing the confidence interval on the input data and used the aforementioned uncertainty estimations in the rejection classifier. To showcase classifier features, we made an experiment with a softmax-based uncertainty classifier (vanilla) and Dirichlet distribution based value. To measure the performance of the predictor, we took the Brain Tumor Classification (MRI)[6] dataset as an example. For the received predictors we measured coverage and selective risks. We have shown that one could get significant accuracy gains by using selective models given accurate uncertainty measure.
Keywords: machine learning; deep learning; uncertainty estimation; selective predictor; image classification
Як цитувати
Hvozdiev V., Hvozdieva T., Strakhov Ye. Uncertainty estimation and usage for deep learning models // International scientific journal "Internauka". — 2020. — №19.
@article{internauka6666,
author = {Гвоздєв, Валерій Дмитрович and Гвоздєва, Тетяна Юріївна and Страхов, Євген Михайлович},
title = {ВИМІРЮВАННЯ ТА ВИКОРИСТАННЯ НЕПЕВНОСТІ ДЛЯ МОДЕЛЕЙ ГЛИБИННОГО НАВЧАННЯ},
journal = {Міжнародний науковий журнал «Інтернаука»},
year = {2020},
number = {19},
url = {https://www.inter-nauka.com/issues/2020/19/6666}
}
TY - JOUR AU - Гвоздєв, Валерій Дмитрович AU - Гвоздєва, Тетяна Юріївна AU - Страхов, Євген Михайлович TI - ВИМІРЮВАННЯ ТА ВИКОРИСТАННЯ НЕПЕВНОСТІ ДЛЯ МОДЕЛЕЙ ГЛИБИННОГО НАВЧАННЯ JO - Міжнародний науковий журнал «Інтернаука» PY - 2020 IS - 19 SN - 2520-2057 UR - https://www.inter-nauka.com/issues/2020/19/6666 LA - uk ER -