Задачки про AUC (ROC)

Среди читателей блога много тех, кто только учит машинное обучение, и меня часто спрашивают про разные задачи и упражнения, поэтому начинаю рубрику задача.

Для начала два упражнения, которые мы недавно разбирали с магистрами ВМК МГУ.

Задача 1. Рассматривается задача классификации на два класса. На рис. 1 показаны объекты в пространстве ответов двух алгоритмов (ответы вещественные — до бинаризации по порогу). Вычислить AUC (ROC) для алгоритмов.

Рис. 1.
Рис. 1.1.

Задача 2. Какие значения F1-меры могут быть у классификатора в задаче с двумя непересекающимися классами (положительным и отрицательным) и тремя объектами?

Решение см. под катом… но сначала попробуйте сами, если интересно.

Решение 1. 
1.1. Сначала рассмотрим проекции на оси (т.е. ответы первого и второго алгоритма), см. рис. 1.2.

pic2
Рис. 1.2.

1.2. Построим ROC-кривые, см. рис 1.2 (по осям — False Positive Rate и True Positive Rate).

1.3. Вычислим площади под кривыми: 0.64 и 0.7, см. рис. 1.3.

pic3
Рис. 1.3.

Решение 2. Можно честно рассмотреть все возможные случаи, см. рис. 2.1  — выписаны все значения полноты (то же, что и True Positive Rate) и точности (то же, что и Positive Predictive Value):

Рис. 2.1.
Рис. 2.1.

F1-мера – среднее гармоническое точности и полноты, т.е. чисел из пар (1, 1), (1/2, 1), (2/3, 1), (1/3, 1), (1/2, 1/2), (0, 0). Поэтому все возможные значения F1-меры: 1, 0.8, 2/3, 0.5, 0.

Но до ответа можно догадаться и быстрее;)

Замечание 1. ROC = receiver operating characteristicAUC = area under the curveКогда имеют в виду «площадь под ROC» пишут AUROC или AUC ROC, я написал AUC (ROC). Иногда говорят «ROC-кривая», что тоже не совсем корректно, т.к. C — это как раз первая буква CURVE, но зато звучит хорошо.

Замечание 2. Как правило, студенты очень плохо понимают, что такое AUC, как вычислять это значение, как оно может меняться при изменении параметров алгоритмов. Поэтому я и составлял подобные задачки…

Да, кстати, вот интересная интерактивная визуализация (чтобы лучше понять AUC).

Реклама

Задачки про AUC (ROC): Один комментарий

Добавить комментарий

Заполните поля или щелкните по значку, чтобы оставить свой комментарий:

Логотип WordPress.com

Для комментария используется ваша учётная запись WordPress.com. Выход / Изменить )

Фотография Twitter

Для комментария используется ваша учётная запись Twitter. Выход / Изменить )

Фотография Facebook

Для комментария используется ваша учётная запись Facebook. Выход / Изменить )

Google+ photo

Для комментария используется ваша учётная запись Google+. Выход / Изменить )

Connecting to %s