По ежегодной традиции поздравляю всех читателей блога с праздником! Немного статистики, небольшой подарок читателям, а также, как я обещал, разберём итоги и правильные ответы Странного теста.
Год: 2018
Как бенчмарк попал в призы
Небольшая заметка о прошедшем недавно соревновании «Gazprom Neft SmartOil Contest», которое проходило на платформе Boosters, и решении, которое было получено за 40 минут.
Функции ошибок в задачах регрессии
Сегодня будет сделанный с любовью обзор функций ошибок и функционалов качества в задачах регрессии.
Странный тест по ML
Давненько я не публиковал никаких тестов… итак, новый провокационный шедевр: «странный тест по машинному обучению». Нельзя сказать, что он проверяет какие-то фундаментальные знания, но со всеми вопросами, которые в нём присутствуют, порядочный человек, вращающийся в DS-среде, сталкивается.
Мемы о машинном обучении (ML Memes)
Это несерьёзный развлекательный пост в честь конца лета и начала учебной поры. В этом году не вышел очередной сезон сериала «Игра престолов». Для тех, кто по нему скучает, подборка мемов…
Интерпретации чёрных ящиков
Машинное обучение, в основном, отвечает на вопросы КАКАЯ(ОЙ) / КТО(ЧТО) / СКОЛЬКО? «Что изображено?», «какая будет цена акции?» и т.п. Самый естественный следующий человеческий вопрос: ПОЧЕМУ? Кроме ответа чёрного ящика (будь то бустинг или нейросеть), нам хотелось бы получить аргументацию этого ответа… Ниже представляю обзор проблематики интерпретации (это одна из тем, которая есть в моём курсе для магистров ММП ВМК МГУ, и которой не уделяется время в любом другом курсе по машинному обучению и анализу данных).
Байесовский подход
В этом посте расскажем о формуле Байеса и её применении в машинном обучении. С этого года я буду читать много всяких новых курсов, в том числе, потоковый курс по «Машинному обучению и анализу данных» на факультете ВМК МГУ. Поэтому сейчас пребываю в поисках правильных формы/объёма/манеры подачи материала (чтобы не сильно лезть в теорию, но дать представление, зачем теория нужна). Постарался сделать максимально доступно, но предварительные знания по терверу нужны…
Простые методы анализа данных
Недавно меня попросили выступить с лекцией на открытии одного хакатона, обычно я не очень люблю подобные мероприятия (они не очень продуманы, задачи искусcтвенные и с ликами, победителей определяют по «качеству» презентаций и т.п.). Но это мероприятие проходило в МГУ, поэтому я решил поддержать начинание в стенах родного университета. Чтобы рассказать что-то релевантное всем слушателям, которые могли быть очень неоднородны по знаниям и умениям, я выбрал тему, которую пропагандировал несколько лет назад… решать можно (и часто нужно) простыми методами, буквально в несколько строк. Ниже сокращённое описание доклада.
МГУ ВМК ММП (выпуск 2018)
Традиционный ежегодный пост о выпуске наших студентов из стен Московского Университета… Во-первых, всех поздравляю и желаю удачи! Во-вторых, для желающих под катом список выпускных работ наших студентов (своих, для рекламы, я сделал жирненькими;). На фото — вручение красных дипломов (источник). Все выпускные работы последних лет можно посмотреть здесь.
Смещение (bias) и разброс (variance)
Сегодня дадим немного объяснений стандартных для машинного обучения понятий: смещение, разброс, переобучение и недообучение. Как всегда, всё объясним просто (но нужна будет математическая подготовка), на картинках, с примерами (в данном случае на модельных задачах). Все рисунки и эксперименты авторские, в конце, по традиции, изюминка – в чём при объяснении этих понятий Вас обманывают на курсах по ML и в учебниках;)
Анализ малых данных 