Тест на знание машинного обучения

В начале учебного года провёл тестирование наших магистров первого года (ММП ВМК МГУ). Тест составлялся для онлайн-курса (но там, вроде, его пройти нельзя…) и состоит из 50 вопросов. Группа студентов небольшая — 16 человек, но определённые выводы можно сделать.

Что не знают студенты

  • Традиционно почему-то у студентов проблемы с ядрами в SVM, примеров ядер они не знают. Это подтверждается и аспирантскими экзаменами.
  • Разделяющие поверхности алгоритмов классификации для них тоже проблемная тема. Например, их удивляет, что байесовский классификатор при нормальном распределении объектов в классах может разделять прямой!
  • Экзотические методы типа «Гусеница для прогнозирования временных рядов» тоже из области неизвестного. Экзотическими для студентов стали также линейный дискриминант Фишера и персептронный алгоритм из т. Новикова.
  • Почти никто не знает, что такое коэффициент разнообразия (shatter coefficient), даже если сами регулярно ссылаются на В.Н.Вапника.
  • И все делают вид, что не слышали про обобщённую линейную модель (generalized linear model), хотя всё это есть в лекциях К.В.Воронцова, который сам их им и читал.
Вопросы в пространстве двух первых компонент
Вопросы в пространстве двух первых компонент SVD-разложения матрицы студент-вопрос

Что знают студенты

Проблем не вызывают вопросы, которые сводятся к техническим действиям (оценить вероятность, посчитать производную и т.п.)

Что знают наши студенты

Те, кто оканчивал бакалавриат ММП ВМК МГУ, в среднем ответили правильно на 48.5% вопросов, «чужие» студенты — на 42%. С одной стороны, здорово, мы чему-то учим! А с другой — некоторые студенты не из нашего бакалавриата вообще ничего не слышали про машинное обучение (на многие вопросы можно отвечать из соображений здравого смысла, часть вопросов — по статистике, оптимизации и т.п.). Учитывая это, не многому мы научили:)

Наши лучше отвечали на вопросы типа «Какой будет ответ у метода k-средних, если…» . Другие студенты лучше разбирались в многослойных персептронах.

order

А что знают желающие поработать…

Я на днях беседовал с несколькими ребятами, которые проводят собеседования в своих компаниях. Все жаловались, что у и выпускников ШАДа слабые знания. Например, на вопрос о решении любой задачи отвечают, что решать надо бустингом. Что такое бустинг, многие не знают… особенно девушки. Я лично с подобным не сталкивался, почему-то ко мне на собеседования попадало мало ШАДовцев. Но да, большинство вопросов, скажем, про регуляризацию, индекс Джини, ассоциативные правила, ставит соискателей в тупик.

Интересную практику ввела компания АлгоМост — проводить тесты по МО с соискателями (причём основная беседа будет только с теми, кто прошёл тест). Желающие работать на позиции аналитика могут ответить в среднем только на 20-30% вопросов. Причём, простых вопросов (типа, какие векторы будут опорными в конкретной задаче, решаемой методом SVM).

Реклама

7 thoughts on “Тест на знание машинного обучения

  1. Добрый день, Александр! А можно заиметь собственно список вопросов? Я ФИВТоФУПМ и из вышеперечисленного shatter coefficient и алгоритм гусеницы для меня были чем-то таким, чего я раньше не слышал никогда, хочется отрефакторить свои знания несколько подробнее. Спасибо.

    • Добрый день!

      Мне бы не хотелось выкладывать тест в общий доступ.
      Во-первых, возможно, какое-то право собственности на него есть у edstars.
      Во-вторых, я примеров подобных тестов не знаю. Он единственный и идеально подходит для проверки остаточных знаний или описанной проверки перед собеседованием.

      Но если Вы пощёлкаете по программе онлайн-курса, то увидите, что она состоит из тем, с указанием, где об этом можно почитать.

      Например, про Гусеницу см. здесь
      https://edstars.ru/courses/4/lecture/106#tab0

      Тест не выходит за рамки этой программы и этих источников.
      Поэтому просто посмотрите программу и Вы поймёте, что Вы ещё не знаете.

      Удачи!

    • На самом деле, курс как бы есть… это не совсем классический онлайн-курс. Он был сделан в поддержку крупной олимпиады (см. мои давние посты). Одна из тем олимпиады — машинное обучение. Нужно было разработать детальную программу курса, с подробными ссылками на источники (где об этом читать), подготовить несколько видео-роликов по темам курса, а также тест и задания для олимпиады. Всё сделано. Всё есть на сайте (в этом блоге были ссылки на видео-ролики). Но тест, вроде, неактивен.

    • Совсем не пересекается. Экзамен в аспирантуру проводится по программе вступительных экзаменов. В программе нет машинного обучения.

Добавить комментарий

Заполните поля или щелкните по значку, чтобы оставить свой комментарий:

Логотип WordPress.com

Для комментария используется ваша учётная запись WordPress.com. Выход / Изменить )

Фотография Twitter

Для комментария используется ваша учётная запись Twitter. Выход / Изменить )

Фотография Facebook

Для комментария используется ваша учётная запись Facebook. Выход / Изменить )

Google+ photo

Для комментария используется ваша учётная запись Google+. Выход / Изменить )

Connecting to %s