В начале учебного года провёл тестирование наших магистров первого года (ММП ВМК МГУ). Тест составлялся для онлайн-курса (но там, вроде, его пройти нельзя…) и состоит из 50 вопросов. Группа студентов небольшая — 16 человек, но определённые выводы можно сделать.
Что не знают студенты
- Традиционно почему-то у студентов проблемы с ядрами в SVM, примеров ядер они не знают. Это подтверждается и аспирантскими экзаменами.
- Разделяющие поверхности алгоритмов классификации для них тоже проблемная тема. Например, их удивляет, что байесовский классификатор при нормальном распределении объектов в классах может разделять прямой!
- Экзотические методы типа «Гусеница для прогнозирования временных рядов» тоже из области неизвестного. Экзотическими для студентов стали также линейный дискриминант Фишера и персептронный алгоритм из т. Новикова.
- Почти никто не знает, что такое коэффициент разнообразия (shatter coefficient), даже если сами регулярно ссылаются на В.Н.Вапника.
- И все делают вид, что не слышали про обобщённую линейную модель (generalized linear model), хотя всё это есть в лекциях К.В.Воронцова, который сам их им и читал.
Что знают студенты
Проблем не вызывают вопросы, которые сводятся к техническим действиям (оценить вероятность, посчитать производную и т.п.)
Что знают наши студенты
Те, кто оканчивал бакалавриат ММП ВМК МГУ, в среднем ответили правильно на 48.5% вопросов, «чужие» студенты — на 42%. С одной стороны, здорово, мы чему-то учим! А с другой — некоторые студенты не из нашего бакалавриата вообще ничего не слышали про машинное обучение (на многие вопросы можно отвечать из соображений здравого смысла, часть вопросов — по статистике, оптимизации и т.п.). Учитывая это, не многому мы научили:)
Наши лучше отвечали на вопросы типа «Какой будет ответ у метода k-средних, если…» . Другие студенты лучше разбирались в многослойных персептронах.
А что знают желающие поработать…
Я на днях беседовал с несколькими ребятами, которые проводят собеседования в своих компаниях. Все жаловались, что у и выпускников ШАДа слабые знания. Например, на вопрос о решении любой задачи отвечают, что решать надо бустингом. Что такое бустинг, многие не знают… особенно девушки. Я лично с подобным не сталкивался, почему-то ко мне на собеседования попадало мало ШАДовцев. Но да, большинство вопросов, скажем, про регуляризацию, индекс Джини, ассоциативные правила, ставит соискателей в тупик.
Интересную практику ввела компания АлгоМост — проводить тесты по МО с соискателями (причём основная беседа будет только с теми, кто прошёл тест). Желающие работать на позиции аналитика могут ответить в среднем только на 20-30% вопросов. Причём, простых вопросов (типа, какие векторы будут опорными в конкретной задаче, решаемой методом SVM).
Анализ малых данных 
Добрый день, Александр! А можно заиметь собственно список вопросов? Я ФИВТоФУПМ и из вышеперечисленного shatter coefficient и алгоритм гусеницы для меня были чем-то таким, чего я раньше не слышал никогда, хочется отрефакторить свои знания несколько подробнее. Спасибо.
Добрый день!
Мне бы не хотелось выкладывать тест в общий доступ.
Во-первых, возможно, какое-то право собственности на него есть у edstars.
Во-вторых, я примеров подобных тестов не знаю. Он единственный и идеально подходит для проверки остаточных знаний или описанной проверки перед собеседованием.
Но если Вы пощёлкаете по программе онлайн-курса, то увидите, что она состоит из тем, с указанием, где об этом можно почитать.
Например, про Гусеницу см. здесь
https://edstars.ru/courses/4/lecture/106#tab0
Тест не выходит за рамки этой программы и этих источников.
Поэтому просто посмотрите программу и Вы поймёте, что Вы ещё не знаете.
Удачи!
А сам онлайн-курс я так понимаю в разработке пока? Когда планируется запуск, не подскажете?
На самом деле, курс как бы есть… это не совсем классический онлайн-курс. Он был сделан в поддержку крупной олимпиады (см. мои давние посты). Одна из тем олимпиады — машинное обучение. Нужно было разработать детальную программу курса, с подробными ссылками на источники (где об этом читать), подготовить несколько видео-роликов по темам курса, а также тест и задания для олимпиады. Всё сделано. Всё есть на сайте (в этом блоге были ссылки на видео-ролики). Но тест, вроде, неактивен.
Понял, спасибо)
Александр, а на сколько процентов данный тест пересекается с экзаменом по математике в аспирантуру кафедры ММП?)
Совсем не пересекается. Экзамен в аспирантуру проводится по программе вступительных экзаменов. В программе нет машинного обучения.