До недавнего времени при собеседовании в компанию АлгоМост сначала давали небольшой тест на знание основ машинного обучения и анализа данных. Это довольно неплохо отфильтровывает совсем слабых соискателей. Сейчас у каждого в резюме написано, что знает Python, прошёл несколько курсов на курсере, но 80% не знают, что такое логистическая регрессия и как инвертировать список на Python. Последнюю версию теста я делал сам из вопросов, которые использую для контроля студентов. Сейчас её публикую и каждый может проверить свои знания…
Итак, тест находится по ссылке. У Вас 9 вопросов (с выбором варианта ответа!). Приготовьте бумагу и ручку! В отличие от оригинального теста вопросы по программированию здесь переделаны в виде вопросов на выбор варианта. В комментариях можно обсуждать тест (но это спойлер для тех, кто его ещё не прошёл), а также делать пожелания (я могу как-нибудь выложить большой вариант). После ответов на все вопросы выберите «View your score», чтобы посмотреть на свой результат. Удачи!
UPDATE: Тест переведён на Google-формы, в конце Вы сможете увидеть правильные ответы, замечания к Вашим ответам и статистику ответов остальных. Ограничения по времени теперь тоже нет!
Я не ожидал, что будет такой наплыв. После публикации (в 9 часов вечера!) за ночь тест прошли 198 раз. Не все, правда, прошли тест до конца и засабмитили решения. Из тех, кто это сделал…
8 из 9
- Yury Kashnitskiy
- Sergey Sergey
7 из 9
- Kirill Plekhanov
- Ilya Kozlov (2 раза)
- A A
- Miras Amir
- Pavel Fedyakov
- X X
6 из 9
- Lisa Khokhlova
- 1 2
- Guy Fawkes
- Olga Malysheva
Обращаю внимание, что все перечисленные выполняли тест с лимитом 30 минут.
Unable to start test. This account has reached it’s test limit. You will need to check with your test administrator before continuing.
Хм… Ну я не ожидал, что будет такой наплыв в первый же час после выкладки. Все сделаю, только теперь уж завтра. Кто не успел пройти, потерпите.
Пока лучший результат 7 из 9.
На самом деле, можно и сейчас проходить… Я почистил. Там есть лимит на количество хранящихся результатов. Если удалить лишнее, то тест опять доступен. А лишнего там много: люди по нескольку раз проходят, и просто из любопытства заходят. Всех с липовыми никами типа «temp temp» и низким результатом я удалил из статистики.
Тест прошел, а как понять какой результат?
О результатах я сейчас напишу, и, скорее всего, переведу тест на другую платформу. У Вас 6 из 9;)
Небольшой спойлер: в задаче про ROC AUC имеются одинаковые предсказанные вероятности, похоже, это не замечают и ошибаются (по крайней мере, я тут накосячил).
Ага;)
Наверное, под давлением 30-ти минутного давления решать было сложней )
Ожидал подвоха в задаче с параметрами у алгоритма RandomForest, ведь в какой-то степени ограничения на глубину можно считать регуляризатором. Но все обошлось )
p/s Ну и ответ в задаче про граф просто угадал 😉
30-ти минутного дедлайна хотел сказать
Надо бы 1 час поставить ограничение. Но на гугл-формах этой опции нет, а на изитестмэйкере (в бесплатной версии) — только 30 минут.
Там, на самом деле, почти везде можно угадать… просто на порядок чисел ориентироваться.
Классно! Спасибо большое!
> (я могу как-нибудь выложить большой вариант)
Было бы здорово. Очень понравилось.
Большие тесты по ML ребята делали в курсе «Data Mining In Action», можно в группе ВК поискать https://vk.com/data_mining_in_action
Задача с LOO оказалась слишком непонятной для меня. Даже с подсказкой (комментарий после отправки решения) не понимаю, что надо было сделать. И протупил в задаче с комитетом. А остальное выглядело совсем просто.
Я за прохождение большего варианта!
Хорошо, как нибудь, наверное, выложу. Но я тут придумал ещё одну штуку… у меня теперь многие обучающие посты будут сопровождаться тестами. Скоро, например, будет тест по AUC ROC.
Написал комментарий о том, что тоже не понял эту задачу. В 30 раз прочитал условия. Заметил слово «простые». Стер комментарий о том, что тоже не понял эту задачу)
Интересный тест, спасибо.
Александр! Можно ли ваш тест применить как упражнение для мозга на митапе?
Да, конечно, можете использовать его как захотите!
[…] Минитест на знание ML и DM (3276) […]
Не получается открыть тест:
«Не удалось подтвердить, что это сервер docs.google.com. Операционная система компьютера не доверяет его сертификату безопасности. Возможно, сервер настроен неправильно или кто-то пытается перехватить ваши данные.
Вы не можете продолжить, так как оператор сайта запросил повышенный уровень безопасности для этого домена.»
Проверил — открывается.
Судя по сообщению у Вас Винда и, наверное, Касперский… Не доверять docs.google.com довольно странно. Попробуйте через VPN зайти.
Все оказалось проще — нужно было не использовать гостевой вайфай организации, в которой работаю 🙂
Спасибо, Александр, отличный тест! Как раз готовлюсь к интервью и было полезно.
Ошибся только в первом вопросе, в котором, по иронии, был больше всего уверен. Классический Байес, элементарное задание, но подвела спешка и невнимательность.
[…] выложил в блоге. Его прошло 148 человек, для сравнения Минитест на знание ML и DM прошло почти 700 человек. Как мне говорили некоторые, […]