День нашей смерти

Недавно в рамках одного проекта по анализу кардиограмм выяснил, что статистические свойства этих сигналов меняются не только от каких-то ожидаемых причин, связанных с работой сердца и общим состоянием (усталостью, нагрузкой и т.п.) Ещё их начинает буквально «колбасить» в определённые дни, например, в день рождения. Как сказали кардиологи: это связано с нашими биоритмами и раз в год в один и тот же день — наш день рождения — происходит перестройка организма. Этот день самый опасный с точки зрения нашего состояния. Мне показалось это странным: всегда воспринимал конкретную дату рождения как случайную величину, но если эта теория верна, то в этот день (и в некоторый отрезок времени после него) выше вероятность умереть… было решено проверить эту гипотезу.

smert Читать далее

Случайный лес (Random Forest)

Случайный лес — один из самых потрясающих алгоритмов машинного обучения, придуманные Лео Брейманом и Адель Катлер ещё в прошлом веке. Он дошёл до нас в «первозданном виде» (никакие эвристики не смогли его существенно улучшить) и является одним из немногих универсальных алгоритмов. Универсальность заключается, во-первых, в том, что он хорош во многих задачах (по моим оценкам, 70% из встречающихся на практике, если не учитывать задачи с изображениями), во-вторых, в том, что есть случайные леса для решения задач классификации, регрессии, кластеризации, поиска аномалий, селекции признаков и т.д.

random_forest.jpg Читать далее

Визуализации

В рамках университетского курса даю своим студентам несколько заданий по визуализации. Первое (простое) — найти интересные визуализации в Интернете (не обязательно связанные с анализом данных) и объяснить почему они интересны. Второе (сложное) — взять реальные данные с платформы Kaggle и принять там участие в конкурсе по визуализации (там можно в разделе Datasets создавать т.н. Kernels, за которые могут голосовать другие участники). Теперь, что из этого получилось в этом году…

friends
Рис. взят с сайта http://www.facebookstories.com

Читать далее

Data Science Contest Сбербанка

Недавно стартовал новый конкурс по анализу данных. В помощь новичкам, которые захотят поиграться его данными, вот презентация, которую я обсуждал со своими магистрами на прошлом занятии, а вот код, с помощью которого получены все графики. Кстати, большие ipynb-файлы с гитхаба лучше смотреть с помощью nbviewer, например так.

sberbank

Питон (Python)

Сейчас практически все, кто занимается анализом малых данных, делают это с помощью Питона… а ведь ещё 5 лет назад не было пакетов типа scikit-learn и единственной средой с реализованными бустингом, случайным лесом и т.п. оставался R (+ RStudio, т.к. никаких ноутбуков тоже не было). Или приходилось реализовывать все алгоритмы «с нуля», что я и делал в том же Matlab-е. Ещё были разные программки на С/С++ типа libSVM, SVMlight

%d0%bf%d0%b8%d1%82%d0%be%d0%bd

Читать далее

Алексей Нефёдов

Продолжаем серию интервью в данном блоге. Как показывает статистика, это самые популярные посты. Сегодня переносимся за океан, узнаем для каких задач применяют анализ данных там и познакомимся с обаятельным человеком — Алексеем Нефёдовым, автором SVM tutorial (обязательно к прочтению для всех, кто учит машинное обучение).

nefedov Читать далее

Спецсеминар

Как-то забыл сделать разные анонсы мероприятий начала учебного года… Начал работу мой спецсеминар с мудрёным названием «Алгебра над алгоритмами и эвристический поиск закономерностей». Будет проходить на ВМК МГУ по четвергам в ауд. 637, начало в 18:00 (к этому времени обычно собираемся, а сами доклады ~18:20).

seminar Читать далее