Градиентный бустинг

Пост про градиентный бустинг (Gradient Boosting), но не совсем обычный. Вместо текста прикрепляю pdf. Вопрос к читателям блога: будет ли полезно, если я подготовлю книжку в таком стиле по основным темам машинного обучения?

boosting.jpg

Сейчас очень много материалов про машинное обучение и анализ данных. Просто плодить их, наверное, смысла не имеет. Все соображения / замечания / предложения — прошу в комментарии.

На всякий случай, современные реализации градиентного бустинга над деревьями для языка Python:

  1. sklearn.ensemble. GradientBoostingRegressor / GradientBoostingClassifier
  2. XGBoost (eXtreme Gradient Boosting)
  3. LightGBM, Light Gradient Boosting Machine

Последние две существенно быстрее и лучше (по качеству), кроме того, постоянно пополняются новыми фишками.

 

 

 

Реклама

Градиентный бустинг: Один комментарий

  1. Добрый день. Литературы с одной стороны много…но в ней мало примеров как теорию реализовать на практике. Было бы неплохо, если бы в такой книге содержались простые примеры и алгоритмы к ним. Чтобы можно было самому все реализовать и «прочувствовать» суть. Мне так кажется. Тогда польза будет вдвойне.

  2. Мне нравится стиль изложения / объяснения, с удовольствием почитал бы книгу.

  3. Спасибо! Отличная статья, хочется книгу целиком, пишите, обязательно куплю в свою библиотеку!!!

    • Хороший вопрос… Я планировал уже закончить, но погряз в делах и сейчас пока есть только 30%, т.е. работа только начата:(

  4. У вас опечатка в pdf документе страница 4, производная Adaboost лосс функции. Там нет знака дифференциала или запятой сверху)
    Так же нет номеров рисунков в тексте, т.е. хоть это и является достаточно очевидным, то к примеру когда два рисунка подряд, может быть путаница, на какой именно вы ссылаетесь в тексте.

    • Ну, как-то она идёт… просто медленно. И параллельно много над чем идёт: я сейчас курс по МО готовлю, плюс там большая часть по DL. Скорее всего, это материал, который не будет пересекаться с книгой…

Добавить комментарий

Заполните поля или щелкните по значку, чтобы оставить свой комментарий:

Логотип WordPress.com

Для комментария используется ваша учётная запись WordPress.com. Выход /  Изменить )

Google+ photo

Для комментария используется ваша учётная запись Google+. Выход /  Изменить )

Фотография Twitter

Для комментария используется ваша учётная запись Twitter. Выход /  Изменить )

Фотография Facebook

Для комментария используется ваша учётная запись Facebook. Выход /  Изменить )

w

Connecting to %s